回転4G/5Gモバイルプロキシで難しいターゲットをスクレイピング

なぜサイトはモバイルIPをあまりブロックしないのか？

モバイルIPは通常多くの実ユーザーを代表しているためです。キャリアはキャリアグレードNATを使用し、数千台の電話が限られたパブリックIPアドレスを共有します。RFC 6598はこうしたネットワーク内部用に100.64.0.0/10の範囲を予約しています。ひとつのモバイルIPをブロックすると、その背後の全加入者が締め出されるため、ほとんどのサイトはモバイルIPの範囲を慎重にブロックします。

この共有にはデメリットもあります。モバイルIPはキャリアの他のユーザーによる履歴を持つ場合があり、速度は電波状況やセルの負荷に依存します。そのためモバイルトラフィックは特定ターゲット向けのツールであり、デフォルトではありません。

1GBあたりの価格が高いモバイルは価値があるか？

住宅用プロキシが使えない場合のみです。CrawlRelayの住宅用トラフィックは50GBから$0.50/GB、モバイルは$1.50/GBです。Proxywayの2026年のProxy Market Researchによると、実ターゲットでの成功率中央値はモバイルで75.26%、住宅用で74.43%と、平均的にはモバイルが大きく上回ることはありませんでした。

効果はターゲット依存なので、購入前に測定してください：

1. 200〜500URLを住宅用とモバイルの両方で試す。
2. HTTP 200ではなく使えるレスポンスの数をカウント：ブロックページも200を返します。
3. 各テストのトラフィック費用を使えるレスポンス数で割る。
4. コストが低い場合のみ、そのドメインをモバイルにルーティング。

一部のドメインだけモバイルIPにどうルーティングする？

認証情報をプラン別に2セット用意し、リクエストごとに選択します。他のスクレイパー設定は同じで、同じゲートウェイ・ユーザー名構造・リトライロジックを使います。

from urllib.parse import urlsplit

import requests

GATEWAY = "gw.crawlrelay.com:7777"
RESIDENTIAL = ("RES_USERNAME-country-us", "RES_PASSWORD")
MOBILE = ("MOB_USERNAME-country-us", "MOB_PASSWORD")
MOBILE_HOSTS = {"m.example.com", "app.example.org"}  # hosts where residential measured worse


def proxies_for(url):
    user, password = MOBILE if urlsplit(url).hostname in MOBILE_HOSTS else RESIDENTIAL
    proxy = "http://%s:%s@%s" % (user, password, GATEWAY)
    return {"http": proxy, "https": proxy}


for url in ["https://www.example.com/item/1", "https://m.example.com/item/1"]:
    r = requests.get(url, proxies=proxies_for(url), timeout=(10, 45))
    print(url, r.status_code, len(r.content))

モバイルプールの回転方式は？

住宅用と同じです：セッションIDなしのユーザー名は接続ごとに新しいキャリアIPを取得し、-session-<id>-ttl-<minutes>は接続間でIPを固定します。実務上は以下の2点が異なります：

• キャリア側がIPを勝手に変更します。 デバイスがネットワークに再接続すると、スティッキーなモバイルセッションでもTTLより早くIPが変わることがあります。
• レイテンシーの変動が大きい。 モバイルリクエストは読み取りタイムアウトを45〜60秒の長めに設定し、新しい接続でリトライしてください。