クイックアンサー
回転レジデンシャルプロキシとは？
回転レジデンシャルプロキシは、単一のゲートウェイアドレスがプール内の異なる家庭用IPアドレスを経由して新しい接続を転送し、ウェブサイトには通常の家庭のインターネット利用者として見せる仕組みです。CrawlRelayではスクレイパー向けに回転レジデンシャルプロキシを$1.50で1GBから、$0.50/GBで50GBから販売しており、必要に応じてスティッキーセッション（同一IP保持）も利用可能。支払いはKYC不要で暗号通貨対応。
プロキシの種類とネットワーク
- レジデンシャルプロキシ
消費者向けプロバイダーの家庭用インターネット回線のIPを出口IPとするプロキシ。サイトからは普通の家庭訪問者として認識されます。レジデンシャルプロキシ]参照。
- モバイルプロキシ
出口IPが4Gモバイルプロキシや5Gキャリアネットワークに属するプロキシ。キャリアは1つのIPを多数の加入者で共有しているため、サイトは慎重にブロックします。モバイルプロキシ]参照。
- データセンタープロキシ
ホスティングプロバイダーに登録されたIPを持つデータセンター内のプロキシ。高速で安価ですが、ホスティング範囲を遮断するサイトでよくフィルタリングされます。
- ISPプロキシ
インターネットプロバイダーが固定で発表するIPで、データセンターにホストされています。データベースにはレジデンシャルに見える場合があり、固定IPです。CrawlRelayではISPプロキシは販売していません。
- バックコネクトゲートウェイ
1つのホストとポートが、多数の出口IPへの接続を転送する方式。ユーザー名や新規接続で出口IPを変更し、アドレス切り替えは不要。
- 出口IP（出口ノード）
対象ウェブサイトに見えるIPアドレス。レジデンシャルゲートウェイの場合、ターゲティングに合わせた家庭用接続IPになります。
- CGNAT
キャリアグレードNAT（CGNAT）：モバイルやブロードバンドキャリアが多くの加入者を少数の公共IPの背後に置く仕組み。RFC 6598で100.64.0.0/10がこの共有空間として予約されています。
- ASN
自律システム番号（ASN）：インターネット上のネットワーク識別子。例：ComcastのAS7922。ASNターゲティングは同一プロバイダー内の出口IPを選択します。
- 供給元
プロバイダーのレジデンシャルIPの出所や、デバイス所有者が帯域を共有する条件。2026年のIPIDEAやNetNutのサービス終了後は特に重要な購入判断要素。ソーシング]参照。
セッション、プロトコル、エラー
- 回転セッション
セッションIDなしのユーザー名。新しい接続ごとにプールから異なるIPが割り当てられます。回転は接続単位で、個々のHTTPリクエスト単位ではありません。
- スティッキーセッション
セッションID付きユーザー名でTTLあり：そのIDの接続は最大30分間の間同じ出口IPを使用。ただしIPはそれより早く変わる可能性があります。セッション]参照。
- TTL（セッション長）
スティッキーセッションがIPを維持する時間。分単位で
-ttl-<minutes>で設定。デバイスがオフラインになるとセッションは早期終了することも。- Keep-alive
TCP接続を複数のHTTPリクエストで再利用する方法。高速化できますが、その接続のすべてのリクエストは同じ出口IPを共有。
- CONNECT
クライアントがホストとポートへのトンネルをプロキシに要求するHTTPメソッド（RFC 9110の9.3.6節）。HTTPS通信はトンネル内でエンドツーエンドで行われます。
- SOCKS5
TCP接続をHTTPを読まずに中継するプロキシプロトコル（RFC 1928）。ユーザー名とパスワード認証はRFC 1929で定義。
- socks5h
クライアントがホスト名をSOCKS5プロキシに送信し、DNSはローカルではなく出口側で解決されるURLスキーム。
- Proxy-Authorization
通常Basic
username:passwordのBase64で送信されるプロキシ認証用のリクエストヘッダー。プロキシは転送前にこれを削除します。- 407 Proxy Authentication Required（プロキシ認証が必要です）
資格情報が不足しているか誤っているためプロキシがリクエストを拒否しました。ウェブサイトへは一切接続されていません。407 を参照してください。
- 429 Too Many Requests（リクエストが多すぎます）
ウェブサイトがレート制限をかけています（RFC 6585）。処理を遅くし、Retry-Afterを厳守してください。429 を参照。
- Retry-After
再試行までの秒数または日時を示すレスポンスヘッダー (RFC 9110, section 10.2.3)。429および503レスポンスで送信されます。
- 同時実行数
同時に処理されているリクエスト数。リトルの法則により、スループットとレイテンシの積に等しいです。ターゲットホストごとに上限を設定してください。concurrency を参照。
クロールの実務とルール
- robots.txt
サイトのルートにあるファイルで、自動クライアントが取得可能なパスを指定します。2022年にRFC 9309として標準化。クロール時は24時間以上キャッシュしないようにします。
- Crawl-delay
robots.txt内でよく使われる非標準行で、リクエスト間の待機秒数を指定します。Pythonの
urllib.robotparserはcrawl_delay()で読み取ります。- User agent
クライアント名を示すヘッダー。責任あるクロールでは自身の名前、バージョン、連絡用URLを送信し、他のクロラー名は使いません。
- Content Signals
Cloudflareのrobots.txt拡張機能。
search、ai-input、ai-trainの値でコンテンツの利用方法をクローラに通知、2025年9月導入。- TDM opt-out
EU著作権法のもとで権利者がテキスト・データマイニング（TDM）を拒否する機械判読可能な予約。一般目的のAIモデル提供者はこれを尊重する必要があります。
- CAPTCHA
訪問者が人間かどうかを問うチャレンジ。クローラーにとっては減速または停止のシグナルです。CrawlRelayは自動解決に対応していません。
- Headless browser
ウィンドウ表示なしでコード（PlaywrightやPuppeteerなど）により操作されるブラウザ。JavaScriptをレンダリングしますが、HTTPクライアントより1ページあたりのダウンロードデータ量が多いです。
- JSON-LD
ページ内にJSONで埋め込まれた構造化データ。schema.orgのProductやOfferなどのタイプを利用。価格や商品情報の最も安定したソース。
- WARC
Web ARChive形式。Common Crawlやウェブアーカイブで使われる生のHTTPリクエスト・レスポンスの保存形式。生レスポンス保存によりページの二重料金を避けられます。
- 条件付きリクエスト
If-None-MatchやIf-Modified-Sinceを使ったリクエスト。ページが変わっていなければ304 Not Modifiedをボディなしで返し、通信量を節約します。
購入と請求
- 使った分だけ支払う
月額ではなく必要なときにトラフィックを1回購入する方法。CrawlRelayではプリペイド残高からの都度購入です。
- トラフィックの有効期限
購入したギガバイト数が一定期間（31日や1か月など）経過後に失効するかどうか。CrawlRelayのレジデンシャルプロキシおよび4Gモバイルプロキシのトラフィックは失効しません。
- 10進ギガバイト
1GB = 1,000,000,000バイト。ギビバイト（GiB）は1,073,741,824バイト。請求単位はプロバイダーに確認を。CrawlRelayは10進GB単位で請求。
- 成功リクエストあたりのコスト
トラフィックコストを使用可能なレスポンス数で割ったもの。1GBあたりの定価よりプロバイダー比較に優れています。
- サブユーザー
1アカウントで複数のプロキシ資格情報セット。プロジェクトやクライアントごとにトラフィック上限や使用総量を分離可能。
- KYC
KYC（本人確認）: 書類、セルフィー、法人書類による身元確認。CrawlRelayはKYC不要で、Acceptable Use Policy に依拠。
- AUP
Acceptable Use Policy（利用規約）: すべてのアカウントに適用されるルール。許可される使い方、禁止事項、アクセス禁止ターゲットを記載。