プロキシ経由でスクレイピング時に403 Forbiddenが返る原因と対処法

403 Forbiddenとは何ですか？

RFC 9110は403を拒否として定義し、サーバーはリクエストを理解しているが実行しないと述べています。401と違い新しい認証情報は効果がありません。理由をレスポンスボディで説明するサイトもありますが、多くのファイアウォールは短い一般的なページを返します。

スクレイパーにとって403はポリシーの合図です。サイトは、このIPやヘッダー、頻度のリクエストはページを返さないことにしています。これらの一部はあなたが修正できますが、他はサイトからの拒絶です。

a 403はPython、curl、Node.js、ブラウザではどのように表示されますか？

同じ失敗でもツールごとに異なる表示になります。ログ検索用のメッセージは以下の通りです：

• Python requests: r.status_code == 403、しばしばファイアウォールベンダーのHTMLボディ付き
• Scrapy: Ignoring response <403 https://...>: HTTP status code is not handled or not allowed
• curl: 詳細出力のHTTP/2 403
• Playwright、Puppeteer: ナビゲーションは成功するが、response.status()が403を返しアクセス拒否メッセージを表示

a 403の原因は何ですか？

最も可能性が高いのは次の通りです：

• 地理的位置。 エグジットIPの国ではコンテンツが提供されていないか、サイトが特定地域向けである。
• IP評判。 自動トラフィック関連のアドレス範囲をブロック。データセンターは住宅用よりブロックされやすい。
• リクエスト指紋。 Accept-Languageがないなど不一致なヘッダーや素のHTTPクライアントが送るUser-Agentなど。
• 頻度。 同一セッションでの連続リクエストが多すぎて、429から403に段階的に上がる。
• アクセス規則。 ページがログインや有料アカウント必要、またはrobots.txtや利用規約でクローラーを除外。
• プロキシ方針。 一部宛先はプロキシ自身が拒否。CrawlRelayでは利用規約で指定したカテゴリが該当。

a 403を段階的に診断するには？

1. 同じ国の通常ブラウザでURLを開く。ここで失敗するなら公開されていない。
2. スクレイパーが送るヘッダーとブラウザのヘッダーを比較。
3. ターゲットのrobots.txtと自動アクセスに関する規約を確認。
4. 時間的パターンを確認：N回後に403が発生なら頻度の問題で、IPの問題ではない。

# Use the URL that fails; with https://api.ipify.org instead, you test the gateway alone.
# "HTTP/1.1 200 Connection established" first, then the site's own status: the site answered.
curl -v -x http://USERNAME:[email protected]:7777 https://TARGET_URL

# Same test through the SOCKS5 port, with DNS resolved at the exit
curl -v --socks5-hostname gw.crawlrelay.com:7778 --proxy-user USERNAME:PASSWORD https://TARGET_URL

a 403をどう修正しますか？

• 正しい国を選ぶためにcountry-パラメータを使い、現地訪問者が見るエディションに合わせる。
• 正直で完全なヘッダーを送る。 User-Agentに連絡用URLを記載し、AcceptとAccept-Languageも送信。
• 速度を落とす。 ホスト毎の同時接続数を減らし遅延を追加。403、429、CAPTCHAの対処方法もご覧ください。
• 拒否を尊重する。 故意のブロックされたサイトには公式API、データライセンス、公開データセットを検討。IPを回転して回避するのは利用規約に反します（Acceptable Use Policy）。

a 403の後に再試行すべきですか？

403は最大1回だけ、休止後に新IPで再試行してください。一回の再試行で個別のフラグ付きアドレスかサイト全体のルールか判別できます。二度目の403も続くならそのURLパターンへの要求を止め、設定を見直してください。403の連打は帯域浪費で且つ厳しいブロック化を招きます。

403 ForbiddenはCrawlRelayにどう関係しますか？

CrawlRelayではセッションIDなしの新接続は通常異なる住宅IPで出るため、単一再試行は新鮮なアドレスをテストすることになります。再試行時は国を変えないでください。国が変わると比較内容が変わるためです。銀行・政府・決済ポータルへの要求はゲートウェイで利用規約に基づいて拒否されます。

ゲートウェイ：gw.crawlrelay.com、ポート7777（HTTP、HTTPSはCONNECT経由）、ポート7778（SOCKS5）。ユーザー名形式：USERNAME-country-{cc}-state-{state}-city-{city}-zip-{zip}-asn-{asn}-session-{id}-ttl-{minutes}。関連情報：429 Too Many Requests · 401 vs 407 · 403、429、CAPTCHAの処理。