# プロキシ経由でスクレイピング時に403 Forbiddenが返る原因と対処法 > なぜプロキシ背後のスクレイパーに403 Forbiddenが返るのか、ブロックとバグの見分け方、規則を破らない対処法 - URL: https://crawlrelay.com/ja/docs/errors/403-forbidden/ - 最終更新: 2026-10-13 - Publisher: CrawlRelay (https://crawlrelay.com) HTTPステータスコード（4xx、クライアントエラー）：各ツールでの正確なメッセージ、考えられる原因の順序、効果的な修正方法。 **クイックアンサー — プロキシでの403 Forbiddenとは何を意味していますか？** **403 Forbidden** はサーバーがリクエストを理解し応答を拒否していることを意味します。CrawlRelayの住宅用プロキシ経由での403はほぼ常にターゲットサイトまたはそのファイアウォールからのものです。トラフィックを増やす前に原因を調べてください：国指定ミス、不足ヘッダー、ログイン必須ページ、または自動アクセスを許可しないサイト等です。 ## 403 Forbiddenを一目で理解する | 属性 | 値 | | --- | --- | | エラー | 403 Forbidden | | タイプ | HTTPステータスコード（4xx、クライアントエラー） | | 送信元 | 通常はターゲットウェブサイトまたはそのファイアウォール、時にブロックされた宛先のためのプロキシ | | 定義されている場所 | RFC 9110, section 15.5.4 | | 再試行しますか？ | 一度だけ、休止後に新IPで。403が繰り返し出る場合は停止 | | まず確認すること | 同じ国から通常のブラウザで同じURLを開いてみてください | ## 403 Forbiddenとは何ですか？ RFC 9110は403を拒否として定義し、サーバーはリクエストを理解しているが実行しないと述べています。401と違い新しい認証情報は効果がありません。理由をレスポンスボディで説明するサイトもありますが、多くのファイアウォールは短い一般的なページを返します。 スクレイパーにとって403はポリシーの合図です。サイトは、このIPやヘッダー、頻度のリクエストはページを返さないことにしています。これらの一部はあなたが修正できますが、他はサイトからの拒絶です。 ## a 403はPython、curl、Node.js、ブラウザではどのように表示されますか？ 同じ失敗でもツールごとに異なる表示になります。ログ検索用のメッセージは以下の通りです： - **Python requests:** `r.status_code == 403`、しばしばファイアウォールベンダーのHTMLボディ付き - **Scrapy:** `Ignoring response <403 https://...>: HTTP status code is not handled or not allowed` - **curl:** 詳細出力の`HTTP/2 403` - **Playwright、Puppeteer:** ナビゲーションは成功するが、`response.status()`が403を返しアクセス拒否メッセージを表示 ## a 403の原因は何ですか？ 最も可能性が高いのは次の通りです： - **地理的位置。** エグジットIPの国ではコンテンツが提供されていないか、サイトが特定地域向けである。 - **IP評判。** 自動トラフィック関連のアドレス範囲をブロック。データセンターは住宅用よりブロックされやすい。 - **リクエスト指紋。** `Accept-Language`がないなど不一致なヘッダーや素のHTTPクライアントが送るUser-Agentなど。 - **頻度。** 同一セッションでの連続リクエストが多すぎて、429から403に段階的に上がる。 - **アクセス規則。** ページがログインや有料アカウント必要、またはrobots.txtや利用規約でクローラーを除外。 - **プロキシ方針。** 一部宛先はプロキシ自身が拒否。CrawlRelayでは利用規約で指定したカテゴリが該当。 ## a 403を段階的に診断するには？ 1. 同じ国の通常ブラウザでURLを開く。ここで失敗するなら公開されていない。 2. スクレイパーが送るヘッダーとブラウザのヘッダーを比較。 3. ターゲットのrobots.txtと自動アクセスに関する規約を確認。 4. 時間的パターンを確認：N回後に403が発生なら頻度の問題で、IPの問題ではない。 *curlで失敗したURLをテストする（HTTPポート、詳細表示）* ```bash # Use the URL that fails; with https://api.ipify.org instead, you test the gateway alone. # "HTTP/1.1 200 Connection established" first, then the site's own status: the site answered. curl -v -x http://USERNAME:PASSWORD@gw.crawlrelay.com:7777 https://TARGET_URL # Same test through the SOCKS5 port, with DNS resolved at the exit curl -v --socks5-hostname gw.crawlrelay.com:7778 --proxy-user USERNAME:PASSWORD https://TARGET_URL ``` ## a 403をどう修正しますか？ - **正しい国を選ぶ**ために`country-`パラメータを使い、現地訪問者が見るエディションに合わせる。 - **正直で完全なヘッダーを送る。** User-Agentに連絡用URLを記載し、`Accept`と`Accept-Language`も送信。 - **速度を落とす。** ホスト毎の同時接続数を減らし遅延を追加。[403、429、CAPTCHAの対処方法](https://crawlrelay.com/ja/guides/403-429-captcha/)もご覧ください。 - **拒否を尊重する。** 故意のブロックされたサイトには公式API、データライセンス、公開データセットを検討。IPを回転して回避するのは利用規約に反します（[Acceptable Use Policy](https://crawlrelay.com/ja/acceptable-use/)）。 ## a 403の後に再試行すべきですか？ 403は最大1回だけ、休止後に新IPで再試行してください。一回の再試行で個別のフラグ付きアドレスかサイト全体のルールか判別できます。二度目の403も続くならそのURLパターンへの要求を止め、設定を見直してください。403の連打は帯域浪費で且つ厳しいブロック化を招きます。 ## 403 ForbiddenはCrawlRelayにどう関係しますか？ CrawlRelayではセッションIDなしの新接続は通常異なる住宅IPで出るため、単一再試行は新鮮なアドレスをテストすることになります。再試行時は国を変えないでください。国が変わると比較内容が変わるためです。銀行・政府・決済ポータルへの要求はゲートウェイで利用規約に基づいて拒否されます。 ゲートウェイ：`gw.crawlrelay.com`、ポート7777（HTTP、HTTPSはCONNECT経由）、ポート7778（SOCKS5）。ユーザー名形式：`USERNAME-country-{cc}-state-{state}-city-{city}-zip-{zip}-asn-{asn}-session-{id}-ttl-{minutes}`。関連情報：[429 Too Many Requests](https://crawlrelay.com/ja/docs/errors/429-too-many-requests/) · [401 vs 407](https://crawlrelay.com/ja/docs/errors/401-unauthorized/) · [403、429、CAPTCHAの処理](https://crawlrelay.com/ja/guides/403-429-captcha/)。 ## 403 Forbidden：開発者がよく尋ねる質問 ### 403は私のプロキシIPが禁止されたことを意味しますか？ 必ずしもそうではありません。403は、国が間違っている、ヘッダーが欠落している、リクエストの頻度が高い、または公開されていないページなどが原因で発生します。同じ国のブラウザから同じURLをテストして比較してください。新しいIPがページにアクセスできて、古いIPができない場合は、古いIPがフラグ付けされています。すべてのIPが403を返す場合は、サイトのルールが原因です。 ### 住宅用プロキシで403エラーは解消されますか？ 必ずしもそうではありません。適切な国や都市の居住者用出口を使えば、場所が誤っているために発生する403は解消されます。なぜなら、サイトはローカル版を提供するからです。ただし、サイトがホスティングレンジをフィルタリングしたり、クローラーを拒否して自動トラフィックを排除している場合、居住者用IPでもアクセスは許可されません。ヘッダー、リクエスト頻度やログイン壁で起きる403はコード修正が必要です。 ### 403が返ってもスクレイピングを続けるのは合法ですか？ 403はサイトがリクエストを拒否している明確な合図です。意図的な技術的障壁を回避しようとすると、幾つかの国で法律リスクを生じる可能性があります。たとえば、回避禁止法や不正アクセス禁止法などです。これは法的助言ではありません。私たちの[2026年のウェブスクレイピング法概要](https://crawlrelay.com/ja/guides/is-web-scraping-legal/)を読み、ケースごとに弁護士に相談してください。 ## 他のプロキシエラーのリファレンス - [401 Unauthorized vs 407](https://crawlrelay.com/ja/docs/errors/401-unauthorized/) - [403 Forbidden](https://crawlrelay.com/ja/docs/errors/403-forbidden/) - [407 Proxy Authentication Required](https://crawlrelay.com/ja/docs/errors/407-proxy-authentication-required/) - [429 Too Many Requests](https://crawlrelay.com/ja/docs/errors/429-too-many-requests/) - [502 Bad Gateway](https://crawlrelay.com/ja/docs/errors/502-bad-gateway/) - [503 Service Unavailable](https://crawlrelay.com/ja/docs/errors/503-service-unavailable/) - [504 Gateway Timeout](https://crawlrelay.com/ja/docs/errors/504-gateway-timeout/) - [Cannot connect to proxy (ProxyError)](https://crawlrelay.com/ja/docs/errors/cannot-connect-to-proxy/) - [Connection reset by peer (ECONNRESET)](https://crawlrelay.com/ja/docs/errors/connection-reset/) - [ERR_PROXY_CONNECTION_FAILED](https://crawlrelay.com/ja/docs/errors/err-proxy-connection-failed/) - [ERR_TUNNEL_CONNECTION_FAILED](https://crawlrelay.com/ja/docs/errors/err-tunnel-connection-failed/) - [Read timed out (ReadTimeout)](https://crawlrelay.com/ja/docs/errors/read-timeout/) - [SOCKS5 proxy errors](https://crawlrelay.com/ja/docs/errors/socks5-proxy-errors/) - [SSL: CERTIFICATE_VERIFY_FAILED](https://crawlrelay.com/ja/docs/errors/ssl-certificate-verify-failed/) - [SSL: WRONG_VERSION_NUMBER](https://crawlrelay.com/ja/docs/errors/ssl-wrong-version-number/) **失敗ケースを網羅したドキュメント付きレジデンシャルプロキシ** $0.50/GB発のCrawlRelayレジデンシャルプロキシ、期限切れがないトラフィック。 [料金を見る](https://crawlrelay.com/ja/pricing/) · [クイックスタート](https://crawlrelay.com/ja/docs/) --- CrawlRelay: CrawlRelayは開発者第一のレジデンシャルプロキシおよび4G/5Gモバイルプロキシの回転型サービスです：有効期限なしの使った分だけ支払うトラフィックを$0.50/GBから暗号通貨で購入、IDアップロード不要。KYC不要 — IDもセルフィーも書類も不要。暗号通貨で支払い可能。