401 Unauthorized vs 407 Proxy Authentication Required

401 Unauthorized vs 407とは何ですか？

RFC 9110でこれら二つのコードはペアになっています。401はWWW-Authenticateヘッダーを伴い、オリジンサーバーへの認証を要求します。407はProxy-Authenticateヘッダーを伴い、プロキシへの認証を求めます。応答もそれぞれ別のヘッダーに入ります：Authorizationがサイト用、Proxy-Authorizationがプロキシ用です。

どちらも「認証」と言って混同されやすいですが、ステータスコード自体が最も速い判別手段で、401はプロキシを通過していることを意味します。

a 401はPython、curl、Node.js、ブラウザではどのように表示されますか？

同じ失敗でもツールごとに異なる表示になります。ログ検索用のメッセージは以下の通りです：

• Python requests: ウェブサイトのstatus_code == 401にWWW-Authenticateヘッダー付き vs プロキシの407を示すProxyError
• curl: ウェブサイトの成功CONNECT後のHTTP/2 401 vs プロキシのCONNECT tunnel failed, response 407
• API: {"message": "Unauthorized"}などのJSON本文や無効トークンメッセージ

a 401の原因は何ですか？

最も可能性が高いのは次の通りです：

• ページやAPIはログインやキーが必要です。 プロキシではなくサイトが要求しています。
• 誤った場所のプロキシ認証情報： 例えば、プロキシ向けのAuthorizationヘッダーに入れてしまっていて、サイトが拒否しています。
• 多段階フローでの期限切れのセッションCookieやトークン。
• IPや地域に紐づいたトークンで、新しい出口が無効にします。

a 401を段階的に診断するには？

1. コードを確認：401はサイト、407はプロキシ。
2. 以下のcurlテストを実行し、401前にHTTP/1.1 200 Connection establishedがあるか確認。問題なければプロキシ正常。
3. 通常のブラウザで同じURLがログインを要するか確認。
4. 多段階フローで出口IP切替時に401が始まるか確認。

# Use the URL that fails; with https://api.ipify.org instead, you test the gateway alone.
# "HTTP/1.1 200 Connection established" first, then the site's own status: the site answered.
curl -v -x http://USERNAME:[email protected]:7777 https://TARGET_URL

# Same test through the SOCKS5 port, with DNS resolved at the exit
curl -v --socks5-hostname gw.crawlrelay.com:7778 --proxy-user USERNAME:PASSWORD https://TARGET_URL

a 401をどう修正しますか？

• プロキシ問題（407）には、認証情報をプロキシURLやクライアントのプロキシ設定に入れ、Authorizationヘッダーには入れないでください。
• キーが必要な公開APIは、サイトで登録してキーを送信してください。
• IPに紐づくセッションでは、ステッキーセッションを使ってフロー全体を維持。
• ログインが必要なコンテンツは、サイトの利用規約を確認し、自分のアカウントかつ許可された場合のみ自動処理してください。ログイン保護された個人情報のスクレイピングは当社の許容利用規約外です。

a 401の後に再試行すべきですか？

401を単純にリトライしないでください。要求に何か必要なものが欠けています。トークンやセッションを更新し、1回だけ再試行してください。繰り返し401が出る場合はコンテンツが非公開かアクセス権が切れています。

401 Unauthorized vs 407はCrawlRelayにどう関係しますか？

HTTPプロキシは自身の認証問題を407やトンネル失敗で返し、401では返しません。CrawlRelayゲートウェイ使用時に401が出る場合、リクエストはウェブサイトへ到達していることになり、問題の切り分けが速くなります。

ゲートウェイ：gw.crawlrelay.com、ポート7777（HTTP、HTTPSはCONNECT経由）、ポート7778（SOCKS5）。ユーザー名形式：USERNAME-country-{cc}-state-{state}-city-{city}-zip-{zip}-asn-{asn}-session-{id}-ttl-{minutes}。関連情報：407 Proxy Authentication Required · 403 Forbidden · Sessions guide。