スクレイパー向けプロキシエラーリファレンス

スクレイパーはどのエラーを自動的に再試行すべきですか？

自動で変化しうるものは再試行し、変化しないものは停止しましょう：

• 新しい接続で再試行： 502、504、接続リセットや読み取りタイムアウト。新しい接続は通常、異なるレジデンシャルプロキシの出口になります。
• 後で、遅く再試行： 429 と 503。Retry-Afterを待つか、ジッター付きの指数的バックオフを行い、対象ホストの同時接続数を減らします。
• 一度だけ再試行し停止： 403。一度だけ新しいIPで再試行すると、フラグが立ったアドレスとサイトルールを区別できます。
• むやみに再試行しない： 407、401、TLSエラー、到達不能なプロキシ。これらは設定の問題です。

Pythonガイドでは、urllib3のRetryを使ったこれらのルールに従う再試行ポリシーを示しています。

エラーを簡単にデバッグできるようにログはどうとればいい？

失敗したリクエストごとに5つの項目をログに残します：URLのホスト、ステータスコードや例外クラス、セッションID（あれば）、最初のバイト到着時間、レスポンス本文の最初の200文字。本文でCDNやファイアウォール、プロキシのいずれがエラーページを書いたか判別できます。ホストごと・ステータスごとに毎分エラー件数をカウントしましょう。一つのホストだけ急増すればそのサイトの変更、全ホストで急増すればセットアップまたはネットワークの問題です。