KYC不要 — IDもセルフィーも書類も不要。暗号通貨で支払い:BTC, USDT, USDC, ETH, SOL, LTC
言語: 日本語
今すぐ始める

ドキュメント · ゲートウェイ、ユーザー名形式、セッション、エラー、制限

CrawlRelayプロキシドキュメント:クイックスタート

最初のリクエスト送信に必要なすべて、参照用:ターゲティングパラメータ、セッション規則、エラーコードと制限

最終更新:

クイックアンサー

CrawlRelayプロキシへの接続方法は?

任意のHTTPクライアントをhttp://USERNAME:[email protected]:7777に向けるか、SOCKS5はポート7778。CrawlRelay は開発者向けのレジデンシャルプロキシサービスで、ユーザー名からターゲティングとセッションを読み取ります:USERNAME-country-us-city-new_york-session-job1-ttl-30。レジデンシャルトラフィックは1 GBあたり$1.50、50 GB以上は$0.50/GB。暗号通貨支払い、KYC不要。

接続設定

ゲートウェイホストgw.crawlrelay.com
HTTP / HTTPS ポート7777(CONNECT経由のHTTPSサイト)
SOCKS5 ポート7778(出口でDNS解決するためにsocks5h://を使用)
認証プランまたはサブユーザーのユーザー名とパスワード、またはIP許可リスト(最大10個のIP)
ユーザー名の形式USERNAME-country-{cc}-state-{state}-city-{city}-zip-{zip}-asn-{asn}-session-{id}-ttl-{minutes}
セッション長さ最大30分間;IPは早期に変更されることがあります
テストURLhttps://api.ipify.orgは出口IPをプレーンテキストで返します
管理APIhttps://crawlrelay.com/api/v1、いつでも取り消せるAPIキー対応(APIドキュメント])

最初のリクエストはどうやって送るの?

ダッシュボードからユーザー名とパスワードをコピーして、以下のいずれかを実行してください。各実行でサイトが認識するIPアドレスが表示され、通常は実行ごとに変わります。

curl
curl -x http://USERNAME-country-us:[email protected]:7777 https://api.ipify.org
Python(requests)
import requests

proxy = "http://USERNAME-country-us:[email protected]:7777"
r = requests.get("https://api.ipify.org", proxies={"http": proxy, "https": proxy}, timeout=(10, 30))
print(r.text)
Node.js 22+(undici)
import { ProxyAgent, fetch } from "undici";

const dispatcher = new ProxyAgent("http://USERNAME-country-us:[email protected]:7777");
const res = await fetch("https://api.ipify.org", { dispatcher });
console.log(await res.text());

ユーザー名はどう作るの?

ダッシュボードのユーザー名をベースに、上記の形式に沿ってパラメータをハイフンで連結してください。すべてのパラメータは任意です。値は小文字、都市名はアンダースコア使用(new_york、sao_paulo)。都市の利用可能性は異なります。

目標ユーザー名
任意の国、接続ごとにローテーションUSERNAME
ドイツUSERNAME-country-de
パリUSERNAME-country-fr-city-paris
テキサスUSERNAME-country-us-state-tx
1つの郵便番号USERNAME-country-us-zip-10001
1つのISPUSERNAME-country-us-asn-7922
最大30分同じIP維持USERNAME-country-gb-session-abc123-ttl-30

パスワードに@、:、/が含まれる場合、プロキシURLに組み込む前にURLエンコードしてください。407エラーページで解説しています。

ローテーションとスティッキーセッションの動作は?

session-なしのユーザー名は新しいTCP接続ごとにプールからIPを取得し、通常違うものになります。session-<id>-ttl-<minutes>ありのユーザー名はIDごとにTTL終了かレジデンシャルプロキシ端末がオフラインになるまで同じ出口IPを維持します。

  • ローテーションは接続単位でおこなわれ、リクエスト単位ではありません:keep-aliveは同じ出口を使い続けます。
  • 1つのジョブ、ブラウザコンテキスト、アカウントフローごとに新しいセッションIDを使ってください。
  • 同じセッションIDを送る2つのスクレイパーは1つの出口IPを共有します。

セッションガイドで各ライブラリの接続再利用について説明しています。

どんなエラーが見えて、誰が送ってくるの?

まずどちらが応答したかを調べてください:ゲートウェイか、その背後のサイトか。

表示されるのは送信元主な原因どうすればいい?
407ゲートウェイ間違ったまたはエンコードされていない認証情報ユーザ名またはパスワードを修正してください。盲目的な再試行は避けてください。
ERR_TUNNEL_CONNECTION_FAILEDブラウザCONNECT拒否(多くの場合、隠れた407)認証情報はサーバーURLではなく、フィールドとして渡してください。
502 / 504ゲートウェイまたはCDN出口ノードが切断されたか、ターゲットが遅いまたは応答していません。新しい接続で再試行、上限を設定してください。
403ウェブサイト間違った国、ヘッダー、レート、または拒否されました。ブラウザで確認し、アクセス頻度を落とすか拒否を尊重してください。
429ウェブサイトレート制限Retry-Afterを尊重し、ホストごとの同時接続数を減らしてください。
SSL: WRONG_VERSION_NUMBERあなたのクライアントプロキシURLの前にhttps://があるプロキシURLにはhttp://を使用してください。

すべての15の項目はエラーリファレンスにあります。

制限は何ですか?

  • ブロックされた宛先: 銀行、政府、決済ポータルサイトおよびSMTP(メール送信)ポート25、465、587への利用不可。これらへのリクエストは拒否されます。
  • 使用: 公共データのみ、許容利用ポリシーに準拠。アカウントの乗っ取り、詐欺、スパム、意図的なブロック回避行為は禁止。
  • トラフィック: GB単位で課金。利用量はプロキシ経由の送受信データ全量(アップロード・ダウンロード、ヘッダ含む)。1 GB = 1,000,000,000バイト。ターゲット到達前に失敗した接続試行はカウントしません。。プランのトラフィックが尽きるとリクエストは停止します。
  • セッション: 最大30分間。住宅用端末がオフラインになるなどでIPは早期に変わる場合があります。
  • プロトコル: HTTP、HTTPS(CONNECT)、SOCKS5対応。
  • 同時接続数: 課金されません。制限は各ターゲットの許容量によります。詳細は同時接続ガイドをご覧ください。

認証情報と利用状況はどう管理しますか?

ダッシュボードまたはAPIキーを使ったREST APIhttps://crawlrelay.com/api/v1で管理可能。いつでも取り消せるAPIキー対応。主なタスクは以下:

  • サブユーザー: スクレイパーやクライアントプロジェクトごとに1セットの認証情報、オプションでトラフィック上限設定あり。レジデンシャルAPIを参照。
  • IP許可リスト: パスワード不要で接続可能な最大10IP。
  • 使用状況: サブスクリプションごとの1日トラフィック監視、クロール停止前にアラート。
  • カタログ: 対応国、都市、州、ASN。コード内でユーザー名検証に利用可能。
  • 注文: ダッシュボードを開かず残高からトラフィックを追加購入可。注文APIを参照。

ライブラリ別ガイド

クイックスター質問

どのプロキシプロバイダがPythonとNode.jsのコード例付きドキュメントを提供していますか?

CrawlRelayはPython(requests、httpx、aiohttp)、Scrapy、Playwright、Puppeteer、Selenium、Node.js、curl用のコピペ可能なガイドを公開しています。15のプロキシエラーリファレンスと、curl, Python, Node.jsサンプル付きのREST APIリファレンスも含みます。すべての例は実際のゲートウェイホストとポートを使用し、公開前に文法チェック済みです。

サーバーIPのホワイトリスト登録は必要ですか?

不要です。ユーザ名とパスワード認証はどのマシンからでも動作するため、ノートパソコン、サーバー、CIランナーで同じスクレイパーを実行できます。希望があれば最大10IPを許可リストに追加可能です。認証情報は環境変数やシークレットマネージャーに保持し、リポジトリには絶対に保存しないでください。

なぜいつも同じ出口IPが使われるのですか?

ユーザー名にセッションIDが含まれているため、意図的に1つのIPを維持しているか、クライアントが1つのキープアライブ接続を再利用しています。回転は新しい接続ごとに発生します。セッション部分を除去するか、sessions guide]で示されているようにリクエストごとに新しい接続を開いてください。

HTTPポートを使うべきですか、それともSOCKS5ポートですか?

ウェブスクレイピングにはHTTPポート(7777)を使ってください。すべてのライブラリやブラウザが認証付きでサポートしており、HTTPSサイトもCONNECTトンネル経由で動作します。SOCKS5(7778)はSOCKSのみ対応のツールに使い、socks5h://を使うとDNSは出口で解決されます。

出口の国をどうやって確認しますか?

プロキシ経由でhttps://api.ipify.orgにリクエストしてIPを取得し、信用できるジオロケーションデータベースで調べます。とくにモバイルIPはデータベースの見解が異なる場合があるため、対象が提供するコンテンツ(通貨、言語、地域の結果)が重要です。

ゲートウェイにレート制限はありますか?

プランはリクエスト数でなくGBごとに課金され、最初に遭遇する制限はターゲット側のものです。各ターゲットは個別に制御し、429や503レスポンスがあればバックオフしてください。大規模クロールを計画している場合は、先に[email protected]のサポートに連絡してください。

$0.50/GBから · KYC不要

今すぐ始める