# AIトレーニングデータとLLMウェブコーパス用プロキシ > AIトレーニングデータとLLMコーパスのためのプロキシ：2026年のオプトアウト規則、GDPR、クローラコードに対応した百万ページあたりのGB。$0.50/GBは50GBから、KYC不要。 - URL: https://crawlrelay.com/ja/use-cases/ai-training-data/ - 最終更新: 2026-10-13 - Publisher: CrawlRelay (https://crawlrelay.com) モデルのための公共ウェブデータ収集は、今や規制され、計測され、争われる活動です。このページではボリューム計算、2026年のオプトアウト規則、そしてそれらを尊重するクローラーパターンを解説します。 **クイックアンサー — 大規模AIトレーニングデータ収集に最適なプロキシは何ですか？** マルチテラバイトの公共ウェブコーパスには、トラフィックが期限切れにならないGBごと課金の回転するレジデンシャルプロキシを使い、robots.txtとAIオプトアウトを尊重するクローラーを使いましょう。**CrawlRelay**は2026年10月時点で50GBから1TBまでのレジデンシャルトラフィックを$0.50/GBで販売しており、約50GBで100万HTMLページをカバーします。暗号通貨で支払い、KYC不要。 ## AIデータ収集：主要数値 | 属性 | 値 | | --- | --- | | CrawlRelayのボリューム価格 | $0.50/GBは50 GBから1 TBまで対応；トラフィックは期限切れなし | | HTMLのみのページ | 圧縮で数十KB、中央値のHTMLは22〜35KB（HTTP Archive Web Almanac 2025） | | 完全レンダリングページ | モバイルで中央値2,164KB、デスクトップで2,412KB（同データ） | | 100万HTMLページ | 約30〜60GBのプロキシトラフィック | | クローラーのトラフィックにおけるAIトレーニング | 2025年春に22%、2026年6月に52%（Cloudflare） | | クロールルールの標準 | robots.txt、RFC 9309（2022） | ## AIトレーニング用コーパスに必要なプロキシトラフィック量は？ レンダリングされたページではなくHTMLやテキストを取得すれば、ボリュームは管理可能です。圧縮HTMLページあたり50KBで： | ページ数 | HTMLのみ（約50KB） | レンダリング済み（約2MB） | | --- | --- | --- | | 100,000 | 5 GB | 200 GB | | 100万 | 50 GB | 2 TB | | 1,000万 | 500 GB | 20 TB | | 1億ページ | 5 TB | 200 TB | ヘッドレスブラウザはトラフィックを約40倍に増やすため、JavaScriptが必要なテキストのページのみレンダリングしてください。CrawlRelayでは、100万HTMLページが50 GBプラン（$25）に収まり、1,000万ページが500 GB（$250）に収まります。まずは1,000ページで実際の平均を測定しましょう。詳細は[帯域幅ガイド](https://crawlrelay.com/ja/guides/bandwidth-calculator/)をご参照ください。 ## AIトレーニングデータにプロキシは本当に必要？ 多くの場合、大部分には必要ありません。クロール前に以下の3つの廉価な情報源をチェックしましょう。 - **オープンクローズ。** Common CrawlはCCBotクローラで収集したペタバイト級のウェブアーカイブを公開しています。 - **公式ダンプ・API。** Wikipediaや多くの政府機関、オープンデータポータル、リサーチリポジトリは明確なライセンス付きでダウンロードやAPIを提供しています。 - **ライセンスデータ。** 出版社やプラットフォームはアクセスを販売・ライセンス提供し、CloudflareのペイパークローリングはHTTP 402を利用してクロールに価格を付けています。 プロキシはこれ以外の部分、つまりオープンクローズにない新しい公開ページ、国や都市ごとに異なるコンテンツ、地域ごとに異なる版を配信するサイトでコストを回収します。レジデンシャルプロキシの出口を使うことで、現地訪問者が見る内容を収集可能です。 ## 2026年にAIデータクローラーに適用されるルールは？ 技術的側面から法律的側面まで4つの層があります。 1. **robots.txt（RFC 9309）。** サイトが自動化クライアントにフェッチして良いパスを示す標準方法。サイトごとに解析し、クローラのユーザーエージェントまたは`*`のグループに適用し、RFCが推奨するように24時間以上はキャッシュしないでください。 2. **AI固有のシグナル。** CloudflareのContent Signals Policyはrobots.txtに`ai-train`、`ai-input`、`search`の値を追加。3.8百万以上のドメインがCloudflare管理のrobots.txtを使用中。IETFのaipref作業部会は標準語彙を作成中ですが、2026年10月現在未決定。 3. **EUのテキスト・データマイニングのオプトアウト。** EUの著作権規則とAI法第53条に基づき、汎用AIモデルの提供者は機械判読可能な権利保留を尊重すべき。Kneschke対LAION判決（ハンブルク高裁、2025年12月10日）ではLAIONは非営利研究協会として科学研究例外を主張し、2021年技術では平易な言語の保留は機械判読不可と判断されたが、変更の可能性と連邦最高裁への控訴が認められた。商用クロールでは利用規約の平易言語保留を現時点で拘束的に扱うべき。 4. **個人データ。** EDPBの意見28/2024はケースバイケースで正当利益がAIトレーニングの法的根拠になり得るとし、CNILは2025年6月にAIクロールに関する推奨を発表。 これは法律アドバイスではありません。[2026年版ウェブスクレイピング法概説](https://crawlrelay.com/ja/guides/is-web-scraping-legal/)をご一読の上、プロジェクトに応じて法律相談してください。 ## クロール前にrobots.txtとAIトレーニングシグナルをどう確認する？ サイトのURLをキューに入れる前に両方を確認してください。以下の関数はプロキシ経由でrobots.txtを取得し、欠落（4xx）や到達不能（5xx）ファイルにRFC 9309のルールを適用し、Cloudflare式の`Content-Signal`行を読み取ります。意図的にシンプルで、ファイル内の任意の`ai-train=no`をあなたのクローラーに適用します。 *Python: robots.txt + Content-Signalチェック* ```python import urllib.robotparser from urllib.parse import urlsplit import requests PROXY = "http://USERNAME:PASSWORD@gw.crawlrelay.com:7777" PROXIES = {"http": PROXY, "https": PROXY} USER_AGENT = "ExampleDataBot/1.0 (+https://example.com/bot)" _rules = {} def site_rules(url): """Robots rules and Content-Signal values for the site of url (cache them for 24 h at most).""" scheme, host = urlsplit(url)[:2] root = "%s://%s" % (scheme, host) if root not in _rules: try: r = requests.get(root + "/robots.txt", proxies=PROXIES, timeout=(10, 30), headers={"User-Agent": USER_AGENT}) status, text = r.status_code, r.text except requests.RequestException: status, text = 599, "" if 400 <= status < 500: lines = [] # RFC 9309: unavailable, crawling allowed elif status >= 500: lines = ["User-agent: *", "Disallow: /"] # unreachable: assume complete disallow else: lines = text.splitlines() parser = urllib.robotparser.RobotFileParser() parser.parse(lines) signals = {} for line in lines: if line.lower().startswith("content-signal:"): for part in line.split(":", 1)[1].split(","): key, _, value = part.strip().partition("=") signals[key.strip().lower()] = value.strip().lower() _rules[root] = (parser, signals) return _rules[root] def may_collect_for_training(url): parser, signals = site_rules(url) return parser.can_fetch(USER_AGENT, url) and signals.get("ai-train") != "no" print(may_collect_for_training("https://example.com/some/page")) ``` ## ウェブコーパス内の個人データをどう扱う？ 収集は控えめにし、削除は徹底的に。GDPRや類似法のもとで、パブリックだからといって自由に使えるわけではありません。名前、メール、電話番号、プロフィールページはどこにあっても個人データです。 - **設計段階で除外。** プロフィール、人物検索、ログイン専用エリア、および個人情報が主なコンテンツのサイトは避ける。 - **収集後にフィルタ。** メール、電話番号、識別子を検出・削除し、トレーニング前に除去。 - **法的根拠を文書化。** EDPB意見28/2024とCNILの2025年推奨が正当利益のバランステストを解説。 - **異議を尊重。** サイトや個人を今後のクロールと保存データから削除できる方法を用意。 CrawlRelayの[Acceptable Use Policy](https://crawlrelay.com/ja/acceptable-use/)は、適用される法律に違反して個人データを収集することを禁じています。 ## AIデータパイプラインはプロキシをどう使うべき？ - **クロールごとにサブユーザーを一つ用意**してトラフィック上限を設け、暴走ジョブでプランが使い果たされるのを防ぎ、各データセットの使用記録を明確にする。 - **幅広さのためにローテーション。** 独立したページは異なる出口を通過させ、ページネーションされるフローにはスティッキーセッションのみ使用。 - **ホストごとに上限。** 1サイトあたり2〜4リクエストを飛ばし、それ以上は高速応答する大規模サイトのみ。詳細は[同時接続ガイド](https://crawlrelay.com/ja/docs/concurrency/)を参照。 - **一度だけ取得。** URLを重複排除し、再クロール時は`If-Modified-Since`を使い、生のレスポンス（例：WARC）を保存。二重課金を避ける。 - **クローラーを明確に識別。** 連絡先URLを含む分かりやすいユーザーエージェントをセットし、サイト運営者があなたに連絡できるようにし、ブロックを回避。 ## AIトレーニングデータ用プロキシの費用はどのくらい？ 50 GB から 1 TB まで、CrawlRelay のレジデンシャルプロキシトラフィックは2026年10月時点で $0.50/GB の価格で提供され、有効期限はありません。複数テラバイトのコーパスには、同じ料金で複数の 1 TB プランを購入してください。 | プラン | 数量 | 価格 | 単価 | | --- | --- | --- | --- | | クロール | 50 GB | $25 | $0.50/GB | | パイプライン | 100 GB | $50 | $0.50/GB | | コーパス | 500 GB | $250 | $0.50/GB | | スケール | 1 TB | $500 | $0.50/GB | すべてのプランに: プロトコル: HTTP、HTTPS、SOCKS5 · ターゲティング: 国、都市；米国州とZIP；ASN · セッション: 回転型、または最大30分の固定型 · トラフィックの有効期限: 有効期限なし 2026年10月13日時点の米ドル価格。 **支払う前に** - 最低チャージ金額は$25です。 一度4Gモバイルプロキシでチャージすれば、残高からどのプランでも購入可能です。 - 未使用の残高はアカウントに残り、有効期限はありませんが、法律で義務付けられている場合を除き、払い戻しはされません. - お支払いがブロックチェーン上で確認され次第、残高に反映されます。 ネットワーク承認の目安時間: BTC 約 20 分 · USDT TRC-20 約 1 分 · USDT ERC-20 約 5 分 · USDC ERC-20 約 5 分 · ETH 約 5 分 · SOL 約 1 分 · LTC 約 15 分 ## AIトレーニングデータ用プロキシ：よくある質問 ### AIモデルの学習のためにウェブサイトをスクレイピングするのは合法ですか？ 国やコンテンツ、収集方法によります。2026年10月現在、いくつかのケースはまだ裁判中です。EUではテキスト・データ・マイニング例外規定が適用されますが、権利者が機械可読な方法で権利を留保している場合は適用されません。個人データには法的根拠が必要です。これは法的助言ではありません。詳細は当社の [2026年概要](https://crawlrelay.com/ja/guides/is-web-scraping-legal/)] をご覧ください。 ### 私のAIクローラーはGPTBotまたはCCBotのユーザーエージェントを使うべきですか？ いいえ。これらの名前はOpenAIとCommon Crawlのもので、サイトはそれらの特定クロール用にアクセス可能範囲を決めています。独自のユーザーエージェントと連絡用URLを使い、それに適合するrobots.txtルール、または`*`グループのルールを適用してください。他のクローラーを偽装することはほとんどのサイトの利用規約や当社の許容利用ポリシー違反です。 ### 100万ページをスクレイピングするには何GB必要ですか？ 圧縮されたHTMLのみで約30～60GB、画像付きでブラウザレンダリングすると約2TBになります。CrawlRelay で 50 GB は $25 の価格です。購入前に実際のページ1,000件を測定してください。ページのサイズはサイトごとに大きく異なります。 ### なぜAIデータ用にデータセンターIPではなくレジデンシャルプロキシを使うのですか？ 一部のサイトは地域によって異なるコンテンツを提供し、レジデンシャル出口は現地の訪問者が見る公開版にアクセスします。ホスティングレンジをフィルタして自動化トラフィックを排除するサイトでは、レジデンシャルIPでもアクセスが許可されるわけではありません。クローラーを歓迎するサイトやダンプ/APIを提供するサイトではプロキシは不要かもしれません。結果が変わる場合にレジデンシャルトラフィックを使ってください。 ### クローリングが一時停止してもレジデンシャルトラフィックは期限切れになりますか？ いいえ。プリペイドのレジデンシャルおよび回転型モバイルトラフィックは期限切れなし。未使用のGBはアカウントに残存し継続使用可能。。数週間停止するパイプラインでも残りのギガバイトは保持されます。これはバースト的にクロールする学習ジョブで重要です。 ## 情報源 1. [RFC 9309: Robots Exclusion Protocol](https://www.rfc-editor.org/rfc/rfc9309.html) — IETF (2022-09) 2. [コンテンツシグナルポリシー](https://blog.cloudflare.com/content-signals-policy/) — Cloudflare (2025-09-24) 3. [エージェンシックウェブ（クローラートラフィック、2026年6月）](https://blog.cloudflare.com/agentic-web/) — Cloudflare (2026-09-30) 4. [クローリングごとの課金を導入](https://blog.cloudflare.com/introducing-pay-per-crawl/) — Cloudflare (2025-07-01) 5. [IETF AI Preferences (aipref) ワーキンググループ](https://datatracker.ietf.org/wg/aipref/about/) — IETF (2026-09-14) 6. [ハンブルク高等地方裁判所、AIトレーニングは許可されたと確認（Kneschke v. LAION）](https://www.twobirds.com/en/insights/2025/germany/higher-regional-court-hamburg-confirms-ai-training-was-permitted-(kneschke-v,-d-,-laion)) — Bird & Bird (2025-12) 7. [EDPBがAIモデルにおける個人データの主要質問に言及](https://www.iapp.org/news/a/edpb-weighs-in-on-key-questions-on-personal-data-in-ai-models) — IAPP (2024-12-18) 8. [Web Almanac 2025：ページ重量](https://almanac.httparchive.org/en/2025/page-weight) — HTTP Archive (2026-01-15) **有効期限のないトラフィックでコーパスを構築** $0.50/GB を 50 GB から 1 TB で提供。 [1 TBを選択](https://crawlrelay.com/app/checkout/?plan=res-1000&product=residential&lang=ja) · [すべてのプランを見る](https://crawlrelay.com/ja/pricing/) --- CrawlRelay: CrawlRelayは開発者第一のレジデンシャルプロキシおよび4G/5Gモバイルプロキシの回転型サービスです：有効期限なしの使った分だけ支払うトラフィックを$0.50/GBから暗号通貨で購入、IDアップロード不要。KYC不要 — IDもセルフィーも書類も不要。暗号通貨で支払い可能。