AIトレーニングデータとLLMウェブコーパス用プロキシ

AIトレーニング用コーパスに必要なプロキシトラフィック量は？

レンダリングされたページではなくHTMLやテキストを取得すれば、ボリュームは管理可能です。圧縮HTMLページあたり50KBで：

AIトレーニングデータにプロキシは本当に必要？

多くの場合、大部分には必要ありません。クロール前に以下の3つの廉価な情報源をチェックしましょう。

• オープンクローズ。 Common CrawlはCCBotクローラで収集したペタバイト級のウェブアーカイブを公開しています。
• 公式ダンプ・API。 Wikipediaや多くの政府機関、オープンデータポータル、リサーチリポジトリは明確なライセンス付きでダウンロードやAPIを提供しています。
• ライセンスデータ。 出版社やプラットフォームはアクセスを販売・ライセンス提供し、CloudflareのペイパークローリングはHTTP 402を利用してクロールに価格を付けています。

プロキシはこれ以外の部分、つまりオープンクローズにない新しい公開ページ、国や都市ごとに異なるコンテンツ、地域ごとに異なる版を配信するサイトでコストを回収します。レジデンシャルプロキシの出口を使うことで、現地訪問者が見る内容を収集可能です。

2026年にAIデータクローラーに適用されるルールは？

技術的側面から法律的側面まで4つの層があります。

1. robots.txt（RFC 9309）。 サイトが自動化クライアントにフェッチして良いパスを示す標準方法。サイトごとに解析し、クローラのユーザーエージェントまたは*のグループに適用し、RFCが推奨するように24時間以上はキャッシュしないでください。
2. AI固有のシグナル。 CloudflareのContent Signals Policyはrobots.txtにai-train、ai-input、searchの値を追加。3.8百万以上のドメインがCloudflare管理のrobots.txtを使用中。IETFのaipref作業部会は標準語彙を作成中ですが、2026年10月現在未決定。
3. EUのテキスト・データマイニングのオプトアウト。 EUの著作権規則とAI法第53条に基づき、汎用AIモデルの提供者は機械判読可能な権利保留を尊重すべき。Kneschke対LAION判決（ハンブルク高裁、2025年12月10日）ではLAIONは非営利研究協会として科学研究例外を主張し、2021年技術では平易な言語の保留は機械判読不可と判断されたが、変更の可能性と連邦最高裁への控訴が認められた。商用クロールでは利用規約の平易言語保留を現時点で拘束的に扱うべき。
4. 個人データ。 EDPBの意見28/2024はケースバイケースで正当利益がAIトレーニングの法的根拠になり得るとし、CNILは2025年6月にAIクロールに関する推奨を発表。

これは法律アドバイスではありません。2026年版ウェブスクレイピング法概説をご一読の上、プロジェクトに応じて法律相談してください。

クロール前にrobots.txtとAIトレーニングシグナルをどう確認する？

サイトのURLをキューに入れる前に両方を確認してください。以下の関数はプロキシ経由でrobots.txtを取得し、欠落（4xx）や到達不能（5xx）ファイルにRFC 9309のルールを適用し、Cloudflare式のContent-Signal行を読み取ります。意図的にシンプルで、ファイル内の任意のai-train=noをあなたのクローラーに適用します。

import urllib.robotparser
from urllib.parse import urlsplit

import requests

PROXY = "http://USERNAME:[email protected]:7777"
PROXIES = {"http": PROXY, "https": PROXY}
USER_AGENT = "ExampleDataBot/1.0 (+https://example.com/bot)"
_rules = {}


def site_rules(url):
    """Robots rules and Content-Signal values for the site of url (cache them for 24 h at most)."""
    scheme, host = urlsplit(url)[:2]
    root = "%s://%s" % (scheme, host)
    if root not in _rules:
        try:
            r = requests.get(root + "/robots.txt", proxies=PROXIES, timeout=(10, 30),
                             headers={"User-Agent": USER_AGENT})
            status, text = r.status_code, r.text
        except requests.RequestException:
            status, text = 599, ""
        if 400 <= status < 500:
            lines = []  # RFC 9309: unavailable, crawling allowed
        elif status >= 500:
            lines = ["User-agent: *", "Disallow: /"]  # unreachable: assume complete disallow
        else:
            lines = text.splitlines()
        parser = urllib.robotparser.RobotFileParser()
        parser.parse(lines)
        signals = {}
        for line in lines:
            if line.lower().startswith("content-signal:"):
                for part in line.split(":", 1)[1].split(","):
                    key, _, value = part.strip().partition("=")
                    signals[key.strip().lower()] = value.strip().lower()
        _rules[root] = (parser, signals)
    return _rules[root]


def may_collect_for_training(url):
    parser, signals = site_rules(url)
    return parser.can_fetch(USER_AGENT, url) and signals.get("ai-train") != "no"


print(may_collect_for_training("https://example.com/some/page"))

ウェブコーパス内の個人データをどう扱う？

収集は控えめにし、削除は徹底的に。GDPRや類似法のもとで、パブリックだからといって自由に使えるわけではありません。名前、メール、電話番号、プロフィールページはどこにあっても個人データです。

• 設計段階で除外。 プロフィール、人物検索、ログイン専用エリア、および個人情報が主なコンテンツのサイトは避ける。
• 収集後にフィルタ。 メール、電話番号、識別子を検出・削除し、トレーニング前に除去。
• 法的根拠を文書化。 EDPB意見28/2024とCNILの2025年推奨が正当利益のバランステストを解説。
• 異議を尊重。 サイトや個人を今後のクロールと保存データから削除できる方法を用意。

CrawlRelayのAcceptable Use Policyは、適用される法律に違反して個人データを収集することを禁じています。

AIデータパイプラインはプロキシをどう使うべき？

• クロールごとにサブユーザーを一つ用意してトラフィック上限を設け、暴走ジョブでプランが使い果たされるのを防ぎ、各データセットの使用記録を明確にする。
• 幅広さのためにローテーション。 独立したページは異なる出口を通過させ、ページネーションされるフローにはスティッキーセッションのみ使用。
• ホストごとに上限。 1サイトあたり2〜4リクエストを飛ばし、それ以上は高速応答する大規模サイトのみ。詳細は同時接続ガイドを参照。
• 一度だけ取得。 URLを重複排除し、再クロール時はIf-Modified-Sinceを使い、生のレスポンス（例：WARC）を保存。二重課金を避ける。
• クローラーを明確に識別。 連絡先URLを含む分かりやすいユーザーエージェントをセットし、サイト運営者があなたに連絡できるようにし、ブロックを回避。