Proxy untuk data pelatihan AI dan korpora web LLM

Berapa banyak trafik proxy yang dibutuhkan korpus pelatihan AI?

Ambil HTML dan teks, bukan halaman yang di-render, agar volume tetap terkendali. Dengan 50 KB per halaman HTML terkompresi:

Apakah saya perlu proxy sama sekali untuk data pelatihan AI?

Seringkali tidak untuk sebagian besar data. Sebelum crawling, periksa tiga sumber yang lebih murah:

• Open crawls. Common Crawl menerbitkan petabytes arsip web yang dikumpulkan oleh crawler CCBot.
• Dump dan API resmi. Wikipedia, banyak pemerintah, portal data terbuka dan repositori riset menyediakan unduhan dan API dengan lisensi jelas.
• Data berlisensi. Penerbit dan platform semakin banyak menjual atau melisensikan akses, dan pay-per-crawl Cloudflare menggunakan HTTP 402 untuk memberi harga pada crawling.

Proxy membayar biaya mereka untuk sisanya: halaman publik baru yang tidak ada di open crawls, konten yang berubah berdasarkan negara atau kota, dan situs yang menyediakan edisi berbeda per wilayah. Proxy residensial memungkinkan Anda mengumpulkan apa yang dilihat pengunjung lokal.

Aturan apa yang berlaku untuk crawler data AI di 2026?

Empat lapisan penting, dari teknis hingga hukum:

1. robots.txt (RFC 9309). Cara standar situs menyatakan jalur mana yang boleh diakses klien otomatis. Parsing per situs, terapkan grup untuk user agent crawler Anda atau untuk *, dan jangan cache lebih dari 24 jam sesuai rekomendasi RFC.
2. Sinyal khusus AI. Kebijakan Sinyal Konten Cloudflare menambahkan nilai ai-train, ai-input dan search dalam robots.txt; lebih dari 3,8 juta domain menggunakan robots.txt yang dikelola Cloudflare. Grup kerja IETF aipref sedang menyusun kosakata standar, masih tanpa konsensus per Oktober 2026.
3. Opt-out penambangan teks dan data UE. Di bawah aturan hak cipta UE untuk penambangan teks dan data serta Pasal 53 AI Act, penyedia model AI umum harus menghormati reservasi hak yang dapat dibaca mesin. Dalam kasus Kneschke v. LAION (Pengadilan Tinggi Regional Hamburg, 10 Desember 2025), LAION, asosiasi riset non-komersial, menggunakan pengecualian riset ilmiah, dan reservasi bahasa biasa tidak dianggap dapat dibaca mesin dengan teknologi 2021; pengadilan mengatakan ini bisa berubah, dan banding ke Mahkamah Agung diizinkan. Untuk crawler komersial, anggap reservasi bahasa biasa dalam syarat penggunaan mengikat hari ini.
4. Data pribadi. Opini EDPB 28/2024 menyatakan kepentingan sah dapat menjadi dasar hukum untuk pelatihan AI, kasus per kasus, dan CNIL menerbitkan rekomendasi scraping untuk AI pada Juni 2025.

Ini bukan nasihat hukum. Baca ikhtisar hukum scraping web 2026 kami dan tanyakan penasihat hukum untuk proyek Anda.

Bagaimana saya memeriksa robots.txt dan sinyal pelatihan AI sebelum crawling?

Periksa keduanya sebelum mengantri URL situs mana pun. Fungsi di bawah mengambil robots.txt melalui proxy, menerapkan aturan RFC 9309 untuk file yang hilang (4xx) dan tidak dapat dijangkau (5xx), dan membaca baris Content-Signal gaya Cloudflare. Ini dibuat sederhana: menerapkan semua ai-train=no dalam file untuk crawler Anda.

import urllib.robotparser
from urllib.parse import urlsplit

import requests

PROXY = "http://USERNAME:[email protected]:7777"
PROXIES = {"http": PROXY, "https": PROXY}
USER_AGENT = "ExampleDataBot/1.0 (+https://example.com/bot)"
_rules = {}


def site_rules(url):
    """Robots rules and Content-Signal values for the site of url (cache them for 24 h at most)."""
    scheme, host = urlsplit(url)[:2]
    root = "%s://%s" % (scheme, host)
    if root not in _rules:
        try:
            r = requests.get(root + "/robots.txt", proxies=PROXIES, timeout=(10, 30),
                             headers={"User-Agent": USER_AGENT})
            status, text = r.status_code, r.text
        except requests.RequestException:
            status, text = 599, ""
        if 400 <= status < 500:
            lines = []  # RFC 9309: unavailable, crawling allowed
        elif status >= 500:
            lines = ["User-agent: *", "Disallow: /"]  # unreachable: assume complete disallow
        else:
            lines = text.splitlines()
        parser = urllib.robotparser.RobotFileParser()
        parser.parse(lines)
        signals = {}
        for line in lines:
            if line.lower().startswith("content-signal:"):
                for part in line.split(":", 1)[1].split(","):
                    key, _, value = part.strip().partition("=")
                    signals[key.strip().lower()] = value.strip().lower()
        _rules[root] = (parser, signals)
    return _rules[root]


def may_collect_for_training(url):
    parser, signals = site_rules(url)
    return parser.can_fetch(USER_AGENT, url) and signals.get("ai-train") != "no"


print(may_collect_for_training("https://example.com/some/page"))

Bagaimana saya menangani data pribadi dalam korpus web?

Kumpulkan lebih sedikit, lalu hapus lebih banyak. Di bawah GDPR dan hukum serupa, publik bukan berarti bebas digunakan: nama, email, nomor telepon, dan halaman profil adalah data pribadi di mana pun mereka muncul.

• Kecualikan berdasarkan desain. Lewati area profil, pencarian orang, dan login saja, serta situs dengan konten utama data pribadi.
• Saring setelah pengumpulan. Deteksi dan hapus email, nomor telepon dan pengenal sebelum data masuk pelatihan.
• Dokumentasikan dasar hukum Anda. Opini EDPB 28/2024 dan rekomendasi CNIL 2025 menjelaskan uji keseimbangan untuk kepentingan sah.
• Hormati keberatan. Sediakan cara menghapus situs atau orang dari crawling masa depan dan data yang disimpan.

Kebijakan Penggunaan yang Dapat Diterima CrawlRelay[](/acceptable-use/)] melarang pengumpulan data pribadi yang melanggar hukum yang berlaku.

Bagaimana pipeline data AI harus menggunakan proxy?

• Satu sub-user per crawl dengan batas trafik, supaya pekerjaan yang tidak terkendali tidak menghabiskan paket dan setiap dataset tercatat penggunaannya.
• Rotasi untuk cakupan luas. Halaman independen keluar lewat exit berbeda; gunakan sesi sticky hanya untuk alur berhalaman.
• Batas per host. Dua sampai empat permintaan sekaligus per situs, lebih banyak hanya untuk situs besar yang cepat merespons. Lihat panduan concurrency.
• Ambil satu kali saja. Dedup URL, gunakan If-Modified-Since untuk re-crawl, dan simpan respons mentah (misal sebagai WARC) supaya tidak bayar dua kali untuk halaman yang sama.
• Identifikasi crawler Anda. User agent jelas dengan URL kontak memungkinkan pemilik situs menghubungi Anda daripada memblokir.