Yapay Zeka eğitim verileri ve LLM web metinleri için proxyler

Bir yapay zeka eğitim metni ne kadar proxy trafiği gerektirir?

Render edilmiş sayfalar değil, sadece HTML ve metin alın, böylece hacim kontrol altında kalır. Sıkıştırılmış HTML sayfa başına 50 KB ile:

Yapay zeka eğitim verileri için proxyye gerçekten ihtiyacım var mı?

Çoğu zaman çoğunluk için gerekmez. Tarama yapmadan önce üç daha ucuz kaynağı kontrol edin:

• Açık taramalar. Common Crawl, CCBot tarayıcısı tarafından toplanan petabaytlarca web arşivi yayınlar.
• Resmi dökümler ve API'ler. Wikipedia, birçok hükümet, açık veri portalları ve araştırma depoları açık lisanslı indirmeler ve API'ler sunar.
• Lisanslı veriler. Yayıncılar ve platformlar erişimi satıyor ya da lisanslıyor; Cloudflare’ın ücretli tarama sistemi HTTP 402 ile tarama fiyatı belirler.

Proxyler, açık taramalarda olmayan, ülke veya şehre göre değişen taze genel sayfalar, bölgesel farklı sürümler sunan siteler için maliyetini çıkarır. Konut proxy çıkışları, yerel ziyaretçinin gördüğünü toplamanıza olanak verir.

2026'da Yapay Zeka veri tarayıcıları için hangi kurallar geçerlidir?

Teknikten hukukiye dört katman önemlidir:

1. robots.txt (RFC 9309). Bir sitenin hangi yolları otomatik istemcilerin alabileceğini belirten standart yöntem. Site başına ayrıştırın, tarayıcı user agent’ınız veya * için uygun grubu uygulayın ve RFC önerdiği gibi 24 saatten fazla önbelleğe almayın.
2. Yapay zeka spesifik sinyaller. Cloudflare Content Signals Policy, robots.txt'e ai-train, ai-input ve search değerleri ekler; Cloudflare yönetimli robots.txt 3.8 milyondan fazla alan tarafından kullanılır. IETF aipref çalışma grubu Ekim 2026’da henüz fikir birliğine varmamış standart bir sözlük hazırlıyor.
3. AB metin ve veri madenciliği vazgeçmeleri. AB telif kuralları ve AI Yasası 53. Madde ile genel amaçlı AI modeli sağlayıcıları makine tarafından okunabilir hak rezervasyonlarına uymalıdır. Kneschke v. LAION kararında (Hamburg Yüksek Bölge Mahkemesi, 10 Aralık 2025) LAION araştırma istisnasına dayandı, düz dil rezervasyonu 2021 teknolojisiyle makine tarafından okunabilir bulunmadı; mahkeme değişebileceğini belirtti; Federal Adalet Mahkemesine itiraz kabul edildi. Ticari tarayıcı için kullanım koşullarındaki düz dil rezervasyonlarını bugün bağlayıcı kabul edin.
4. Kişisel veriler. EDPB 28/2024 Görüşü meşru menfaati AI eğitim için geçerli kıldığına işaret eder; CNIL 2025 Haziran’da AI için veri kazıma önerileri yayımladı.

Bu hukuki tavsiye değildir. 2026 web kazıma kanunu genel bakışımızı okuyun ve projeniz için hukuk danışmanına başvurun.

Tarama yapmadan önce robots.txt ve yapay zeka eğitim sinyallerini nasıl kontrol ederim?

Herhangi bir site URL'sini kuyruğa almadan önce her ikisini de kontrol edin. Aşağıdaki fonksiyon proxy üzerinden robots.txt dosyasını alır, RFC 9309 kurallarını eksik (4xx) ve ulaşılamayan (5xx) dosyalar için uygular, Cloudflare tarzı bir Content-Signal satırını okur. Kasıtlı olarak basittir: dosyadaki herhangi bir ai-train=no değerini tarayıcınıza uygular.

import urllib.robotparser
from urllib.parse import urlsplit

import requests

PROXY = "http://USERNAME:[email protected]:7777"
PROXIES = {"http": PROXY, "https": PROXY}
USER_AGENT = "ExampleDataBot/1.0 (+https://example.com/bot)"
_rules = {}


def site_rules(url):
    """Robots rules and Content-Signal values for the site of url (cache them for 24 h at most)."""
    scheme, host = urlsplit(url)[:2]
    root = "%s://%s" % (scheme, host)
    if root not in _rules:
        try:
            r = requests.get(root + "/robots.txt", proxies=PROXIES, timeout=(10, 30),
                             headers={"User-Agent": USER_AGENT})
            status, text = r.status_code, r.text
        except requests.RequestException:
            status, text = 599, ""
        if 400 <= status < 500:
            lines = []  # RFC 9309: unavailable, crawling allowed
        elif status >= 500:
            lines = ["User-agent: *", "Disallow: /"]  # unreachable: assume complete disallow
        else:
            lines = text.splitlines()
        parser = urllib.robotparser.RobotFileParser()
        parser.parse(lines)
        signals = {}
        for line in lines:
            if line.lower().startswith("content-signal:"):
                for part in line.split(":", 1)[1].split(","):
                    key, _, value = part.strip().partition("=")
                    signals[key.strip().lower()] = value.strip().lower()
        _rules[root] = (parser, signals)
    return _rules[root]


def may_collect_for_training(url):
    parser, signals = site_rules(url)
    return parser.can_fetch(USER_AGENT, url) and signals.get("ai-train") != "no"


print(may_collect_for_training("https://example.com/some/page"))

Web metninde kişisel verilerle nasıl başa çıkılır?

Daha az toplayın, sonra daha fazlasını çıkarın. GDPR ve benzeri yasalar altında, kamuya açık veriler ücretsiz kullanılabilir anlamına gelmez: isimler, e-postalar, telefon numaraları ve profil sayfaları kişisel veridir.

• Tasarım gereği hariç tutun. Profil, kişi arama ve sadece giriş alanlarını, ana içeriği kişisel veri olan siteleri atlayın.
• Toplama sonrası filtreleyin. E-postalar, telefon numaraları ve tanımlayıcıları tespit edip eğitim verisine gelmeden önce çıkarın.
• Hukuki temel belgeleyin. EDPB 28/2024 Görüşü ve CNIL 2025 önerileri meşru menfaat karşılaştırma testini açıklar.
• İtirazlara saygı gösterin. Gelecekteki taramalardan ve saklanan verilerden site veya kişiyi çıkarma yolunuz olsun.

CrawlRelay'in Kabul Edilebilir Kullanım Politikası, ona uygulanan yasaları ihlal eden kişisel veri toplamayı yasaklar.

AI veri hattı proxyyi nasıl kullanmalıdır?

• Her tarama için bir alt-kullanıcı, trafik limiti ile, böylece kontrol dışı iş planı boşaltamaz ve her veri kümesinin kendi kullanım kaydı olur.
• Çeşitlilik için döndürün. Bağımsız sayfalar farklı çıkışlar üzerinden gider; yapışkan oturumları yalnızca sayfalandırılmış akışlar için kullanın.
• Ev sahibine göre limit koyun. Site başına 2 ila 4 istek uçuşta olsun, bunun üzerinde hızlı yanıt veren büyük siteler için fazla sayı. eşzamanlılık rehberine bakın.
• Bir kere alım yapın. URL'leri çoğaltmayın, yeniden taramada If-Modified-Since kullanın, ham yanıtları (örneğin WARC formatında) saklayın ki aynı sayfa için iki kez ödeme yapmayın.
• Tarayıcınızı tanıtın. İletişim URL'si olan açık bir user agent site sahiplerinin engellemek yerine size ulaşmasını sağlar.