Proxy rezydencjalne dla danych treningowych AI i korpusów sieciowych LLM

Ile ruchu proxy potrzebuje korpus treningowy AI?

Pobieraj HTML i tekst, nie strony renderowane, a objętość pozostaje pod kontrolą. Ze 50 KB na skompresowaną stronę HTML:

Czy w ogóle potrzebuję proxy do danych treningowych AI?

Często nie do większości danych. Zanim zaczniesz crawlować, sprawdź trzy tańsze źródła:

• Otwarte crawle. Common Crawl publikuje petabajty archiwów sieciowych zebranych przez swój crawler CCBot.
• Oficjalne zrzuty i API. Wikipedia, wiele rządów, portale open-data i repozytoria badawcze udostępniają pliki do pobrania i API z jasnymi licencjami.
• Licencjonowane dane. Wydawcy i platformy coraz częściej sprzedają lub licencjonują dostęp, a płatności za crawl Cloudflare wykorzystują HTTP 402 do ustalenia ceny.

Proxy zarabiają na reszcie: świeże publiczne strony, które nie są w otwartych crawlach, treści zmieniające się w zależności od kraju lub miasta oraz strony serwujące różne edycje na region. Wyjścia rezydencjalne pozwalają zbierać to, co widzi lokalny użytkownik.

Jakie zasady obowiązują crawlerów danych AI w 2026 roku?

Cztery warstwy mają znaczenie, od technicznych po prawne:

1. robots.txt (RFC 9309). Standardowy sposób, w jaki strona informuje, które ścieżki mogą pobierać automatyczne klienty. Parsuj plik per strona, stosuj grupę dla user-agenta crawlera lub dla *, nie cachuj dłużej niż 24 godziny, jak zaleca RFC.
2. Sygnały specyficzne dla AI. Polityka Cloudflare dotycząca Content Signals dodaje wartości ai-train, ai-input i search w robots.txt; ponad 3,8 miliona domen korzysta z zarządzanego przez Cloudflare robots.txt. Grupa robocza IETF aipref opracowuje standardowe słownictwo, nadal bez konsensusu w październiku 2026.
3. Opt-outy UE z prawa do tekstu i danych. Zgodnie z unijnymi przepisami o prawach autorskich dla tekstu i danych oraz Artykułem 53 AI Act, dostawcy modeli AI muszą respektować rezerwacje praw czytelne maszynowo. W sprawie Kneschke przeciw LAION (Hamburg Higher Regional Court, 10 grudnia 2025) LAION – stowarzyszenie badawcze niekomercyjne – polegał na wyjątku badań naukowych, a rezerwacja w zwykłym języku nie została uznana za maszynowo czytelną według technologii z 2021; sąd wskazał, że to może się zmienić, a apelacja do Federalnego Sądu Najwyższego została przyjęta. Dla crawlera komercyjnego traktuj rezerwacje w języku potocznym w regulaminie jako wiążące dziś.
4. Dane osobowe. Opinia EDPB 28/2024 mówi, że prawnie uzasadniony interes może być podstawą prawną do treningu AI, w zależności od przypadku, a CNIL opublikował w czerwcu 2025 rekomendacje dotyczące scraping'u dla AI.

To nie jest porada prawna. Przeczytaj nasz przegląd prawa scrape'owania z 2026 i skonsultuj się z prawnikiem projektu.

Jak sprawdzić robots.txt i sygnały treningowe AI przed crawl'em?

Sprawdź oba przed dodaniem jakiegokolwiek URL strony do kolejki. Poniższa funkcja pobiera robots.txt przez proxy, stosuje zasady RFC 9309 dotyczącą brakujących (4xx) i niedostępnych (5xx) plików oraz czyta linię Content-Signal w stylu Cloudflare. Jest celowo prosta: stosuje dowolną zawartą w pliku ai-train=no dla Twojego crawlera.

import urllib.robotparser
from urllib.parse import urlsplit

import requests

PROXY = "http://USERNAME:[email protected]:7777"
PROXIES = {"http": PROXY, "https": PROXY}
USER_AGENT = "ExampleDataBot/1.0 (+https://example.com/bot)"
_rules = {}


def site_rules(url):
    """Robots rules and Content-Signal values for the site of url (cache them for 24 h at most)."""
    scheme, host = urlsplit(url)[:2]
    root = "%s://%s" % (scheme, host)
    if root not in _rules:
        try:
            r = requests.get(root + "/robots.txt", proxies=PROXIES, timeout=(10, 30),
                             headers={"User-Agent": USER_AGENT})
            status, text = r.status_code, r.text
        except requests.RequestException:
            status, text = 599, ""
        if 400 <= status < 500:
            lines = []  # RFC 9309: unavailable, crawling allowed
        elif status >= 500:
            lines = ["User-agent: *", "Disallow: /"]  # unreachable: assume complete disallow
        else:
            lines = text.splitlines()
        parser = urllib.robotparser.RobotFileParser()
        parser.parse(lines)
        signals = {}
        for line in lines:
            if line.lower().startswith("content-signal:"):
                for part in line.split(":", 1)[1].split(","):
                    key, _, value = part.strip().partition("=")
                    signals[key.strip().lower()] = value.strip().lower()
        _rules[root] = (parser, signals)
    return _rules[root]


def may_collect_for_training(url):
    parser, signals = site_rules(url)
    return parser.can_fetch(USER_AGENT, url) and signals.get("ai-train") != "no"


print(may_collect_for_training("https://example.com/some/page"))

Jak radzić sobie z danymi osobowymi w korpusie internetowym?

Zbieraj mniej, potem więcej wykluczaj. Zgodnie z GDPR i podobnymi przepisami, publiczne nie znaczy wolne do użycia: imiona, emaile, numery telefonów i profile to dane osobowe, gdziekolwiek się pojawią.

• Wykluczaj z założenia. Pomijaj profile, wyszukiwarki osób i strefy tylko dla zalogowanych oraz strony, których główna treść to dane osobowe.
• Filtruj po zbieraniu. Wykrywaj i usuwaj emaile, numery telefonów oraz identyfikatory zanim dane trafią do treningu.
• Dokumentuj podstawy prawne. Opinia EDPB 28/2024 i rekomendacje CNIL 2025 opisują test równowagi dla prawnie uzasadnionego interesu.
• Szanuj sprzeciwy. Zapewnij możliwość usunięcia strony lub osoby z przyszłych crawlów i z gromadzonych danych.

Polityka dopuszczalnego użycia CrawlRelay Acceptable Use Policy zabrania zbierania danych osobowych niezgodnie z obowiązującym prawem.

Jak rurociąg danych AI powinien korzystać z proxy?

• Jeden sub-użytkownik na crawl z limitem ruchu, aby błędne zadanie nie wyczerpało planu i aby każdy zestaw danych miał własne konto zużycia.
• Rotuj dla szerokości. Niezależne strony wychodzą przez różne wyjścia; używaj sticky sessions tylko do przepływów stronicowanych.
• Limituj na hosta. 2–4 zapytania w locie na stronę, więcej tylko dla dużych i szybkich serwisów. Zobacz przewodnik po współbieżności.
• Pobieraj jednokrotnie. Dedupikuj URL-e, używaj If-Modified-Since przy ponownych crawlach i przechowuj surowe odpowiedzi (np. jako WARC), aby nigdy nie płacić dwa razy za tę samą stronę.
• Identyfikuj swojego crawlera. Jasny user-agent z kontaktem URL pozwala właścicielom stron się z Tobą skontaktować zamiast blokować.