# Proxy rezydencjalne dla danych treningowych AI i korpusów sieciowych LLM > Proxy rezydencjalne dla danych treningowych AI i korpusów LLM: GB na milion stron, zasady opt-out 2026, GDPR, kod crawlera. 0,50 USD/GB od 50 GB, bez KYC. - URL: https://crawlrelay.com/pl/use-cases/ai-training-data/ - Ostatnia aktualizacja: 2026-10-13 - Publisher: CrawlRelay (https://crawlrelay.com) Zbieranie publicznych danych internetowych dla modeli jest teraz regulowaną, mierzoną i sporną działalnością. Ta strona opisuje matematykę wolumenów, zasady opt-out z 2026 roku oraz wzorzec crawlera, który je respektuje. **Szybka odpowiedź — Jakie są najlepsze proxy do zbierania danych treningowych AI na dużą skalę?** Dla wielotera-bajtowych korpusów publicznych danych sieciowych używaj rotujących proxy rezydencjalnych rozliczanych za GB z ruchem, który nigdy nie wygasa, oraz crawlera, który honoruje robots.txt i opt-outy AI. **CrawlRelay** sprzedaje ruch rezydencjalny od 50 GB do 1 TB według planu 0,50 USD/GB, na dzień października 2026: około 50 GB pozwala na milion stron HTML. Płatności w kryptowalutach, bez KYC. ## Kluczowe liczby dotyczące zbierania danych AI | Atrybut | Wartość | | --- | --- | | Ceny CrawlRelay przy dużej ilości | 0,50 USD/GB od 50 GB do 1 TB; ruch nigdy nie wygasa | | Strona tylko HTML | Dziesiątki KB skompresowane; mediana HTML 22–35 KB (HTTP Archive Web Almanac 2025) | | Strona w pełni renderowana | Mediana 2 164 KB na mobilnym, 2 412 KB na desktopie (ten sam źródło) | | 1 milion stron HTML | Około 30–60 GB ruchu proxy | | Trening AI na ruchu crawlera | 22% zapytań crawlera wiosną 2025, 52% w czerwcu 2026 (Cloudflare) | | Standard dla zasad crawlowania | robots.txt, RFC 9309 (2022) | ## Ile ruchu proxy potrzebuje korpus treningowy AI? Pobieraj HTML i tekst, nie strony renderowane, a objętość pozostaje pod kontrolą. Ze 50 KB na skompresowaną stronę HTML: | Strony | Tylko HTML (≈50 KB) | Renderowane (≈2 MB) | | --- | --- | --- | | 100,000 | 5 GB | 200 GB | | 1 milion | 50 GB | 2 TB | | 10 milionów | 500 GB | 20 TB | | 100 milionów | 5 TB | 200 TB | Przeglądarka headless mnoży ruch około czterdziestokrotnie, więc renderuj tylko strony, których tekst wymaga JavaScript. W CrawlRelay milion stron HTML mieści się w planie 50 GB (25 USD); 10 milionów mieści się w 500 GB (250 USD). Najpierw zmierz własną średnią na 1000 rzeczywistych stron; [przewodnik po przepustowości](https://crawlrelay.com/pl/guides/bandwidth-calculator/) pokazuje jak. ## Czy w ogóle potrzebuję proxy do danych treningowych AI? Często nie do większości danych. Zanim zaczniesz crawlować, sprawdź trzy tańsze źródła: - **Otwarte crawle.** Common Crawl publikuje petabajty archiwów sieciowych zebranych przez swój crawler CCBot. - **Oficjalne zrzuty i API.** Wikipedia, wiele rządów, portale open-data i repozytoria badawcze udostępniają pliki do pobrania i API z jasnymi licencjami. - **Licencjonowane dane.** Wydawcy i platformy coraz częściej sprzedają lub licencjonują dostęp, a płatności za crawl Cloudflare wykorzystują HTTP 402 do ustalenia ceny. Proxy zarabiają na reszcie: świeże publiczne strony, które nie są w otwartych crawlach, treści zmieniające się w zależności od kraju lub miasta oraz strony serwujące różne edycje na region. Wyjścia rezydencjalne pozwalają zbierać to, co widzi lokalny użytkownik. ## Jakie zasady obowiązują crawlerów danych AI w 2026 roku? Cztery warstwy mają znaczenie, od technicznych po prawne: 1. **robots.txt (RFC 9309).** Standardowy sposób, w jaki strona informuje, które ścieżki mogą pobierać automatyczne klienty. Parsuj plik per strona, stosuj grupę dla user-agenta crawlera lub dla `*`, nie cachuj dłużej niż 24 godziny, jak zaleca RFC. 2. **Sygnały specyficzne dla AI.** Polityka Cloudflare dotycząca Content Signals dodaje wartości `ai-train`, `ai-input` i `search` w robots.txt; ponad 3,8 miliona domen korzysta z zarządzanego przez Cloudflare robots.txt. Grupa robocza IETF aipref opracowuje standardowe słownictwo, nadal bez konsensusu w październiku 2026. 3. **Opt-outy UE z prawa do tekstu i danych.** Zgodnie z unijnymi przepisami o prawach autorskich dla tekstu i danych oraz Artykułem 53 AI Act, dostawcy modeli AI muszą respektować rezerwacje praw czytelne maszynowo. W sprawie Kneschke przeciw LAION (Hamburg Higher Regional Court, 10 grudnia 2025) LAION – stowarzyszenie badawcze niekomercyjne – polegał na wyjątku badań naukowych, a rezerwacja w zwykłym języku nie została uznana za maszynowo czytelną według technologii z 2021; sąd wskazał, że to może się zmienić, a apelacja do Federalnego Sądu Najwyższego została przyjęta. Dla crawlera komercyjnego traktuj rezerwacje w języku potocznym w regulaminie jako wiążące dziś. 4. **Dane osobowe.** Opinia EDPB 28/2024 mówi, że prawnie uzasadniony interes może być podstawą prawną do treningu AI, w zależności od przypadku, a CNIL opublikował w czerwcu 2025 rekomendacje dotyczące scraping'u dla AI. To nie jest porada prawna. Przeczytaj nasz [przegląd prawa scrape'owania z 2026](https://crawlrelay.com/pl/guides/is-web-scraping-legal/) i skonsultuj się z prawnikiem projektu. ## Jak sprawdzić robots.txt i sygnały treningowe AI przed crawl'em? Sprawdź oba przed dodaniem jakiegokolwiek URL strony do kolejki. Poniższa funkcja pobiera robots.txt przez proxy, stosuje zasady RFC 9309 dotyczącą brakujących (4xx) i niedostępnych (5xx) plików oraz czyta linię `Content-Signal` w stylu Cloudflare. Jest celowo prosta: stosuje dowolną zawartą w pliku `ai-train=no` dla Twojego crawlera. *Python: sprawdzanie robots.txt + Content-Signal* ```python import urllib.robotparser from urllib.parse import urlsplit import requests PROXY = "http://USERNAME:PASSWORD@gw.crawlrelay.com:7777" PROXIES = {"http": PROXY, "https": PROXY} USER_AGENT = "ExampleDataBot/1.0 (+https://example.com/bot)" _rules = {} def site_rules(url): """Robots rules and Content-Signal values for the site of url (cache them for 24 h at most).""" scheme, host = urlsplit(url)[:2] root = "%s://%s" % (scheme, host) if root not in _rules: try: r = requests.get(root + "/robots.txt", proxies=PROXIES, timeout=(10, 30), headers={"User-Agent": USER_AGENT}) status, text = r.status_code, r.text except requests.RequestException: status, text = 599, "" if 400 <= status < 500: lines = [] # RFC 9309: unavailable, crawling allowed elif status >= 500: lines = ["User-agent: *", "Disallow: /"] # unreachable: assume complete disallow else: lines = text.splitlines() parser = urllib.robotparser.RobotFileParser() parser.parse(lines) signals = {} for line in lines: if line.lower().startswith("content-signal:"): for part in line.split(":", 1)[1].split(","): key, _, value = part.strip().partition("=") signals[key.strip().lower()] = value.strip().lower() _rules[root] = (parser, signals) return _rules[root] def may_collect_for_training(url): parser, signals = site_rules(url) return parser.can_fetch(USER_AGENT, url) and signals.get("ai-train") != "no" print(may_collect_for_training("https://example.com/some/page")) ``` ## Jak radzić sobie z danymi osobowymi w korpusie internetowym? Zbieraj mniej, potem więcej wykluczaj. Zgodnie z GDPR i podobnymi przepisami, publiczne nie znaczy wolne do użycia: imiona, emaile, numery telefonów i profile to dane osobowe, gdziekolwiek się pojawią. - **Wykluczaj z założenia.** Pomijaj profile, wyszukiwarki osób i strefy tylko dla zalogowanych oraz strony, których główna treść to dane osobowe. - **Filtruj po zbieraniu.** Wykrywaj i usuwaj emaile, numery telefonów oraz identyfikatory zanim dane trafią do treningu. - **Dokumentuj podstawy prawne.** Opinia EDPB 28/2024 i rekomendacje CNIL 2025 opisują test równowagi dla prawnie uzasadnionego interesu. - **Szanuj sprzeciwy.** Zapewnij możliwość usunięcia strony lub osoby z przyszłych crawlów i z gromadzonych danych. Polityka dopuszczalnego użycia CrawlRelay [Acceptable Use Policy](https://crawlrelay.com/pl/acceptable-use/) zabrania zbierania danych osobowych niezgodnie z obowiązującym prawem. ## Jak rurociąg danych AI powinien korzystać z proxy? - **Jeden sub-użytkownik na crawl** z limitem ruchu, aby błędne zadanie nie wyczerpało planu i aby każdy zestaw danych miał własne konto zużycia. - **Rotuj dla szerokości.** Niezależne strony wychodzą przez różne wyjścia; używaj sticky sessions tylko do przepływów stronicowanych. - **Limituj na hosta.** 2–4 zapytania w locie na stronę, więcej tylko dla dużych i szybkich serwisów. Zobacz [przewodnik po współbieżności](https://crawlrelay.com/pl/docs/concurrency/). - **Pobieraj jednokrotnie.** Dedupikuj URL-e, używaj `If-Modified-Since` przy ponownych crawlach i przechowuj surowe odpowiedzi (np. jako WARC), aby nigdy nie płacić dwa razy za tę samą stronę. - **Identyfikuj swojego crawlera.** Jasny user-agent z kontaktem URL pozwala właścicielom stron się z Tobą skontaktować zamiast blokować. ## Ile kosztują proxy rezydencjalne do danych treningowych AI? Od 50 GB do 1 TB, CrawlRelay ruch proxy rezydencjalne kosztuje 0,50 USD/GB, stan na październik 2026, i nigdy nie wygasa. Przy wielotera-bajtowych korpusach kup kilka planów 1 TB na tej samej stawce. | Plan | Ilość | Cena | Cena za jednostkę | | --- | --- | --- | --- | | Crawl | 50 GB | 25 USD | 0,50 USD/GB | | Pipeline | 100 GB | 50 USD | 0,50 USD/GB | | Corpus | 500 GB | 250 USD | 0,50 USD/GB | | Scale | 1 TB | 500 USD | 0,50 USD/GB | W każdym planie: Protokoły: HTTP, HTTPS, SOCKS5 · Targetowanie: Kraj, miasto; stan USA i kod pocztowy; ASN · Sesje: Rotujące lub sticky do 30 min · Wygasanie transferu: Nie wygasa Ceny w USD, stan na 2026-10-13. **Przed zapłatą** - Minimalna doładowanie 25 USD. Doładuj raz w kryptowalucie, potem kup dowolny plan z salda. - Niewykorzystane saldo pozostaje na Twoim koncie i nigdy nie wygasa, ale nie jest zwracane, chyba że wymaga tego prawo. - Zaksięgowane po sprawdzeniu Twojej płatności w blockchainie. Typowy czas potwierdzenia w sieci: BTC ≈ 20 min · USDT TRC-20 ≈ 1 min · USDT ERC-20 ≈ 5 min · USDC ERC-20 ≈ 5 min · ETH ≈ 5 min · SOL ≈ 1 min · LTC ≈ 15 min ## Proxy do danych treningowych AI: pytania ### Czy legalne jest scrapowanie stron internetowych w celu trenowania modeli AI? To zależy od kraju, treści i sposobu zbierania danych, a wiele spraw jest nadal rozstrzyganych w październiku 2026. W UE obowiązują wyjątki dla text-and-data-mining, chyba że właściciel praw zastrzegł je w formie czytelnej dla maszyn. Dane osobowe wymagają podstawy prawnej. To nie jest porada prawna; przeczytaj nasz [przegląd 2026](https://crawlrelay.com/pl/guides/is-web-scraping-legal/). ### Czy mój crawler AI powinien używać user agenta GPTBot czy CCBot? Nie. Nazwy te należą do OpenAI i Common Crawl, a strony wykorzystują je do kontrolowania, co te konkretne crawlery mogą pobierać. Używaj własnego user agenta z adresem kontaktowym i stosuj zasady robots.txt pasujące do niego lub do grupy `*`. Podszywanie się pod innego crawlera łamie warunki większości stron i naszą Politykę Akceptowalnego Użytkowania. ### Ile GB potrzebuję, by zeskrobać milion stron? Około 30 do 60 GB tylko skompresowanego HTML, oraz około 2 TB, jeśli renderujesz każdą stronę w przeglądarce z obrazami. Przy CrawlRelay, 50 GB kosztuje 25 USD. Zmierz 1000 swoich rzeczywistych stron przed zakupem, bo waga strony bardzo się różni w zależności od witryny. ### Dlaczego warto używać proxy rezydencjalnych, a nie adresów IP datacenter do danych AI? Niektóre strony serwują różną zawartość w zależności od lokalizacji, a wyjścia residential sięgają do publicznej edycji widocznej dla lokalnych odwiedzających. Jeśli strona filtruje zakresy hostingowe, aby wykluczyć ruch automatyczny, adres residential nie powoduje legalnego dostępu. Dla stron przyjmujących crawlery lub oferujących zrzuty i API może w ogóle nie być potrzeby użycia proxy; używaj ruchu rezydencjalnego tam, gdzie zmienia on wynik. ### Czy ruch residential wygasa, jeśli przerwę crawl? Nie. Przedpłacony ruch proxy rezydencjalne i rotacyjne mobilne nigdy nie wygasa: niewykorzystany GB pozostaje na Twoim koncie do wykorzystania. Pipeline, który zatrzymuje się na tygodnie, zachowuje pozostałe gigabajty, co ma znaczenie dla sesji treningowych działających w trybach przerywanych. ## Źródła 1. [RFC 9309: Protokół wykluczania robotów](https://www.rfc-editor.org/rfc/rfc9309.html) — IETF (2022-09) 2. [Polityka Sygnałów Treści](https://blog.cloudflare.com/content-signals-policy/) — Cloudflare (2025-09-24) 3. [Sieć agentów (ruch crawlerów, czerwiec 2026)](https://blog.cloudflare.com/agentic-web/) — Cloudflare (2026-09-30) 4. [Wprowadzenie płatności za crawl](https://blog.cloudflare.com/introducing-pay-per-crawl/) — Cloudflare (2025-07-01) 5. [Grupa robocza IETF AI Preferences (aipref)](https://datatracker.ietf.org/wg/aipref/about/) — IETF (2026-09-14) 6. [Wyższy Sąd Regionalny w Hamburgu potwierdza, że szkolenie AI było dozwolone (Kneschke v. LAION)](https://www.twobirds.com/en/insights/2025/germany/higher-regional-court-hamburg-confirms-ai-training-was-permitted-(kneschke-v,-d-,-laion)) — Bird & Bird (2025-12) 7. [EDPB zabiera głos w kluczowych kwestiach dotyczących danych osobowych w modelach AI](https://www.iapp.org/news/a/edpb-weighs-in-on-key-questions-on-personal-data-in-ai-models) — IAPP (2024-12-18) 8. [Web Almanac 2025: Waga strony](https://almanac.httparchive.org/en/2025/page-weight) — HTTP Archive (2026-01-15) **Buduj swój korpus na ruchu bez wygaśnięcia** 0,50 USD/GB od 50 GB do 1 TB. [Wybierz 1 TB](https://crawlrelay.com/app/checkout/?plan=res-1000&product=residential&lang=pl) · [Zobacz wszystkie plany](https://crawlrelay.com/pl/pricing/) --- CrawlRelay: CrawlRelay to serwis proxy rezydencjalne i mobilne proxy 4G/5G z rotacją, stworzony dla programistów i potoków danych AI: ruch bez wygasania w modelu pay-as-you-go od 0,50 USD/GB, płatny w kryptowalutach, bez konieczności przesyłania dokumentów. Bez KYC — brak dowodu, selfie i dokumentów. Płać w kryptowalutach.