Glossario di proxy e web scraping

Un proxy il cui IP di uscita appartiene a una connessione internet domestica da un provider consumer. I siti vedono un visitatore abituale domestico. Vedi proxy residenziali.

Un proxy il cui IP di uscita appartiene a una rete carrier 4G/5G. I carrier condividono ogni IP tra molti abbonati, quindi i siti li bloccano con cautela. Vedi proxy mobili 4G.

Un proxy ospitato in un data center, con IP registrato a un provider di hosting. Veloce ed economico, ma spesso filtrato dai siti che bloccano gli intervalli hosting.

Un IP statico annunciato da un provider internet ma ospitato in un data center. Per alcuni database sembrano residenziali e rimangono fissi. CrawlRelay non vende proxy ISP.

Un unico host e porta che inoltra le tue connessioni a molti IP di uscita dietro di esso. Cambi uscita tramite username o aprendo nuove connessioni, non cambiando indirizzo.

L'indirizzo IP che vede il sito finale. Con un gateway residenziale è una connessione domestica scelta per il tuo target.

Carrier-grade NAT: un carrier mobile o broadband mette molti abbonati dietro pochi IP pubblici. RFC 6598 riserva 100.64.0.0/10 per lo spazio condiviso in queste reti.

Autonomous System Number: l'identificatore di una rete internet, come AS7922 per Comcast. Il targeting ASN sceglie uscite su un provider internet.

Da dove provengono gli IP residenziali di un provider e a quali condizioni i proprietari dei device condividono la banda. Dopo i sequestri IPIDEA e NetNut nel 2026, è una domanda chiave per l'acquisto. Vedi sourcing.

Uno username senza ID sessione: ogni nuova connessione riceve un IP dal pool, solitamente diverso. La rotazione segue le connessioni, non singole richieste HTTP.

Uno username con ID sessione e TTL: le connessioni con quell'ID mantengono lo stesso IP di uscita per fino a 30 minuti, anche se può cambiare prima. Vedi sessioni.

Quanto a lungo una sessione sticky mantiene il suo IP, impostato in minuti con -ttl-<minutes>. Una sessione può terminare prima se il dispositivo dietro va offline.

Riutilizzare una connessione TCP per più richieste HTTP. Più veloce, ma ogni richiesta sulla connessione usa lo stesso IP di uscita.

Il metodo HTTP che un client usa per chiedere a un proxy un tunnel verso host e porta (RFC 9110, sezione 9.3.6). Il traffico HTTPS viaggia end-to-end dentro il tunnel.

Un protocollo proxy che inoltra connessioni TCP senza leggere HTTP (RFC 1928), con autenticazione username e password definita in RFC 1929.

Lo schema URL che dice al client di inviare nomi host al proxy SOCKS5, così il DNS viene risolto all'uscita e non sulla tua macchina.

L'header di richiesta che porta le credenziali proxy, di solito Basic username:password in Base64. Il proxy lo rimuove prima di inoltrare.

Il proxy ha rifiutato la richiesta perché le credenziali erano mancanti o errate. Il sito web non è mai stato contattato. Vedi 407.

Il sito web ti sta limitando il traffico (RFC 6585). Rallenta e rispetta Retry-After. Vedi 429.

Un header di risposta che indica il numero di secondi, o una data, da attendere prima di riprovare (RFC 9110, sezione 10.2.3). Inviato con risposte 429 e 503.

Il numero di richieste in corso contemporaneamente. Secondo la legge di Little equivale a throughput moltiplicato per latenza. Limitalo per host di destinazione. Vedi concurrency.

Un file alla radice di un sito che indica ai client automatici quali percorsi possono scaricare, standardizzato come RFC 9309 nel 2022. I crawler non dovrebbero memorizzarlo in cache per più di 24 ore.

Una linea comune e non standard di robots.txt che indica i secondi da attendere tra una richiesta e l’altra. Python urllib.robotparser lo legge con crawl_delay().

L’header che identifica il client. Un crawler responsabile invia il proprio nome, versione e un URL di contatto, mai il nome di un altro crawler.

L’estensione di Cloudflare per robots.txt con valori search, ai-input e ai-train, introdotta a settembre 2025, che indica ai crawler come possono essere usati i contenuti.

La riserva leggibile da macchina di un detentore dei diritti contro text and data mining secondo la legge UE sul copyright, che i provider di modelli AI generici devono rispettare.

Una sfida che chiede se il visitatore è umano. Per un crawler è un segnale per rallentare o fermarsi; CrawlRelay non supporta la risoluzione automatica.

Un browser senza finestra visibile, controllato da codice come Playwright o Puppeteer. Esegue JavaScript ma scarica molti più dati per pagina rispetto a un client HTTP.

Dati strutturati incorporati in una pagina come JSON, spesso usando tipi di schema.org come Product e Offer. La fonte più stabile di prezzi e informazioni prodotto.

Il formato file Web ARChive per archiviare richieste e risposte HTTP raw, usato da Common Crawl e archivi web. Conservare risposte raw evita di pagare due volte per una pagina.

Una richiesta con If-None-Match o If-Modified-Since. Una pagina invariata risponde con 304 Not Modified senza corpo, risparmiando traffico.

Acquistare traffico una volta, solo quando serve, invece di un abbonamento mensile. Su CrawlRelay, i piani sono acquisti singoli da un saldo prepagato.

Se i gigabyte acquistati scadono dopo un periodo, ad esempio 31 giorni o un mese. Il traffico proxy residenziali e proxy mobili 4G di CrawlRelay non scade mai.

1 GB = 1.000.000.000 byte; un gibibyte (GiB) è 1.073.741.824 byte. Chiedi in quale unità fattura un provider; CrawlRelay fattura in GB decimali.

Costo del traffico diviso per risposte utilizzabili. Un confronto migliore tra provider rispetto al prezzo listino per GB.

Un set separato di credenziali proxy sotto un unico account, con un proprio limite di traffico e totali di utilizzo, usato per isolare progetti o clienti.

Know Your Customer: verifica dell’identità con documenti, selfie o carte aziendali. CrawlRelay non ne richiede alcuna e si basa su una Politica di Uso Accettabile.

Politica di Uso Accettabile: le regole che ogni account deve seguire, elencando usi consentiti, vietati e obiettivi bloccati.