Documentazione proxy CrawlRelay: quick start

Come invio la mia prima richiesta?

Copia username e password dalla tua dashboard, poi esegui uno di questi comandi. Ognuno stampa l’indirizzo IP che il sito vede, che solitamente cambia ad ogni esecuzione.

curl -x http://USERNAME-country-us:[email protected]:7777 https://api.ipify.org

import requests

proxy = "http://USERNAME-country-us:[email protected]:7777"
r = requests.get("https://api.ipify.org", proxies={"http": proxy, "https": proxy}, timeout=(10, 30))
print(r.text)

import { ProxyAgent, fetch } from "undici";

const dispatcher = new ProxyAgent("http://USERNAME-country-us:[email protected]:7777");
const res = await fetch("https://api.ipify.org", { dispatcher });
console.log(await res.text());

Come costruisco lo username?

Inizia dallo username nella dashboard e aggiungi parametri con trattini, seguendo l’ordine del formato sopra. Ogni parametro è opzionale. I valori sono in minuscolo e i nomi delle città usano gli underscore (new_york, sao_paulo). La disponibilità delle città varia.

Come si comportano le sessioni rotanti e sticky?

Uno username senza session- ottiene un IP dal pool a ogni nuova connessione TCP, solitamente diverso. Uno username con session-<id>-ttl-<minutes> mantiene lo stesso IP di uscita per quell’ID finché il TTL non scade o il dispositivo residenziale va offline.

• La rotazione avviene per connessione, non per richiesta: keep-alive riutilizza lo stesso IP di uscita.
• Usa un nuovo ID sessione per ogni job, per ogni contesto browser o per ogni flusso account.
• Due scraper che usano lo stesso ID sessione condividono lo stesso IP di uscita.

La guida alle sessioni spiega il riutilizzo delle connessioni per ogni libreria.

Quali sono i limiti?

• Destinazioni bloccate: Siti bancari, governativi e portali di pagamento, più porte SMTP (email) 25, 465 e 587. Le richieste a queste sono rifiutate.
• Uso: solo dati pubblici, secondo la Acceptable Use Policy. Niente takeover di account, frodi, spam o tentativi di bypassare blocchi intenzionali del sito.
• Traffico: fatturato per GB. L’utilizzo conta tutti i dati inviati e ricevuti tramite proxy (upload e download, header inclusi). 1 GB = 1.000.000.000 byte. Tentativi di connessione falliti prima del target non sono conteggiati. Le richieste si fermano quando termina il traffico del piano.
• Sessioni: fino a 30 minuti; l'IP può cambiare prima, ad esempio se il dispositivo residenziale va offline.
• Protocolli: HTTP, HTTPS (CONNECT) e SOCKS5.
• Concorrenza: non fatturata. Il tuo limite è quello che ogni destinazione accetta; vedi la guida sulla concorrenza.

Come gestisco credenziali e utilizzo?

Nel dashboard, o tramite REST API a https://crawlrelay.com/api/v1 con una chiave API. Chiavi API revocabili in qualsiasi momento. Le attività principali:

• Sotto-utenti: un set di credenziali per ogni scraper o progetto cliente, con limite di traffico opzionale. Vedi proxy residenziali API.
• Lista IP consentiti: fino a 10 IP che possono connettersi senza password.
• Utilizzo: traffico giornaliero per abbonamento, per avvisare prima che il crawl si esaurisca.
• Catalogo: paesi, città, stati e ASN targetabili, per validare il nome utente prima dell’uso.
• Ordini: acquista più traffico dal saldo senza aprire il dashboard. Vedi orders API.