Documentação do proxy CrawlRelay: guia rápido

Como envio minha primeira requisição?

Copie o nome de usuário e a senha do seu painel, e rode um destes. Cada um imprime o endereço IP que o site vê, que geralmente muda a cada execução.

curl -x http://USERNAME-country-us:[email protected]:7777 https://api.ipify.org

import requests

proxy = "http://USERNAME-country-us:[email protected]:7777"
r = requests.get("https://api.ipify.org", proxies={"http": proxy, "https": proxy}, timeout=(10, 30))
print(r.text)

import { ProxyAgent, fetch } from "undici";

const dispatcher = new ProxyAgent("http://USERNAME-country-us:[email protected]:7777");
const res = await fetch("https://api.ipify.org", { dispatcher });
console.log(await res.text());

Como construir o nome de usuário?

Comece com o nome de usuário do seu painel e adicione parâmetros com hífens, na ordem do formato acima. Cada parâmetro é opcional. Os valores devem estar em minúsculas, e nomes de cidade usam underscores (new_york, sao_paulo). A disponibilidade das cidades varia.

Como funcionam sessões rotativas e sticky?

Um nome de usuário sem session- recebe um IP do pool a cada nova conexão TCP, geralmente um diferente. Um nome de usuário com session-<id>-ttl-<minutes> mantém o mesmo IP de saída para essa sessão até o TTL acabar ou o dispositivo residencial ficar offline.

• A rotação ocorre por conexão, não por requisição: keep-alive reutiliza o mesmo IP de saída.
• Use um ID de sessão novo por tarefa, contexto do navegador ou fluxo de conta.
• Dois scrapers que enviam o mesmo ID de sessão compartilham um IP de saída.

O guia de sessões explica a reutilização de conexões em cada biblioteca.

Quais são os limites?

• Destinos bloqueados: Sites bancários, governamentais e portais de pagamento, além das portas SMTP (envio de e-mail) 25, 465 e 587. Solicitações para eles são recusadas.
• Uso: apenas dados públicos, sob a Política de Uso Aceitável. Sem tomada de conta de contas, fraudes, spam ou tentativas de burlar bloqueios deliberados de sites.
• Tráfego: cobrado por GB. Uso conta todos os dados enviados e recebidos pelo proxy (upload e download, cabeçalhos incluídos). 1 GB = 1.000.000.000 bytes. Tentativas de conexão que falham antes de alcançar o destino não contam. As solicitações param quando o tráfego do plano acabar.
• Sessões: até 30 minutos; o IP pode mudar antes, por exemplo, se o dispositivo residencial sair do ar.
• Protocolos: HTTP, HTTPS (CONNECT) e SOCKS5.
• Concorrência: não cobrada. Seu limite é o que cada destino aceita; veja o guia de concorrência.

Como gerencio credenciais e uso?

No painel, ou via REST API em https://crawlrelay.com/api/v1 com uma chave de API. Chaves API que você pode revogar a qualquer momento. As principais tarefas:

• Subusuários: um conjunto de credenciais por scraper ou projeto do cliente, com uma cota opcional de tráfego. Veja a API de proxy residencial.
• Lista de IPs permitidos: até 10 IPs que podem conectar sem senha.
• Uso: tráfego diário por assinatura, para alertar antes do fim do crawl.
• Catálogo: países, cidades, estados e ASNs que você pode segmentar, para que seu código valide um nome de usuário antes de usar.
• Pedidos: compre mais tráfego do seu saldo sem abrir o painel. Veja a API de pedidos.