Docs proxy CrawlRelay : démarrage rapide

Comment envoyer ma première requête ?

Copiez le nom d'utilisateur et le mot de passe depuis votre tableau de bord, puis lancez l'une de ces commandes. Chacune affiche l'adresse IP vue par le site, qui change généralement à chaque exécution.

curl -x http://USERNAME-country-us:[email protected]:7777 https://api.ipify.org

import requests

proxy = "http://USERNAME-country-us:[email protected]:7777"
r = requests.get("https://api.ipify.org", proxies={"http": proxy, "https": proxy}, timeout=(10, 30))
print(r.text)

import { ProxyAgent, fetch } from "undici";

const dispatcher = new ProxyAgent("http://USERNAME-country-us:[email protected]:7777");
const res = await fetch("https://api.ipify.org", { dispatcher });
console.log(await res.text());

Comment construire le nom d’utilisateur ?

Commencez par le nom d'utilisateur dans votre tableau de bord et ajoutez les paramètres avec des tirets, dans l'ordre du format ci-dessus. Chaque paramètre est optionnel. Les valeurs sont en minuscules, et les noms de villes utilisent des underscores (new_york, sao_paulo). La disponibilité des villes varie.

Comment fonctionnent les sessions rotatives et persistantes ?

Un nom d'utilisateur sans session- reçoit une IP du pool à chaque nouvelle connexion TCP, généralement différente. Un nom d'utilisateur avec session-<id>-ttl-<minutes> garde la même IP de sortie pour cet ID jusqu’à la fin du TTL ou que le proxy résidentiel se déconnecte.

• La rotation se fait par connexion, pas par requête : keep-alive réutilise la même IP de sortie.
• Utilisez un ID de session neuf par tâche, contexte navigateur ou flux de compte.
• Deux scrapers utilisant le même ID de session partagent une IP de sortie.

Le guide des sessions détaille la réutilisation des connexions dans chaque bibliothèque.

Quels sont les limites ?

• Destinations bloquées : Sites bancaires, gouvernementaux et portails de paiement, ainsi que les ports SMTP (envoi email) 25, 465 et 587. Les requêtes vers celles-ci sont refusées.
• Utilisation : données publiques uniquement, selon la Politique d’utilisation acceptable. Pas de prise de contrôle de compte, fraude, spam ou tentatives de contourner des blocs volontaires.
• Trafic : facturé au GB. Usage comptabilise toutes les données envoyées et reçues via le proxy (upload et download, headers inclus). 1 GB = 1 000 000 000 octets. Les tentatives de connexion échouées avant d’atteindre la cible ne sont pas comptées. Les requêtes s’arrêtent quand le trafic d’un forfait est épuisé.
• Sessions : jusqu’à 30 minutes ; l’IP peut changer avant, par exemple si l’appareil résidentiel est hors-ligne.
• Protocoles : HTTP, HTTPS (CONNECT) et SOCKS5.
• Concurrence : non facturée. Votre limite est ce que chaque cible accepte ; voir le guide de concurrence.

Comment gérer les identifiants et l’usage ?

Dans le tableau de bord ou via l’API REST à https://crawlrelay.com/api/v1 avec une clé API. Clés API révocables à tout moment. Les principales tâches :

• Sous-utilisateurs : un jeu d’identifiants par scraper ou projet client, avec plafonnement optionnel de trafic. Voir API résidentielle.
• Liste blanche IP : jusqu’à 10 IP autorisées à se connecter sans mot de passe.
• Usage : trafic quotidien par abonnement, pour alerter avant panne de crawl.
• Catalogue : pays, villes, états et ASN ciblables, pour valider un nom d’utilisateur avant usage.
• Commandes : achetez plus de trafic depuis votre solde sans ouvrir le tableau de bord. Voir API commandes.