Données d'entraînement IA
Corpus web publics de plusieurs téraoctets : environ 50 GB par million de pages HTML, respect des robots.txt et désinscriptions IA, filtrage des données personnelles.
Réponse rapide
À quoi servent les proxies résidentiels pour les développeurs ?
Les développeurs utilisent des proxies résidentiels CrawlRelay pour collecter des données web publiques depuis l’emplacement pertinent : corpus d'entraînement IA, récupération de pages pour agents IA, vérifications précises de recherches et pages publicitaires, et surveillance des prix e-commerce. Le trafic coûte 1,50 $US pour 1 GB et 0,50 $US/GB à partir de 50 GB, à partir d’octobre 2026, et n'expire jamais. Paiement en crypto, sans KYC.
Cas d’usage
Agents IA
Un outil de récupération sécurisé et un serveur MCP via des sorties résidentielles, avec sessions par tâche et garde-fous.
Vérifications SERP et de positionnement
Ce qui fonctionne encore en 2026 : le robots.txt de Google, les recours judiciaires, les blocages et les contrôles précis au niveau ville de vos propres pages.
Surveillance des prix
Prix locaux, stock et conditions de livraison par pays, extraction JSON-LD, trafic par produit et par mois.
Quelle configuration pour chaque cas d’usage ?
| Cas d’utilisation | Type de proxy | Sessions | Trafic typique |
|---|---|---|---|
| Données d'entraînement IA | Proxy résidentiel | Rotation ; sticky uniquement pour pagination | 30–60 GB par million de pages HTML |
| Agents IA | Résidentiel ; mobile pour vues uniquement mobiles | Une session sticky par tâche | ≈1 MB par tâche de 20 pages en HTML |
| Vérifications SERP et de positionnement | Résidentiel avec ciblage par ville | Une courte session par vérification de ville | Petit : quelques pages par vérification |
| Surveillance des prix | Résidentiel par marché | Rotation entre produits ; sticky dans un flux | ≈1.8 MB par produit par mois, vérifications quotidiennes |
Qu’ont ces cas d’usage en commun ?
Données publiques, collectées au rythme accepté par le site, depuis l’endroit où les données varient. Chaque compte CrawlRelay fonctionne sous la même Politique d’Usage Acceptable : pas de connexion à des comptes que vous ne possédez pas, pas de collecte de données personnelles illégale, pas de tentative de contournement des blocages volontaires du site, et une passerelle qui refuse Sites bancaires, gouvernementaux et portails de paiement, ainsi que les ports SMTP (envoi email) 25, 465 et 587.
Les bonnes pratiques d’ingénierie aussi : identifiez votre crawler, limitez la concurrence par hôte, récupérez le HTML avant rendu, ignorez les pages non modifiées, et maintenez chaque pipeline sur un sous-utilisateur dédié avec un plafond de trafic. La documentation détaille tout avec du code.
Quels cas d’usage CrawlRelay ne couvre-t-il pas ?
Tout ce qui implique de se faire passer pour quelqu’un ou de contourner des protections : créer ou prendre le contrôle de comptes, acheter du stock ou billets limités avec des bots, envoyer du spam, tester des identifiants, fraude ou collecte de données personnelles derrière des connexions. Ces usages violent notre politique et ont causé la saisie des réseaux résidentiels en 2026. Nous suspendons les comptes qui utilisent la passerelle pour ces usages.
Cas d’usage : questions
Puis-je utiliser CrawlRelay pour les données des réseaux sociaux ?
Seulement pour les pages publiques, collectées dans le respect des règles de la plateforme et de la loi, sans se connecter à des comptes que vous ne possédez pas. Beaucoup de contenus sociaux sont des données personnelles, vérifiez donc la base légale avant. De nombreuses plateformes proposent des API recherche ou business ; utilisez-les si elles existent.
Puis-je utiliser CrawlRelay pour la vérification publicitaire ?
Oui. Vérifier l’apparence de vos annonces et pages d’atterrissage par pays et ville est une utilisation standard des sorties résidentielles. Utilisez le ciblage par ville et une session sticky courte par vérification, comme sur la page SERP.
Existe-t-il un cas d’usage nécessitant des proxies mobiles ?
Vérifier ce que voient les utilisateurs de téléphones : sites mobiles, applications et pubs mobiles. Les proxies mobiles 4G tournants coûtent 3,18 $US pour 1 GB et 1,50 $US/GB à partir de 5 GB chez CrawlRelay ; testez-les avec le petit forfait avant d’y router plus de trafic.