Glossaire proxy et web scraping

Un proxy dont l’IP de sortie appartient à une connexion internet domestique chez un fournisseur grand public. Les sites voient un visiteur ordinaire à domicile. Voir proxies résidentiels.

Un proxy dont l’IP de sortie appartient à un réseau opérateur 4G/5G. Les opérateurs partagent chaque IP entre plusieurs abonnés, les sites les bloquent donc avec précaution. Voir proxies mobiles.

Un proxy hébergé en centre de données, avec une IP enregistrée chez un fournisseur d’hébergement. Rapide et économique, mais souvent filtré par les sites bloquant les plages d’hébergement.

Une IP statique annoncée par un fournisseur internet mais hébergée en centre de données. Elle semble résidentielle pour certaines bases de données et reste fixe. CrawlRelay ne vend pas de proxies ISP.

Un hôte et un port uniques qui redirigent vos connexions vers de nombreuses IP de sortie derrière. Vous changez de sorties via l’identifiant utilisateur ou en ouvrant de nouvelles connexions, pas en changeant d’adresse.

L’adresse IP que le site cible voit. Avec une passerelle résidentielle, c’est une connexion domestique choisie pour correspondre à votre ciblage.

Carrier-grade NAT : un opérateur mobile ou haut débit place plusieurs abonnés derrière quelques IP publiques. Le RFC 6598 réserve 100.64.0.0/10 pour cet espace partagé dans ces réseaux.

Autonomous System Number : l’identifiant d’un réseau sur internet, comme AS7922 pour Comcast. Le ciblage ASN choisit les sorties chez un seul fournisseur internet.

D’où proviennent les IP résidentiels d’un fournisseur et à quelles conditions les propriétaires des appareils partagent la bande passante. Après les saisies IPIDEA et NetNut en 2026, une question clé à l’achat. Voir approvisionnement.

Un identifiant utilisateur sans ID de session : chaque nouvelle connexion obtient une IP du pool, généralement différente. La rotation suit les connexions, pas les requêtes HTTP individuelles.

Un identifiant utilisateur avec ID de session et TTL : les connexions avec cet ID conservent la même IP de sortie pendant jusqu’à 30 minutes, même si l’IP peut changer plus tôt. Voir sessions.

Durée pendant laquelle une session sticky garde son IP, définie en minutes avec -ttl-<minutes>. Une session peut se terminer plus tôt si l’appareil derrière est hors ligne.

Réutiliser une connexion TCP pour plusieurs requêtes HTTP. Plus rapide, mais chaque requête sur cette connexion utilise la même IP de sortie.

La méthode HTTP que le client utilise pour demander à un proxy un tunnel vers un hôte et un port (RFC 9110, section 9.3.6). Le trafic HTTPS circule alors de bout en bout dans ce tunnel.

Un protocole proxy qui relaie les connexions TCP sans lire le HTTP (RFC 1928), avec authentification par nom d’utilisateur et mot de passe définie dans RFC 1929.

Le schéma URL qui indique à un client d’envoyer les noms d’hôte au proxy SOCKS5, pour que la résolution DNS ait lieu à la sortie et non sur votre machine.

L’en-tête de requête qui porte les identifiants proxy, généralement Basic username:password en Base64. Le proxy le supprime avant de transmettre.

Le proxy a refusé la demande car les identifiants étaient manquants ou incorrects. Le site web n'a jamais été contacté. Voir 407.

Le site web limite votre taux de requêtes (RFC 6585). Ralentissez et respectez Retry-After. Voir 429.

Un en-tête de réponse indiquant le nombre de secondes, ou une date, à attendre avant de réessayer (RFC 9110, section 10.2.3). Envoyé avec les réponses 429 et 503.

Le nombre de requêtes en cours simultanément. Selon la loi de Little, cela équivaut au débit multiplié par la latence. Limitez-le par hôte cible. Voir concurrency.

Un fichier situé à la racine d’un site qui indique aux clients automatisés les chemins qu’ils peuvent récupérer, standardisé en RFC 9309 en 2022. Les crawlers ne doivent pas le mettre en cache plus de 24 heures.

Une ligne courante non standard dans robots.txt indiquant les secondes à attendre entre les requêtes. Le Python urllib.robotparser le lit avec crawl_delay().

L’en-tête qui nomme le client. Un crawler responsable envoie son propre nom, sa version et une URL de contact, jamais le nom d’un autre crawler.

L’extension robots.txt de Cloudflare avec les valeurs search, ai-input et ai-train, introduite en septembre 2025, indiquant aux crawlers comment le contenu peut être utilisé.

La réserve lisible par machine d’un titulaire de droits contre le text et data mining selon la loi européenne sur le droit d’auteur, que les fournisseurs de modèles IA généralistes doivent respecter.

Un défi qui demande si le visiteur est humain. Pour un crawler, c’est un signal pour ralentir ou s’arrêter ; CrawlRelay ne supporte pas la résolution automatisée.

Un navigateur sans fenêtre visible, piloté par du code tel que Playwright ou Puppeteer. Il exécute JavaScript mais télécharge beaucoup plus de données par page qu'un client HTTP.

Données structurées intégrées dans une page au format JSON, souvent utilisant les types schema.org comme Product et Offer. La source la plus fiable pour les prix et informations produits.

Le format de fichier Web ARChive pour stocker les requêtes et réponses HTTP brutes, utilisé par Common Crawl et les archives web. Stocker les réponses brutes évite de payer deux fois pour une même page.

Une requête avec If-None-Match ou If-Modified-Since. Une page inchangée répond 304 Not Modified sans corps, ce qui économise de la bande passante.

Acheter du trafic une fois quand vous en avez besoin, sans abonnement mensuel. Chez CrawlRelay, les forfaits sont des achats uniques depuis un solde prépayé.

Si les gigaoctets achetés expirent après une période, par exemple 31 jours ou un mois. Chez CrawlRelay, le trafic proxy résidentiel et proxy mobile 4G n'expire jamais.

1 GB = 1 000 000 000 octets ; un gibioctet (GiB) est 1 073 741 824 octets. Demandez en quelle unité un fournisseur facture ; CrawlRelay facture en GB décimal.

Coût du trafic divisé par les réponses utilisables. Une comparaison plus pertinente entre fournisseurs que le prix affiché par GB.

Un ensemble distinct d'identifiants proxy sous un même compte, avec son propre plafond de trafic et total d'utilisation, utilisé pour isoler projets ou clients.

Know Your Customer : vérification d'identité via documents, selfies ou papiers d'entreprise. CrawlRelay est sans KYC et repose sur une Politique d’Utilisation Acceptable.

Politique d’Utilisation Acceptable : les règles que tout compte doit suivre, listant usages autorisés, interdits et cibles bloquées.