Proxy mobili rotanti 4G/5G per scraping di obiettivi difficili

Perché i siti bloccano meno spesso gli IP mobili?

Perché un IP mobile rappresenta spesso molte persone reali. Gli operatori applicano carrier-grade NAT: migliaia di telefoni condividono un piccolo insieme di indirizzi pubblici, e il RFC 6598 riserva addirittura l'intervallo 100.64.0.0/10 per l'interno di queste reti. Un sito che blocca un IP mobile può escludere tutti gli abbonati dietro di esso, quindi la maggior parte dei siti blocca con cautela le gamme mobili.

Questa condivisione ha un costo per te. Un IP mobile può avere una storia creata da altri utenti dell'operatore, e la sua velocità dipende dal segnale e dal carico della cella. Ecco perché il traffico mobile è uno strumento per obiettivi specifici, non la scelta predefinita.

Vale la pena pagare di più per GB per il mobile?

Solo dove i proxy residenziali falliscono. Il traffico proxy residenziali CrawlRelay costa 0,50 USD/GB da 50 GB; il mobile costa 1,50 USD/GB. Nel Proxy Market Research 2026 di Proxyway, il tasso medio di successo sui target reali era 75,26% per i proxy mobili 4G e 74,43% per i proxy residenziali: su tutti i provider, il mobile non è stato molto migliore in media.

Il vantaggio è specifico per il target. Misuralo prima di pagare:

1. Esegui 200-500 URL di un target tramite proxy residenziali e tramite proxy mobili 4G.
2. Conta le risposte utilizzabili, non solo gli HTTP 200: una pagina di blocco può restituire 200.
3. Dividi il costo del traffico di ogni test per le risposte utilizzabili.
4. Usa il mobile solo per i domini il cui costo per risposta utilizzabile è inferiore.

Come faccio a instradare solo alcuni domini verso IP mobili?

Tieni due set di credenziali, uno per ogni piano, e scegli per richiesta. Il resto del tuo scraper resta uguale: stesso gateway, stessa sintassi del nome utente, stessa logica di retry.

from urllib.parse import urlsplit

import requests

GATEWAY = "gw.crawlrelay.com:7777"
RESIDENTIAL = ("RES_USERNAME-country-us", "RES_PASSWORD")
MOBILE = ("MOB_USERNAME-country-us", "MOB_PASSWORD")
MOBILE_HOSTS = {"m.example.com", "app.example.org"}  # hosts where residential measured worse


def proxies_for(url):
    user, password = MOBILE if urlsplit(url).hostname in MOBILE_HOSTS else RESIDENTIAL
    proxy = "http://%s:%s@%s" % (user, password, GATEWAY)
    return {"http": proxy, "https": proxy}


for url in ["https://www.example.com/item/1", "https://m.example.com/item/1"]:
    r = requests.get(url, proxies=proxies_for(url), timeout=(10, 45))
    print(url, r.status_code, len(r.content))

Come funziona la rotazione nella pool mobile?

Come per i proxy residenziali: un nome utente senza session ID riceve un nuovo IP carrier a ogni nuova connessione, e -session-<id>-ttl-<minutes> mantiene un IP fisso tra connessioni. In pratica, due differenze importanti:

• Gli operatori cambiano gli IP da soli. Una sessione mobile sticky può perdere l’IP prima del TTL quando il dispositivo si ricollega alla rete.
• La latenza varia di più. Imposta per le richieste mobile un timeout di lettura più lungo, circa 45-60 secondi, e retry su una nuova connessione invece di attendere oltre.