Rotating 4G/5G mobiele proxy's voor het scrapen van lastige doelen

Waarom blokkeren sites mobiele IP's minder vaak?

Omdat één mobiel IP meestal staat voor veel echte mensen. Providers gebruiken carrier-grade NAT: duizenden telefoons delen een kleine set publieke adressen, en RFC 6598 reserveert zelfs het bereik 100.64.0.0/10 voor het binnenste van deze netwerken. Een site die één mobiel IP blokkeert, kan elke abonnee achter dat IP blokkeren, dus de meeste sites blokkeren mobiele ranges voorzichtig.

Diezelfde deling heeft een prijs voor jou. Een mobiel IP kan een geschiedenis hebben die is opgebouwd door andere gebruikers van de provider, en de snelheid hangt af van signaal en celbelasting. Daarom is mobiel verkeer een tool voor specifieke doelen, niet standaard.

Is mobiel het hogere prijs per GB waard?

Alleen daar waar residentiële proxy's falen. CrawlRelay residentiële traffic kost US$ 0,50/GB vanaf 50 GB; mobiel kost US$ 1,50/GB. In Proxyway's Proxy Market Research 2026 was het mediane succespercentage op echte doelen 75,26% voor mobiele proxy's en 74,43% voor residentiële: over alle providers was mobiel gemiddeld niet veel beter.

De winst is doel-specifiek. Meet voordat je betaalt:

1. Voer 200 tot 500 URL's van één doel uit via residentiële en via mobiel.
2. Tel bruikbare antwoorden, niet HTTP 200’s: een blokkadepagina kan 200 teruggeven.
3. Deel de kosten per run door het aantal bruikbare antwoorden.
4. Leid een domein naar mobiel alleen als de kosten per bruikbaar antwoord daar lager zijn.

Hoe leid ik alleen sommige domeinen naar mobiele IP's?

Houd twee sets inloggegevens, één per abonnement, en kies per aanvraag. De rest van je scraper blijft gelijk: dezelfde gateway, dezelfde gebruikersnaam-syntaxis, dezelfde retry-logica.

from urllib.parse import urlsplit

import requests

GATEWAY = "gw.crawlrelay.com:7777"
RESIDENTIAL = ("RES_USERNAME-country-us", "RES_PASSWORD")
MOBILE = ("MOB_USERNAME-country-us", "MOB_PASSWORD")
MOBILE_HOSTS = {"m.example.com", "app.example.org"}  # hosts where residential measured worse


def proxies_for(url):
    user, password = MOBILE if urlsplit(url).hostname in MOBILE_HOSTS else RESIDENTIAL
    proxy = "http://%s:%s@%s" % (user, password, GATEWAY)
    return {"http": proxy, "https": proxy}


for url in ["https://www.example.com/item/1", "https://m.example.com/item/1"]:
    r = requests.get(url, proxies=proxies_for(url), timeout=(10, 45))
    print(url, r.status_code, len(r.content))

Hoe werkt rotatie op de mobiele pool?

Op dezelfde manier als residentieel: een gebruikersnaam zonder sessie-ID krijgt bij elke nieuwe verbinding een nieuw carrier IP, en -session-<id>-ttl-<minutes> houdt één IP over meerdere verbindingen. Twee verschillen zijn praktisch relevant:

• Providers wisselen IP's zelfstandig. Een sticky mobiele sessie kan zijn IP eerder verliezen dan de TTL wanneer het apparaat opnieuw verbindt met het netwerk.
• Latency varieert meer. Geef mobiele aanvragen een langere leessessie, ongeveer 45 tot 60 seconden, en probeer opnieuw met een nieuwe verbinding in plaats van langer te wachten.