Rotujące mobilne proxy 4G/5G do scrapowania trudnych celów

Dlaczego strony rzadziej blokują mobilne IP?

Bo jedno mobilne IP zwykle reprezentuje wielu realnych użytkowników. Operatorzy stosują carrier-grade NAT: tysiące telefonów korzysta z niewielkiego zestawu publicznych adresów, a RFC 6598 rezerwuje zakres 100.64.0.0/10 dla sieci wewnętrznych. Strona blokując jedno mobilne IP mogłaby wyłączyć wszystkich abonentów za nim, dlatego większość serwisów ostrożnie blokuje zakresy mobilne.

To współdzielenie ma swoją cenę dla Ciebie. Mobilne IP może mieć historię utworzoną przez innych użytkowników operatora, a jego prędkość zależy od siły sygnału i natężenia ruchu w komórce. Dlatego mobilny ruch to narzędzie do konkretnych celów, nie domyślny wybór.

Czy mobilne proxy 4G są warte wyższej ceny za GB?

Tylko tam, gdzie proxy rezydencjalne zawodzą. CrawlRelay ruch rezydencjalny kosztuje 0,50 USD/GB od 50 GB; mobilny kosztuje 1,50 USD/GB. W Proxyway Proxy Market Research 2026 medianowy wskaźnik sukcesu na rzeczywistych celach wyniósł 75,26% dla mobilnych proxy i 74,43% dla rezydencjalnych: średnio u wszystkich dostawców mobilne nie były dużo lepsze.

Zysk jest specyficzny dla celu. Zmierz go przed zakupem:

1. Przeprowadź 200 do 500 żądań do jednej domeny przez proxy rezydencjalne i mobilne.
2. Policz użyteczne odpowiedzi, a nie HTTP 200: strona blokady także może zwracać 200.
3. Podziel koszt ruchu dla każdego testu przez liczbę użytecznych odpowiedzi.
4. Przekieruj domenę na mobilne proxy tylko, jeśli koszt za użyteczną odpowiedź jest tam niższy.

Jak przekierować tylko niektóre domeny na mobilne IP?

Utrzymuj dwa zestawy danych do logowania, po jednym na plan i wybieraj je przy każdym żądaniu. Reszta Twojego scraper’a pozostaje bez zmian: ten sam gateway, ta sama składnia nazwy użytkownika, ta sama logika ponawiania prób.

from urllib.parse import urlsplit

import requests

GATEWAY = "gw.crawlrelay.com:7777"
RESIDENTIAL = ("RES_USERNAME-country-us", "RES_PASSWORD")
MOBILE = ("MOB_USERNAME-country-us", "MOB_PASSWORD")
MOBILE_HOSTS = {"m.example.com", "app.example.org"}  # hosts where residential measured worse


def proxies_for(url):
    user, password = MOBILE if urlsplit(url).hostname in MOBILE_HOSTS else RESIDENTIAL
    proxy = "http://%s:%s@%s" % (user, password, GATEWAY)
    return {"http": proxy, "https": proxy}


for url in ["https://www.example.com/item/1", "https://m.example.com/item/1"]:
    r = requests.get(url, proxies=proxies_for(url), timeout=(10, 45))
    print(url, r.status_code, len(r.content))

Jak działa rotacja w mobilnej puli?

Tak samo jak w rezydencjalnej: nazwa użytkownika bez ID sesji dostaje nowe IP od operatora przy każdym połączeniu, a -session-<id>-ttl-<minutes> utrzymuje jedno IP między połączeniami. W praktyce istotne są dwie różnice:

• Operatorzy sami zmieniają IP. Sesja mobilna ze stałym IP może utracić je wcześniej niż wynosi TTL, gdy urządzenie łączy się ponownie z siecią.
• Latencja bardziej zmienna. Ustaw dłuższy timeout odczytu dla żądań mobilnych, około 45-60 sekund i w razie problemów ponawiaj połączenie zamiast czekać dłużej.