목표가 까다로운 스크래핑을 위한 회전식 4G/5G 모바일 프록시

왜 사이트들은 모바일 IP를 덜 차단할까요?

모바일 IP는 보통 여러 실제 사용자를 대표하기 때문입니다. 통신사는 통신사급 NAT를 운영하여 수천 대의 휴대폰이 제한된 공용 IP를 공유하며, RFC 6598은 이러한 네트워크 내부에 100.64.0.0/10 범위를 예약합니다. 한 개의 모바일 IP를 차단하면 그 뒤의 모든 가입자가 차단되므로 대부분의 사이트는 모바일 IP 대역을 조심스럽게 차단합니다.

이 공유는 사용자에게도 단점이 있습니다. 모바일 IP는 통신사 내 다른 사용자가 만든 이력을 가질 수 있으며 신호 및 셀 부하에 따라 속도가 달라집니다. 그렇기 때문에 모바일 트래픽은 특정 대상에 적합한 도구일 뿐 기본 사용용이 아닙니다.

GB당 높은 가격의 4G 모바일 프록시는 가치가 있을까요?

레지덴셜 프록시가 실패할 때만 유용합니다. CrawlRelay GB당 레지덴셜 트래픽의 비용은 US$0.50/GB부터 시작하며, 모바일은 US$1.50/GB입니다. Proxyway의 2026년 Proxy Market Research에 따르면, 실제 대상에서의 중간 성공률은 모바일 프록시가 75.26%, 레지덴셜이 74.43%로 평균적으로 모바일이 크게 우수하지 않았습니다.

차이는 대상에 따라 다릅니다. 비용을 지불하기 전 반드시 측정하세요:

1. 한 대상에 대해 200~500개의 URL을 레지덴셜과 모바일 각각에 테스트합니다.
2. HTTP 200이 아닌 실제 사용 가능한 응답 수를 셉니다: 차단 페이지도 200을 반환할 수 있습니다.
3. 각 테스트의 트래픽 비용을 사용 가능한 응답으로 나눕니다.
4. 특정 도메인에 대해 모바일 쪽의 비용이 더 낮으면 모바일로만 라우팅합니다.

일부 도메인만 4G 모바일 프록시로 라우팅하려면 어떻게 하나요?

플랜별로 두 개의 인증 정보를 유지하여 요청 시 선택하세요. 나머지 스크래퍼 설정은 동일하게 유지합니다: 동일 게이트웨이, 동일 사용자 이름 문법, 동일 재시도 로직.

from urllib.parse import urlsplit

import requests

GATEWAY = "gw.crawlrelay.com:7777"
RESIDENTIAL = ("RES_USERNAME-country-us", "RES_PASSWORD")
MOBILE = ("MOB_USERNAME-country-us", "MOB_PASSWORD")
MOBILE_HOSTS = {"m.example.com", "app.example.org"}  # hosts where residential measured worse


def proxies_for(url):
    user, password = MOBILE if urlsplit(url).hostname in MOBILE_HOSTS else RESIDENTIAL
    proxy = "http://%s:%s@%s" % (user, password, GATEWAY)
    return {"http": proxy, "https": proxy}


for url in ["https://www.example.com/item/1", "https://m.example.com/item/1"]:
    r = requests.get(url, proxies=proxies_for(url), timeout=(10, 45))
    print(url, r.status_code, len(r.content))

모바일 풀에서 IP 회전은 어떻게 작동하나요?

레지덴셜과 동일하게 작동합니다: 세션 ID 없는 사용자 이름은 연결마다 새로운 통신사 IP를 받고, -session-<id>-ttl-<minutes>는 연결 간 같은 IP를 유지합니다. 실무에서 중요한 두 가지 차이점은 다음과 같습니다:

• 통신사가 IP를 자체적으로 변경합니다. 모바일 고정 세션은 장치가 네트워크에 다시 연결될 때 TTL 이전에도 IP가 변경될 수 있습니다.
• 지연 시간이 더 변동적입니다. 모바일 요청에는 45~60초 정도 긴 읽기 타임아웃을 설정하고, 기다리기보다 새 연결로 재시도하세요.