빠른 답변
1,000페이지 크롤링에 필요한 GB는?
압축된 HTML 1,000페이지는 약 0.05 GB, 이미지 차단 헤드리스 브라우저 사용 시 약 0.5 GB, 완전 렌더링 1,000페이지는 약 2.2 GB 필요하며, HTTP Archive Web Almanac 2025의 모바일 페이지 중간값 2,164 KB를 기준으로 합니다. GB당 가격에 곱하세요: CrawlRelay 레지덴셜 트래픽은 50GB부터 US$0.50/GB 비용이며 만료되지 않습니다. KYC 없이, 암호화폐로 결제 가능.
트래픽 계산 한눈에 보기
| 계산식 | GB = 페이지 수 × 페이지당 평균 압축 크기 KB ÷ 1,000,000 |
|---|---|
| 모든 리소스 포함 페이지 중간 무게 | 모바일 2,164 KB, 데스크탑 2,412 KB (Web Almanac 2025, 2025년 7월 크롤) |
| HTML 중간 크기 | 홈페이지 22 KB; 같은 챕터 다른 측정치는 33–35 KB |
| 단위 | 1 GB = 1,000,000,000 바이트 (십진법, CrawlRelay가 비용 청구하는 단위); 1 GiB = 1,073,741,824 바이트 |
| 가장 큰 비용 절감 방법 | 렌더링 대신 HTML이나 JSON을 불러오고, 렌더링 시 이미지, 폰트, 미디어 차단 |
| CrawlRelay 가격 | 1 GB당 US$1.50; 50 GB부터 US$0.50/GB |
1,000 페이지당 GB와 비용은?
일반적인 페이지 압축 크기별 비용 참고. 세 가지 비용 열은 GB당 참조 가격으로 어떤 공급자도 쉽게 확인 가능; CrawlRelay 자체 가격은 50 GB부터 US$0.50/GB입니다.
| 불러오는 콘텐츠 종류 | 페이지당 약 KB | 1,000페이지당 GB | GB당 $0.50에 | GB당 $1.00에 | GB당 $3.50에 |
|---|---|---|---|---|---|
| JSON API 응답 | 10 | 0.01 | $0.005 | $0.01 | $0.035 |
| 압축된 HTML 페이지 | 50 | 0.05 | $0.025 | $0.05 | $0.18 |
| 무거운 HTML (대용량 인라인 스크립트 포함) | 150 | 0.15 | $0.075 | $0.15 | $0.53 |
| 헤드리스 브라우저, 이미지, 폰트 및 미디어 차단 | 500 | 0.5 | $0.25 | $0.50 | $1.75 |
| 전체 렌더링, 중간 크기 모바일 페이지 | 2,164 | 2.16 | $1.08 | $2.16 | $7.57 |
$3.50/GB는 2026년 10월 가격 지수](/data/residential-proxy-price-index-2026/)에서 10GB 시점의 평균 가격입니다. 페이지 무게는 HTTP Archive Web Almanac 2025와 일반적인 압축 크기 기준이며, 직접 페이지를 측정하세요.
내 페이지를 어떻게 측정하나요?
프록시를 통해 100~1,000개의 실제 URL 샘플을 가져와서 수신된 바이트를 합산하고 추정하세요. httpx 의 num_bytes_downloaded는 압축된 바이트를 계산하며, 이는 프록시 과금과 거의 일치합니다. 요청마다 IP를 바꾸면 TLS 핸드셰이크를 위해 연결당 몇 KB를 추가하세요.
import statistics
import httpx
PROXY = "http://USERNAME-country-us:[email protected]:7777"
SAMPLE = ["https://example.com/", "https://example.org/", "https://example.net/"] # use 100+ real URLs
sizes = []
with httpx.Client(proxy=PROXY, timeout=httpx.Timeout(30.0, connect=10.0), follow_redirects=True) as client:
for url in SAMPLE:
try:
r = client.get(url)
sizes.append(r.num_bytes_downloaded)
except httpx.HTTPError:
pass
if sizes:
mean = statistics.mean(sizes)
print("pages measured:", len(sizes))
print("mean bytes per page: %.0f" % mean)
print("GB per 1,000 pages: %.3f" % (mean * 1000 / 1e9))
print("GB for 1 million pages: %.1f" % (mean * 1_000_000 / 1e9))어떤 플랜이 어떤 프로젝트에 맞나요?
페이지 수를 GB로 환산한 후 그에 맞는 플랜을 선택하세요. HTML 페이지당 약 50KB 기준:
| 프로젝트 | 페이지 수 | 트래픽 | CrawlRelay 플랜 |
|---|---|---|---|
| 새 대상 테스트 | 5,000 | 약 0.25 GB | 1 GB (US$1.50) |
| 소규모 모니터링, 1개월 | 100,000 | 약 5 GB | 5 GB (US$3.75) 또는 10 GB (US$5.94) |
| 카탈로그 크롤링 | 100만 | 약 50 GB | 50 GB (US$25) |
| 다중 사이트 코퍼스 | 1,000만 | 약 500 GB | 500 GB (US$250) |
| 대규모 AI 코퍼스 | 2,000만 | 약 1 TB | 1 TB (US$500) |
트래픽은 만료되지 않으므로 더 큰 플랜을 한번 구매해 여러 달 사용 가능합니다.
프록시 트래픽을 줄이면서 데이터 손실을 막으려면?
- 페이지가 아닌 데이터만 가져오기. 사이트가 JSON 엔드포인트를 문서화하거나 허용한다면 HTML 대비 훨씬 적은 용량입니다.
- 필요할 때만 렌더링. 헤드리스 브라우저는 스크립트, 스타일, 이미지, 폰트를 모두 가져옵니다; 일반 HTTP는 문서 한 개만 가져오죠.
- 브라우저에서 무거운 리소스 차단: 이미지, 폰트, 미디어가 페이지 바이트의 대부분을 차지합니다.
- 압축 유지.
Accept-Encoding: gzip, br를 전송하세요; 대부분 클라이언트가 기본값으로 사용합니다. - 변경되지 않은 페이지는 스킵 하려고
If-None-Match또는If-Modified-Since를 쓰세요:304는 수백 바이트 추가 비용이 듭니다. - 큐에 넣기 전 URL 중복 제거: 추적 파라미터나 세션 ID는 같은 페이지 복사본을 만듭니다.
- 원본 응답 저장: 파서 버그가 두 번째 다운로드를 강요하지 않도록 하세요.
프록시 대역폭: 자주 묻는 질문
레지덴셜 프록시로 100만 페이지 스크래핑 비용은 얼마인가요?
압축된 HTML 기준 페이지당 약 50KB라 100만 페이지는 약 50GB를 사용합니다. CrawlRelay에서는 2026년 10월 기준 50 GB 또는 US$25 플랜에 해당합니다. 브라우저에서 페이지마다 렌더링해 중간 크기 2MB를 기준으로 한다면 약 2TB가 필요하니, 데이터를 가져오는 방법이 제공업체보다 40배 더 중요합니다.
프록시는 업로드와 다운로드 트래픽을 모두 계산하나요?
프록시 대역폭은 연결을 위한 게이트웨이를 통과하는 데이터 양을 계산합니다; 스크래핑의 경우 대부분이 응답 데이터입니다. 파일 업로드와 같은 큰 본문을 가진 요청은 그 크기도 추가됩니다. CrawlRelay에서: 사용량은 프록시를 통한 모든 송수신 데이터(업로드 및 다운로드, 헤더 포함)를 계산합니다. 1GB = 1,000,000,000 바이트. 대상에 도달하지 못한 연결 시도는 집계하지 않습니다..
요청마다 새로운 IP를 사용하면 트래픽이 더 많이 소모되나요?
약간 더 소모됩니다. 새로운 연결은 웹사이트와 TLS 핸드셰이크를 해야 하며, 보통 인증서 체인을 포함해 몇 킬로바이트 정도 필요합니다. 50 KB 페이지에서는 몇 퍼센트에 불과하지만, 작은 JSON 응답에서는 큰 비중이 될 수 있습니다. IP 다양성이 중요하지 않을 때는 여러 요청에 대해 keep-alive가 적용된 스티키 세션을 사용하세요.
GB당 가격과 페이지당 GB 중 뭐가 더 중요한가요?
페이지당 GB가 훨씬 더 중요합니다. HTML 가져오기와 전체 페이지 렌더링의 차이는 약 40배이지만, 동일 볼륨에서 중간 가격대는 가장 저렴한 것의 2~5배에 불과합니다. 먼저 가져오기 방식을 최적화한 후에 가격표를 확인하세요.
출처 (2)
- 웹 알마낙 2025: 페이지 용량 — HTTP Archive (2026-01-15)
- 2026년 레지덴셜 프록시 가격 지수 — CrawlRelay (2026-10-13)
측정한 만큼의 기가바이트를 구매하세요
US$1.50에서 1 GB 사용, US$0.50/GB에서 50 GB 구매, 절대 만료되지 않음.