AI 교육 데이터
수 테라바이트 규모의 공개 웹 코퍼스: 백만 개 HTML 페이지당 약 50 GB, robots.txt와 AI 옵트아웃, 개인 정보 필터링 포함.
빠른 답변
레지덴셜 프록시는 개발자들이 어떤 용도로 사용하나요?
개발자들은 CrawlRelay 레지덴셜 프록시를 사용하여 중요한 위치에서 공개 웹 데이터를 수집합니다: AI 학습 데이터셋, AI 에이전트용 페이지 수집, 검색 및 광고 페이지의 위치 정확한 확인, 그리고 전자상거래 가격 모니터링. 트래픽 비용은 2026년 10월 기준 1 GB당 US$1.50, 50 GB 이상부터 US$0.50/GB 이며, 만료되지 않습니다. KYC 없이 암호화폐로 결제 가능합니다.
사용 사례
AI 에이전트
레지덴셜 경로를 통해 안전한 수집 도구 및 MCP 서버 제공, 작업별 세션과 보호 장치 포함.
SERP 및 순위 확인
2026년에도 유효한 것들: Google의 robots.txt, 소송, 차단, 그리고 사용자 자신의 페이지에 대한 도시 단위 정확한 검사.
가격 모니터링
국가별 현지 가격, 재고 및 배송 조건, JSON-LD 추출, 상품별 월별 트래픽.
각 활용 사례에 맞는 설정은?
| 활용 사례 | 프록시 유형 | 세션 | 일반적인 트래픽 |
|---|---|---|---|
| AI 교육 데이터 | 레지덴셜 프록시 | 회전; 페이지 네비게이션에 한해 고정 세션 사용 | 백만 개 HTML 페이지당 30–60 GB |
| AI 에이전트 | 레지덴셜; 모바일 전용 조회용은 4G 모바일 프록시 | 작업별 고정 세션 1개 | 20페이지 작업당 약 1 MB HTML |
| SERP 및 순위 확인 | 도시 타깃팅을 적용한 레지덴셜 | 도시별 단기 세션 하나 | 작은 규모: 확인당 몇 페이지 |
| 가격 모니터링 | 시장별 레지덴셜 | 제품 사이 회전; 작업 흐름 내에서는 고정 사용 | 제품당 매월 약 1.8 MB, 일일 점검 |
이 모든 활용 사례의 공통점은?
공개 데이터이며, 사이트가 허용하는 속도로, 데이터가 다른 위치에서 수집합니다. 모든 CrawlRelay 계정은 동일한 Acceptable Use Policy 하에서 운영됩니다: 소유하지 않은 계정 로그인 금지, 법규 위반 개인 데이터 수집 금지, 사이트의 차단 우회 금지, 그리고 은행, 정부 및 결제 포털 사이트, SMTP (이메일 전송) 포트 25, 465, 587 지원을 거부하는 게이트웨이.
엔지니어링 습관 또한 공유됩니다: 크롤러를 식별하고, 호스트별 동시 요청 수 제한, 렌더링 전에 HTML 먼저 수집, 변경되지 않은 페이지 스킵, 파이프라인별 서브 사용자 및 트래픽 한도 유지. 문서 에서는 코드와 함께 각 항목을 자세히 다룹니다.
CrawlRelay가 지원하지 않는 활용 사례는?
사람을 사칭하거나 보호 장치를 우회하는 모든 행위: 계정 생성 또는 탈취, 한정 재고나 티켓 봇 구매, 스팸 전송, 자격 증명 테스트, 사기, 로그인 뒤 개인 데이터 수집 등. 이러한 행위는 정책 위반이며 2026년 레지덴셜 네트워크들이 압수된 이유입니다. 해당 용도로 게이트웨이 사용 시 계정을 정지합니다.
활용 사례: 자주 묻는 질문
CrawlRelay로 소셜 미디어 데이터를 사용할 수 있나요?
플랫폼의 규칙과 법을 준수하며 소유하지 않은 계정에 로그인하지 않고 공개 페이지에서만 가능합니다. 많은 소셜 미디어 콘텐츠가 개인 정보이므로 법적 근거를 먼저 확인하세요. 다수 플랫폼에서 연구용 또는 비즈니스 API를 제공하니 존재할 경우 활용하세요.
CrawlRelay를 광고 검증에 사용할 수 있나요?
네. 각 국가 및 도시에서 광고와 랜딩 페이지가 어떻게 보이는지 확인하는 것은 레지덴셜 경로의 표준적인 사용법입니다. SERP 페이지에서처럼 도시 타깃팅과 확인당 짧은 고정 세션을 사용하세요.
모바일 프록시가 필요한 활용 사례가 있나요?
휴대폰 사용자가 보는 내용 확인: 모바일 사이트, 앱, 모바일 광고. 회전하는 4G 모바일 프록시는 US$3.18로 1 GB당, US$1.50/GB부터 5 GB 이상 가격이 책정되며 CrawlRelay 적용; 소규모 요금제에서 시험 후 더 많은 트래픽을 라우팅하세요.