프록시 및 웹 스크래핑 용어집

종료 IP가 소비자 인터넷 제공자의 가정용 인터넷 연결에 속하는 프록시. 사이트에서는 일반 가정 방문자로 인식합니다. 레지덴셜 프록시] 참고.

종료 IP가 4G/5G 이동통신사 네트워크에 속하는 프록시. 통신사는 많은 가입자를 한 IP로 공유하므로 사이트에서 차단할 가능성이 있습니다. 모바일 프록시] 참고.

호스팅 제공자에 등록된 IP로 데이터센터에서 호스팅되는 프록시. 빠르고 저렴하지만 호스팅 범위를 차단하는 사이트에서는 필터링됩니다.

인터넷 제공자가 알리는 고정 IP지만 데이터센터에 호스팅된 프록시. 일부 데이터베이스에는 레지덴셜로 보이며 IP가 고정됩니다. CrawlRelay에서는 ISP 프록시를 판매하지 않습니다.

여러 종료 IP로 연결을 전달하는 하나의 호스트와 포트. 사용자 이름 변경이나 새 연결로 종료 IP를 바꾸지, IP 주소 자체를 변경하진 않습니다.

대상 웹사이트가 보는 IP 주소. 레지덴셜 게이트웨이인 경우 타깃팅에 맞는 가정용 연결입니다.

캐리어그레이드 NAT: 이동통신사나 광대역 통신사가 여러 가입자를 몇 개의 공용 IP 뒤에 숨겨둡니다. RFC 6598은 이런 네트워크 내 공유 공간으로 100.64.0.0/10 대역을 예약했습니다.

자율 시스템 번호(ASN): 인터넷 네트워크 식별자, 예를 들어 Comcast는 AS7922입니다. ASN 타깃팅은 한 인터넷 제공자의 출구 IP를 선택합니다.

제공자의 레지덴셜 IP 출처와 기기 소유자가 대역폭을 공유하는 조건. 2026년 IPIDEA 및 NetNut 차단 이후 주요 구매 고려사항입니다. 소싱]을 확인하세요.

세션 ID 없이 사용자 이름만 있는 경우: 각 새 연결에 풀에서 보통 다른 IP가 할당됩니다. 회전은 개별 HTTP 요청이 아니라 연결 단위입니다.

세션 ID와 TTL 있는 사용자 이름: 해당 ID로 연결된 세션은 최대 30분 동안 동일한 종료 IP를 사용하지만, IP는 더 일찍 변경될 수도 있습니다. 세션] 참고.

스티키 세션이 IP를 유지하는 시간(분 단위), -ttl-<minutes>로 설정합니다. 세션은 연결된 기기가 오프라인이 되면 조기 종료될 수 있습니다.

하나의 TCP 연결을 여러 HTTP 요청에 재사용하는 것. 더 빠르지만 동일 연결의 모든 요청이 한 종료 IP를 공유합니다.

호스트와 포트에 대한 터널 생성 요청에 클라이언트가 보내는 HTTP 메서드(RFC 9110, §9.3.6). HTTPS 트래픽은 이후 터널 내 종단 간 암호화됩니다.

TCP 연결을 중계하되 HTTP 메시지를 읽지 않는 프록시 프로토콜(RFC 1928), 사용자 이름과 비밀번호 인증(RFC 1929) 사용.

클라이언트가 호스트 이름을 SOCKS5 프록시로 보내 DNS가 로컬 대신 종료 지점에서 해석되도록 하는 URL 스킴.

프록시 인증 정보를 담는 요청 헤더, 보통 Base64 인코딩된 Basic username:password 형식. 프록시는 전달 전에 이 헤더를 제거합니다.

프록시가 자격 증명이 없거나 잘못되어 요청을 거부했습니다. 웹사이트에는 접속되지 않았습니다. 자세한 내용은 407]을 참조하세요.

웹사이트가 요청 속도를 제한하고 있습니다(RFC 6585). 속도를 늦추고 Retry-After를 준수하세요. 자세한 내용은 429]을 참조하세요.

재시도 전에 대기해야 할 시간(초)이나 날짜를 나타내는 응답 헤더입니다(RFC 9110, 섹션 10.2.3). 429 및 503 응답과 함께 전송됩니다.

한 번에 처리 중인 요청 수입니다. Little의 법칙에 따라 처리량과 지연 시간을 곱한 값과 같습니다. 대상 호스트별로 제한하세요. 자세한 내용은 concurrency]을 참조하세요.

사이트 루트에 위치한 파일로, 자동화 클라이언트가 가져올 수 있는 경로를 알려줍니다. 2022년에 RFC 9309로 표준화되었습니다. 크롤러는 이를 24시간 이상 캐시하지 않아야 합니다.

요청 간 대기해야 하는 시간을 초 단위로 표시하는 비표준 robots.txt 지시어입니다. Python의 urllib.robotparser는 crawl_delay()를 사용해 이를 읽습니다.

클라이언트 이름을 명시하는 헤더입니다. 책임감 있는 크롤러는 자신의 이름, 버전, 연락처 URL을 보내며 다른 크롤러 이름을 절대 사용하지 않습니다.

Cloudflare가 2025년 9월 도입한 robots.txt 확장 기능으로, search, ai-input, ai-train 값을 사용해 크롤러에게 콘텐츠 사용 방법을 안내합니다.

EU 저작권법에 따른 텍스트 및 데이터 마이닝에 대한 권리 보유자의 기계 판독 가능 거부권으로, 일반 AI 모델 제공자들은 반드시 이를 존중해야 합니다.

인간인지 확인하는 챌린지입니다. 크롤러에겐 속도 조절 또는 중지 신호로 작용합니다; CrawlRelay는 자동 해결을 지원하지 않습니다.

Playwright나 Puppeteer 같은 코드로 구동되는 눈에 보이지 않는 창 없는 브라우저입니다. JavaScript를 렌더링하지만 HTTP 클라이언트보다 페이지당 훨씬 많은 데이터를 다운로드합니다.

JSON으로 페이지에 삽입된 구조화된 데이터로, 보통 Product나 Offer 같은 schema.org 타입을 사용합니다. 가격 및 제품 정보를 가장 안정적으로 얻는 출처입니다.

원시 HTTP 요청과 응답을 저장하는 웹 아카이브(Web ARChive) 파일 포맷으로, Common Crawl과 웹 아카이브들이 사용합니다. 원시 응답을 저장하면 한 페이지에 대해 이중으로 비용을 지불하지 않아도 됩니다.

If-None-Match 또는 If-Modified-Since이 포함된 요청입니다. 변경되지 않은 페이지는 본문 없이 304 Not Modified로 응답하여 트래픽을 절약합니다.

월 구독 대신 필요할 때마다 트래픽을 한 번 구매하는 방식입니다. CrawlRelay에서는 요금제가 선불 잔액에서 일회성 구매입니다.

구매한 기가바이트가 일정 기간(예: 31일 또는 한 달) 후에 소멸되는지 여부입니다. CrawlRelay 레지덴셜 프록시와 4G 모바일 프록시 트래픽은 절대 만료되지 않습니다.

1 GB = 1,000,000,000 바이트; 기비바이트(GiB)는 1,073,741,824 바이트입니다. 공급자가 어떤 단위로 과금하는지 확인하세요; CrawlRelay는 십진법 GB 단위로 과금합니다.

사용 가능한 응답 수로 나눈 트래픽 비용입니다. 공급자 간 비교 시 GB당 가격보다 더 정확합니다.

한 계정 아래에 독립된 프록시 인증 정보 세트로, 자체 트래픽 한도와 사용량 합계를 가지며 프로젝트나 클라이언트를 분리하는 데 사용됩니다.

KYC: 신분증, 셀카 또는 회사 서류를 통한 신원 확인. CrawlRelay는 KYC 없이 요청하지 않고 Acceptable Use Policy]에 의존합니다.

Acceptable Use Policy: 모든 계정이 따르는 규칙으로, 허용된 사용, 금지된 사용 및 차단 대상이 명시되어 있습니다.