AI 학습 데이터 및 LLM 웹 코퍼스용 프록시

AI 학습 코퍼스에 필요한 프록시 트래픽 양은?

렌더링된 페이지가 아닌 HTML과 텍스트만 수집하면 트래픽이 관리 가능한 수준으로 유지됩니다. 페이지당 압축된 HTML 크기 50 KB 기준:

AI 학습 데이터에 프록시가 꼭 필요한가요?

대부분의 경우 대량 데이터에는 필요 없습니다. 크롤링 전에 세 가지 저렴한 출처를 확인하세요:

• 공개 크롤링. Common Crawl이 CCBot 크롤러로 수집한 페타바이트 규모의 웹 아카이브를 공개합니다.
• 공식 덤프 및 API. 위키피디아, 여러 정부, 오픈 데이터 포털 및 연구 저장소에서는 명확한 라이선스가 있는 다운로드와 API를 제공합니다.
• 라이선스 데이터. 출판사와 플랫폼이 점점 더 접근권을 판매하거나 라이선스하며, Cloudflare의 페이퍼크롤은 HTTP 402로 크롤링 비용을 책정합니다.

프록시는 나머지, 즉 공개 크롤링에 없는 최신 공개 페이지, 국가나 도시별로 변하는 콘텐츠, 지역별 버전을 제공하는 사이트에서 비용 가치를 발휘합니다. 레지덴셜 프록시 출구를 사용하면 현지 방문자가 보는 것을 수집할 수 있습니다.

2026년 AI 데이터 크롤러에 적용되는 규칙은?

기술적부터 법적까지 네 가지 층이 중요합니다:

1. robots.txt (RFC 9309). 사이트가 자동화된 클라이언트가 접근할 수 있는 경로를 지정하는 표준 방식입니다. 사이트별로 파싱하고, 당신 크롤러의 사용자 에이전트 그룹 또는 *에 적용하며 RFC 권고대로 24시간 이상 캐시하지 마세요.
2. AI 전용 신호. Cloudflare의 콘텐츠 신호 정책은 robots.txt에 ai-train, ai-input, search 값을 추가합니다; 380만 개 이상의 도메인이 Cloudflare 관리 robots.txt를 사용합니다. IETF aipref 워킹그룹이 표준 어휘를 초안 중이나 2026년 10월 현재 합의는 없습니다.
3. EU 텍스트 및 데이터 마이닝 옵트아웃. EU 저작권 규칙과 AI 법 53조에 따라 범용 AI 모델 제공자는 기계 판독 가능한 권리 유보를 존중해야 합니다. 2025년 12월 10일 함부르크 고등 법원 Kneschke v. LAION 판결에서 LAION(비영리 연구 단체)는 과학 연구 예외를 근거로 했고, 명확한 언어 유보는 2021년 기술로 기계 판독 불가능하다고 판단됐습니다; 법원은 변경 가능성을 언급했고, 연방 대법원에 항소가 허용됐습니다. 영리 크롤러는 오늘날 이용 약관상의 명확한 언어 유보를 구속력 있는 것으로 처리하세요.
4. 개인 데이터. EDPB 의견 28/2024는 AI 학습에 대해 케이스별로 정당한 이익을 법적 근거로 인정할 수 있음을 알리고, CNIL은 2025년 6월 AI 스크래핑 권고안을 발표했습니다.

이는 법률 자문이 아닙니다. 우리의 2026 웹 스크래핑 법률 개요를 읽고 프로젝트별로 법률 자문을 받으세요.

크롤링 전 robots.txt와 AI 학습 신호는 어떻게 확인하나요?

사이트 URL을 큐에 넣기 전에 두 가지를 모두 확인해야 합니다. 아래 함수는 프록시를 통해 robots.txt를 가져오고, 누락(4xx)과 접근 불가(5xx)에 대한 RFC 9309 규칙을 적용하며, Cloudflare 스타일의 Content-Signal 행을 읽습니다. 의도적으로 간단하며, 파일 내 어떤 ai-train=no 행도 크롤러에 적용합니다.

import urllib.robotparser
from urllib.parse import urlsplit

import requests

PROXY = "http://USERNAME:[email protected]:7777"
PROXIES = {"http": PROXY, "https": PROXY}
USER_AGENT = "ExampleDataBot/1.0 (+https://example.com/bot)"
_rules = {}


def site_rules(url):
    """Robots rules and Content-Signal values for the site of url (cache them for 24 h at most)."""
    scheme, host = urlsplit(url)[:2]
    root = "%s://%s" % (scheme, host)
    if root not in _rules:
        try:
            r = requests.get(root + "/robots.txt", proxies=PROXIES, timeout=(10, 30),
                             headers={"User-Agent": USER_AGENT})
            status, text = r.status_code, r.text
        except requests.RequestException:
            status, text = 599, ""
        if 400 <= status < 500:
            lines = []  # RFC 9309: unavailable, crawling allowed
        elif status >= 500:
            lines = ["User-agent: *", "Disallow: /"]  # unreachable: assume complete disallow
        else:
            lines = text.splitlines()
        parser = urllib.robotparser.RobotFileParser()
        parser.parse(lines)
        signals = {}
        for line in lines:
            if line.lower().startswith("content-signal:"):
                for part in line.split(":", 1)[1].split(","):
                    key, _, value = part.strip().partition("=")
                    signals[key.strip().lower()] = value.strip().lower()
        _rules[root] = (parser, signals)
    return _rules[root]


def may_collect_for_training(url):
    parser, signals = site_rules(url)
    return parser.can_fetch(USER_AGENT, url) and signals.get("ai-train") != "no"


print(may_collect_for_training("https://example.com/some/page"))

웹 코퍼스에서 개인 데이터는 어떻게 처리하나요?

적게 수집하고 더 많이 제거하세요. GDPR 및 유사 법률에 따르면 공개된 정보라도 무제한 사용 불가: 이름, 이메일, 전화번호, 프로필 페이지 등은 어디서든 개인 데이터입니다.

• 설계 단계에서 제외. 프로필, 사람 검색, 로그인 전용 영역과 주요 콘텐츠가 개인 데이터인 사이트는 제외합니다.
• 수집 후 필터링. 데이터가 학습에 들어가기 전에 이메일, 전화번호, 식별자를 감지해 제거합니다.
• 법적 근거 문서화. EDPB 의견 28/2024와 CNIL 2025 권고는 정당한 이익의 균형 테스트를 설명합니다.
• 반대 의견 존중. 사이트 또는 개인이 미래 크롤링과 저장 데이터에서 제거될 수 있는 절차를 유지하세요.

CrawlRelay의 Acceptable Use Policy는 해당 법률을 위반하는 개인 데이터 수집을 금지합니다.

AI 데이터 파이프라인은 프록시를 어떻게 사용해야 하나요?

• 크롤당 서브 사용자 한 명씩 설정하여 트래픽 상한을 두고, 무제한 작업이 요금제를 소진하지 않도록 하며 각 데이터셋별 사용 기록을 유지합니다.
• 회전하여 범위 확장. 독립 페이지는 다른 출구를 통해 나가며, 페이징 흐름에만 스티키 세션을 사용하세요.
• 호스트별 요청 제한. 사이트별로 2~4회 요청을 동시에 처리하며 빠르게 응답하는 대형 사이트에만 더 많은 요청을 허용합니다. 동시성 가이드를 참조하세요.
• 한 번만 수집. URL 중복 제거, 재크롤 시 If-Modified-Since 활용, 원시 응답(WARC 등) 저장으로 같은 페이지 비용을 이중으로 지불하지 않도록 합니다.
• 크롤러 식별. 명확한 사용자 에이전트와 연락 URL을 제공해 사이트 소유자가 차단 대신 연락할 수 있도록 합니다.