빠른 답변
2026년 웹 스크래핑은 합법인가요?
미국과 EU에서 공개 웹 데이터 스크래핑은 일반적으로 합법이지만, 수집 방식과 내용에 따라 다릅니다. 주요 위험은 사이트 이용 약관 위반, 기술적 장벽 우회(2026년 미국 사건 2건에서 쟁점), 보호된 콘텐츠나 데이터베이스 복제, 합법적 근거 없는 개인정보 처리입니다. CrawlRelay, 스크래퍼를 위한 프록시 서비스, 는 공개 데이터 수집만 허용합니다. 이는 법률 자문이 아닙니다.
2025~2026년 스크래핑에 영향을 준 5가지 판결
| Kneschke 대 LAION (함부르크, 2025년 12월 10일) | LAION은 과학 연구 목적 TDM 예외를 적용받을 수 있었고, 2021년 기술로는 평문 예외 조항이 기계 판독 불가였으며, 연방법원(BGH) 상고 허가됨 |
|---|---|
| Getty 대 Stability AI (영국, 2025년 11월 4일) | 모델에 대한 2차 저작권 주장이 기각됨; 항소 허용 |
| Google 대 SerpApi (북부 캘리포니아, 2026년 7월 20일) | 공개 결과에 대한 DMCA 기술적 우회 금지 주장 기각; 수정된 소송 중 |
| Reddit 대 SerpApi 외 (남부 뉴욕, 2026년 7월 31일) | SerpApi와 Perplexity의 소송각하 요청 대부분 기각(2026년 7월 31일); Oxylabs 요청은 계류 중; 책임자 없음 |
| Thomson Reuters 대 Ross (3순회, 2026년 9월 29일) | Westlaw 헤드노트를 활용한 비생성 법률 리서치 도구 훈련은 공정 이용 아님 |
웹 스크래퍼에 적용될 수 있는 법률은?
프로젝트별로 다섯 가지 질문을 하세요:
- 접근권. 로그인, 유료벽, 기타 문턱을 넘었나요? 컴퓨터 착취 법률은 권한 여부를 따지며, 공개 페이지와 보호된 페이지가 다르게 취급됩니다.
- 우회. 봇 방지 시스템 같은 기술적 조치를 우회했나요? 미국에서는 DMCA 1201조가 스크래퍼에 적용되어 테스트 중입니다.
- 계약. 계정을 만들어 사이트 이용 약관에 동의했나요? 접근이 합법적이어도 약관 위반은 계약 위반일 수 있습니다.
- 콘텐츠. 저작권 또는 EU 데이터베이스 권리를 가진 콘텐츠를 복제했나요? 저작권과 EU 데이터베이스 권리는 사실 이상의 것을 보호합니다.
- 개인정보. 데이터가 개인을 식별하나요? 그렇다면 GDPR이나 미국 주 개인정보법 같은 데이터 보호 법률이 적용됩니다.
미국에서의 법적 입장은?
- 컴퓨터 사기 및 남용 법(CFAA). 대법원의 Van Buren 결정(2021) 이후, 9순회 법원은 hiQ 대 LinkedIn(2022년 4월)에서 공개 데이터 스크래핑은 "무단 접근"이 아니라고 판단했습니다. 같은 사건에서 hiQ가 LinkedIn 사용자 약관을 위반한 것으로 최종 판결되고 합의됨.
- 이용 약관. Meta 대 Bright Data(2024년 1월) 사건에서 법원은 Meta가 로그아웃 상태에서 공개 데이터 스크래핑을 금지하지 않는다고 판결했고, Meta가 소송을 취하함. X Corp의 Bright Data 상대 청구는 2024년 5월 기각 후 합의.
- 우회 금지법. 2026년 두 사건에서 봇 차단 우회가 DMCA 1201조 위반인지 시험 중. Google 대 SerpApi에서 최초 소송은 2026년 7월 기각됐으며 수정된 소송 진행 중. Reddit 대 SerpApi, Oxylabs, AWMProxy, Perplexity에서는 2026년 7월 31일 법원이 대부분 기각을 거부했으며, Oxylabs의 요청은 10월까지 계류 중. 아직 책임자 결정 없고 사건 본안 판단 대기 중.
- 저작권과 AI. 2026년 9월 3순회 법원은 Thomson Reuters 대 Ross 사건에서 Westlaw 헤드노트를 활용한 비생성 법률 검색 도구 훈련이 공정 이용이 아니라고 판결함.
EU와 영국에서의 법적 입장은?
- 텍스트 및 데이터 마이닝(TDM). EU 저작권법은 권리자가 기계 판독 형식으로 이용을 제한하지 않는 한 법적 접근 가능한 콘텐츠에 대해 TDM을 허용합니다. Kneschke 대 LAION(2025년 12월, 함부르크 고등법원)은 LAION이 비영리 연구 단체로서 과학 연구 목적 TDM 예외를 적용받을 수 있음을 인정했으며, 2021년 기술로는 평문으로 된 제한 조항은 기계 판독 불가라고 판결함. 기술 발전에 따라 변경 가능하며 연방법원 상고 허가됨. 상업적 크롤러는 오늘날 평문 제한을 준수해야 함.
- AI 법령. 일반 목적 AI 모델 제공업체는 해당 제한 조항을 식별하고 존중하는 정책을 수립해야 함(53조). 2025년 실천 강령은 로봇.txt 준수를 약속함.
- 데이터베이스 권리. EU 고유 데이터베이스 권리는 데이터베이스에 대한 실질적 투자를 보호. CV-Online Latvia 대 Melons(2021년) 판결은 투자에 해가 되는 데이터베이스 재사용은 침해로 간주.
- 개인정보. GDPR은 공개 개인 데이터에도 적용. EDPB 의견 28/2024에 따르면, AI 개발에 대해 정당한 이익이 법적 근거가 될 수 있으며, CNIL은 2025년 6월 AI용 스크래핑 관련 권고를 발표.
- 영국. Getty Images 대 Stability AI(2025년 11월) 사건에서 하급 법원은 모델에 대한 2차 저작권 주장을 기각했으며, Getty가 항소 허가 받음.
주요 사건과 현재 상황(2026년 10월)
| 사건명 | 법원, 날짜 | 상태 | 스크래퍼가 관심 갖는 이유 |
|---|---|---|---|
| hiQ Labs 대 LinkedIn | 9순회, 2022년 4월 | 2022년에 계약 협상 후 합의됨 | 공개 데이터와 CFAA |
| Meta 대 Bright Data | 미국 캘리포니아 북부 지방법원, 2024년 1월 23일 | Meta 측에서 철회됨 | 로그아웃 상태 크롤링과 이용 약관 |
| X Corp 대 Bright Data | 미국 캘리포니아 북부 지방법원, 2024년 5월 | 기각 후 합의(2025년) | 이용 약관과 공개 데이터 |
| Google 대 SerpApi | 미국 캘리포니아 북부 지방법원, 2025년 12월 19일 접수 | 첫 소송 기각 2026년 7월 20일; 수정 소장 진행 중 | 안티봇 시스템과 DMCA §1201 |
| Reddit 대 SerpApi, Oxylabs, AWMProxy, Perplexity | 미국 뉴욕 남부 지방법원, 2025년 10월 22일 접수 | SerpApi와 Perplexity의 신청 대부분 기각 2026년 7월 31일; Oxylabs 신청은 진행 중 | 데이터 및 프록시 제공자에 대한 회피 책임 |
| Kneschke 대 LAION | 함부르크 고등 법원, 2025년 12월 10일 | BGH(연방대법원) 항소 허용 | TDM 예외 및 기계 판독형 옵트아웃 |
| Getty Images 대 Stability AI | 영국 고등법원, 2025년 11월 4일 | 항소 허용 | AI 모델과 2차 침해 |
| Thomson Reuters 대 Ross | 미국 제3순회항소법원, 2026년 9월 29일 | 판결 완료 | 공정 이용과 학습용 데이터 |
스크래핑 프로젝트의 법적 위험을 줄이려면 어떻게 해야 하나요?
- 공개 페이지만 사용하세요. 로그인, 유료 장벽, 소유하지 않은 계정은 사용하지 마세요.
- robots.txt와 AI 옵트아웃을 준수하세요. RFC 9309를 적용하고,
ai-train=no스타일 신호로 학습용 데이터를 존중하며 언제 무엇을 확인했는지 기록하세요. - 회피하지 마세요. CAPTCHA 풀이 금지, 봇 탐지 우회를 위한 도구 사용 금지, 거부를 우회하려는 재시도 금지. 403, 429 및 CAPTCHA에 대응하는 방법은 ](/guides/403-429-captcha/)을 참조하세요.
- 의존하는 사이트의 이용 약관을 읽으세요, 특히 계정을 보유한 경우에는 더 중요합니다.
- 개인 정보를 최소화하고 법적 근거를 문서화하며 이의를 존중할 수 있는 방법을 마련하세요.
- 수집한 데이터를 공정하게 사용하세요: 사실과 분석은 전체 텍스트나 이미지 재게시보다 안전합니다.
- 기록을 유지하세요: URL, 날짜, robots.txt 버전 및 크롤러 신원 정보를 모두 남기세요.
실제 노출이 큰 경우에는 관련 국가의 변호사와 상담하세요.
프록시를 사용하면 스크래핑이 합법인지 달라지나요?
아니요. 프록시는 요청이 어디서 온 것처럼 보이게 하는지 바꿀 뿐, 수집하는 내용이나 방식은 바꾸지 않습니다. 프록시 사용 여부와 상관없이 동일한 다섯 가지 질문이 적용됩니다. 달라지는 두 가지는 첫째, 프록시 제공자의 자체 규칙입니다: CrawlRelay의 Acceptable Use Policy는 공개 데이터만 허용하며 회피 및 사기 행위를 금지합니다. 둘째, 제공자의 IP 소싱입니다: 2026년 Google과 미국 당국이 IPIDEA와 NetNut 네트워크의 무단 장치 모집 문제를 적발했으므로, 제공자의 IP 출처를 반드시 확인하세요. 저희 IP 출처는 소싱 페이지에서 확인할 수 있습니다.
웹 스크래핑 법률: 자주 묻는 질문
이용 약관에서 스크래핑을 금지한 사이트를 스크래핑하면 불법인가요?
자동으로 불법은 아닙니다. 이용 약관은 계약 문제로, 예를 들어 계정을 만들어 수락했다면 명확히 구속됩니다. 법원은 로그인 상태와 로그아웃 상태의 공개 데이터 스크래핑을 다르게 판단했습니다. 약관 위반은 청구로 이어질 수 있으니 의존하는 사이트의 약관을 꼭 읽으세요.
robots.txt가 법적 구속력이 있나요?
robots.txt는 RFC 9309 기술 표준일 뿐 법률은 아닙니다. 그러나 법적으로 중요한 역할을 합니다: EU에서는 텍스트 및 데이터 마이닝에 대한 기계 판독형 예약(옵트아웃)을 존중해야 하며, robots.txt는 이를 표현하는 한 방법입니다. 이를 무시하는 것은 신의성실한 접근을 주장하는 근거를 약화시킵니다.
공개된 개인정보를 스크래핑해도 되나요?
공개된 개인정보도 여전히 개인정보입니다. GDPR 하에서는 법적 근거가 필요하며, 균형 평가 후 정당한 이익과 같은 근거가 있어야 하고, 데이터 주체의 권리를 존중해야 합니다. 필요한 정보만 수집하고, 민감한 범주는 피하며, 필요 없는 데이터셋에서 식별자를 걸러내세요.
AI 모델 학습을 위해 데이터를 스크래핑하는 것은 합법인가요?
당신이 위치한 곳과 수집하는 데이터에 따라 다릅니다. EU에서는 권리자가 기계 판독 가능한 방식으로 옵트아웃하지 않은 한 텍스트 및 데이터 마이닝 예외 조항이 적용되며, 범용 모델 제공자는 이러한 옵트아웃을 존중해야 합니다. 미국에서는 공정 사용은 사례별로 결정되며, 법원은 2025년과 2026년에 서로 다른 판결을 내렸습니다. 자세한 내용은 AI 학습 데이터를 참조하세요.
출처 (13)
- hiQ Labs 대 LinkedIn — Wikipedia (2026-10-05)
- 스크래핑 법률에 중대한 영향을 미친 판결: Meta 대 Bright Data — Farella Braun + Martel (2024-01)
- Musk의 X가 이스라엘 데이터 업체와의 데이터 스크래핑 분쟁을 해결 — Bloomberg Law (2025)
- Google 대 SerpApi: 법원이 우리 기각 신청을 승인함 — SerpApi (2026-07-21)
- Reddit 대 SerpApi LLC — Loeb & Loeb (2026-08)
- 3순위 법원이 Ross에 맞서 Thomson Reuters에 판결 — LawNext (2026-09-30)
- 함부르크 고등법원이 AI 학습 허용 판결( Kneschke 대 LAION) 확정 — Bird & Bird (2025-12)
- Getty Images 대 Stability AI 판결 — Courts and Tribunals Judiciary (2025-11-04)
- 사건 C-762/19, CV-Online Latvia 대 Melons — Court of Justice of the European Union (2021-06-03)
- 텍스트 및 데이터 마이닝 권리 보존 프로토콜에 관한 위원회 공청회 — European Commission (2025-12-01)
- AI 모델 개인정보 관련 주요 질문에 대한 EDPB 입장 — IAPP (2024-12-18)
- 추천 AI : 정당한 이익 — CNIL (2025-06-19)
- RFC 9309: 로봇 배제 프로토콜 — IETF (2022-09)