พร็อกซีสำหรับข้อมูลฝึกสอน AI และฐานข้อมูลเว็บ LLM

ฐานข้อมูล AI ต้องใช้ทราฟฟิกพร็อกซีเท่าไร?

ดึงข้อมูล HTML และข้อความ ไม่ใช่หน้าที่เรนเดอร์แล้ว ทำให้ปริมาณยังคงจัดการได้ ด้วยขนาดประมาณ 50 KB ต่อหน้า HTML ที่บีบอัด:

ฉันต้องใช้พร็อกซีสำหรับข้อมูลฝึกสอน AI จริงหรือ?

มักไม่ต้องใช้กับข้อมูลส่วนใหญ่ ก่อนครอว์ลตรวจสอบแหล่งราคาถูกสามแหล่ง:

• ครอว์ลเปิดเผย. Common Crawl เผยแพร่อาร์ไคฟ์เว็บปริมาณเพตาไบต์ผ่านครอว์เลอร์ CCBot ของพวกเขา
• ดัมพ์อย่างเป็นทางการและ API. Wikipedia หลายรัฐบาล พอร์ทัลข้อมูลเปิด และคลังวิจัยเผยแพร่ดาวน์โหลดและ API ที่มีใบอนุญาตชัดเจน
• ข้อมูลมีใบอนุญาต. สำนักพิมพ์และแพลตฟอร์มขายหรือให้สิทธิ์การเข้าถึงเพิ่มขึ้น และ Cloudflare มีระบบจ่ายตามครอว์ลด้วย HTTP 402 เพื่อกำหนดราคาการครอว์ล

พร็อกซีจะคุ้มค่ากับส่วนที่เหลือ: หน้าใหม่ที่ไม่อยู่ในครอว์ลเปิดเผย เนื้อหาที่เปลี่ยนตามประเทศหรือเมือง และเว็บไซต์ที่ให้บริการต่างกันตามภูมิภาค พร็อกซีเรซิเดนเชียลช่วยให้คุณเก็บข้อมูลอย่างที่ผู้เยี่ยมชมท้องถิ่นเห็น

กฎอะไรบ้างที่ใช้กับครอว์ล AI ในปี 2026?

มีสี่ชั้นที่สำคัญ ตั้งแต่ทางเทคนิคจนถึงกฎหมาย:

1. robots.txt (RFC 9309). วิธีมาตรฐานที่เว็บไซต์บอกเส้นทางที่ลูกค้าอัตโนมัติสามารถดึงข้อมูลได้ ตรวจสอบแต่ละเว็บไซต์ ใช้กลุ่มสำหรับ user agent ของครอว์เลอร์ หรือ * และอย่าเก็บแคชเกิน 24 ชั่วโมง ตามคำแนะนำของ RFC
2. สัญญาณเฉพาะ AI. นโยบาย Content Signals ของ Cloudflare เพิ่มค่า ai-train, ai-input และ search ใน robots.txt; มากกว่า 3.8 ล้านโดเมนใช้ robots.txt ที่ Cloudflare จัดการ กลุ่ม IETF aipref กำลังร่างคำศัพท์มาตรฐาน ซึ่งยังไม่มีฉันทามติถึงตุลาคม 2026
3. การยกเลิกขุดเจาะข้อความและข้อมูลในสหภาพยุโรป. ภายใต้กฎลิขสิทธิ์ของสหภาพยุโรปสำหรับขุดเจาะข้อความและข้อมูล และมาตรา 53 ของ AI Act ผู้ให้บริการโมเดล AI ทั่วไปต้องเคารพสิทธิ์ในรูปแบบที่เครื่องอ่านได้ ในคดี Kneschke กับ LAION (ศาลสูงเขตฮัมบูร์ก 10 ธันวาคม 2025) LAION ซึ่งเป็นสมาคมวิจัยไม่แสวงหากำไร ใช้ข้อยกเว้นทางวิจัยทางวิทยาศาสตร์ และคำจองในภาษาธรรมดาถูกพิพากษาว่าไม่เป็นเครื่องอ่านได้ด้วยเทคโนโลยีปี 2021; ศาลระบุว่าสิ่งนี้อาจเปลี่ยนแปลงได้ และอนุญาตให้ยื่นอุทธรณ์ถึงศาลสูงสุดแห่งสหพันธ์ สำหรับครอว์ลเชิงพาณิชย์ ให้ถือว่ายอมรับคำจองในภาษาธรรมดาในข้อกำหนดการใช้งานเป็นบังคับ
4. ข้อมูลส่วนบุคคล. ความคิดเห็น 28/2024 ของ EDPB ระบุว่าฐานทางกฎหมายอาจใช้ประโยชน์ชอบธรรมสำหรับการฝึก AI รายกรณี และ CNIL ได้เผยแพร่คำแนะนำเกี่ยวกับการเก็บข้อมูลสำหรับ AI ในมิถุนายน 2025

นี่ไม่ใช่คำแนะนำทางกฎหมาย อ่าน ภาพรวมกฎหมายการเก็บข้อมูลเว็บปี 2026 และปรึกษาที่ปรึกษากฎหมายสำหรับโครงการของคุณ

ฉันตรวจสอบ robots.txt และสัญญาณการฝึก AI ก่อนครอว์ลอย่างไร?

ตรวจสอบทั้งสองอย่างก่อนที่จะคิว URL ใด ๆ ของเว็บไซต์ ฟังก์ชันด้านล่างดึง robots.txt ผ่านพร็อกซี ใช้กฎ RFC 9309 สำหรับไฟล์ที่ขาด (4xx) และไม่เข้าถึงได้ (5xx) และอ่านบรรทัด Content-Signal แบบ Cloudflare มันง่ายตั้งใจ: ใช้ ai-train=no ใด ๆ ในไฟล์กับครอว์เลอร์ของคุณ

import urllib.robotparser
from urllib.parse import urlsplit

import requests

PROXY = "http://USERNAME:[email protected]:7777"
PROXIES = {"http": PROXY, "https": PROXY}
USER_AGENT = "ExampleDataBot/1.0 (+https://example.com/bot)"
_rules = {}


def site_rules(url):
    """Robots rules and Content-Signal values for the site of url (cache them for 24 h at most)."""
    scheme, host = urlsplit(url)[:2]
    root = "%s://%s" % (scheme, host)
    if root not in _rules:
        try:
            r = requests.get(root + "/robots.txt", proxies=PROXIES, timeout=(10, 30),
                             headers={"User-Agent": USER_AGENT})
            status, text = r.status_code, r.text
        except requests.RequestException:
            status, text = 599, ""
        if 400 <= status < 500:
            lines = []  # RFC 9309: unavailable, crawling allowed
        elif status >= 500:
            lines = ["User-agent: *", "Disallow: /"]  # unreachable: assume complete disallow
        else:
            lines = text.splitlines()
        parser = urllib.robotparser.RobotFileParser()
        parser.parse(lines)
        signals = {}
        for line in lines:
            if line.lower().startswith("content-signal:"):
                for part in line.split(":", 1)[1].split(","):
                    key, _, value = part.strip().partition("=")
                    signals[key.strip().lower()] = value.strip().lower()
        _rules[root] = (parser, signals)
    return _rules[root]


def may_collect_for_training(url):
    parser, signals = site_rules(url)
    return parser.can_fetch(USER_AGENT, url) and signals.get("ai-train") != "no"


print(may_collect_for_training("https://example.com/some/page"))

ฉันจัดการข้อมูลส่วนบุคคลในฐานข้อมูลเว็บอย่างไร?

เก็บให้น้อยลง จากนั้นลบให้มากขึ้น ภายใต้ GDPR และกฎหมายที่คล้ายกัน "สาธารณะ" ไม่ได้แปลว่าฟรีต่อการใช้: ชื่อ อีเมล เบอร์โทร และหน้าโปรไฟล์เป็นข้อมูลส่วนบุคคลไม่ว่าจะอยู่ที่ไหน

• ยกเว้นตั้งแต่การออกแบบ. ข้ามโซนโปรไฟล์ ค้นหาคน และล็อกอินเท่านั้น รวมถึงเว็บไซต์ที่เนื้อหาหลักคือข้อมูลส่วนบุคคล
• กรองหลังการเก็บ. ตรวจจับและลบอีเมล เบอร์โทร และตัวบ่งชี้ก่อนที่ข้อมูลจะถึงการฝึก
• จัดเก็บฐานทางกฎหมายของคุณ. ความคิดเห็น 28/2024 ของ EDPB และคำแนะนำของ CNIL ปี 2025 อธิบายการทดสอบดุลยภาพสำหรับประโยชน์ชอบธรรม
• เคารพการคัดค้าน. ต้องมีวิธีลบเว็บไซต์หรือบุคคลจากการครอว์ลในอนาคตและจากข้อมูลที่เก็บไว้

นโยบายการใช้งานที่เหมาะสมของ CrawlRelay ห้ามเก็บข้อมูลส่วนบุคคลที่ละเมิดกฎหมายที่บังคับใช้

สายข้อมูล AI ควรใช้พร็อกซีอย่างไร?

• ผู้ใช้ย่อยหนึ่งคนต่อการครอว์ล พร้อมขีดจำกัดทราฟฟิก เพื่อป้องกันงานที่ผิดพลาดดึงแผนทราฟฟิกจนหมด และแต่ละชุดข้อมูลมีบันทึกการใช้งานของตัวเอง
• สลับพร็อกซีเพื่อความกว้าง. หน้าอิสระออกจากจุดออกต่างกัน; ใช้เซสชันติดหนึบเฉพาะสำหรับการไล่หน้า
• จำกัดต่อโฮสต์. สองถึงสี่คำขอพร้อมกันต่อไซต์ มากกว่านั้นจะมีเฉพาะไซต์ใหญ่ที่ตอบสนองเร็ว ดู คู่มือความพร้อมกัน
• ดึงข้อมูลเพียงครั้งเดียว. กำจัด URL ซ้ำ ใช้ If-Modified-Since ในการครอว์ลซ้ำ และเก็บข้อมูลดิบ (เช่น WARC) เพื่อไม่ต้องจ่ายซ้ำสำหรับหน้าเดียวกัน
• ระบุครอว์เลอร์ของคุณ. user agent ที่ชัดเจนพร้อม URL ติดต่อช่วยให้เจ้าของเว็บไซต์ติดต่อแทนการบล็อก