# พร็อกซีสำหรับข้อมูลฝึกสอน AI และฐานข้อมูลเว็บ LLM

> พร็อกซีสำหรับข้อมูลฝึกสอน AI และฐานข้อมูล LLM: GB ต่อหนึ่งล้านหน้า, กฎการยกเลิกในปี 2026, GDPR, โค้ดครอว์เลอร์ US$0.50/GB เริ่มต้นที่ 50 GB, ไม่ต้อง KYC

- URL: https://crawlrelay.com/th/use-cases/ai-training-data/
- อัปเดตล่าสุด: 2026-10-13
- Publisher: CrawlRelay (https://crawlrelay.com)

การเก็บข้อมูลเว็บสาธารณะสำหรับโมเดลตอนนี้เป็นกิจกรรมที่มีกฎระเบียบ วัดผล และมีข้อถกเถียง หน้านี้ครอบคลุมการคำนวณปริมาณ กฎการยกเลิกปี 2026 และรูปแบบครอว์เลอร์ที่เคารพกฎเหล่านั้น

**คำตอบด่วน — พร็อกซีแบบไหนดีที่สุดสำหรับเก็บข้อมูลฝึกสอน AI ในปริมาณมาก?**

สำหรับฐานข้อมูลเว็บสาธารณะหลายเทราไบต์ ใช้การสลับพร็อกซีเรซิเดนเชียลซึ่งคิดค่าบริการตาม GB ที่ใช้งาน โดยมีทราฟฟิกที่ไม่หมดอายุ และครอว์เลอร์ที่เคารพ robots.txt และการยกเลิก AI **CrawlRelay** ขายทราฟฟิกเรซิเดนเชียลที่ US$0.50/GB เริ่มต้นที่ 50 GB ถึง 1 TB ณ ตุลาคม 2026: ประมาณ 50 GB ครอบคลุมหนึ่งล้านหน้า HTML จ่ายด้วยคริปโต ไม่ต้อง KYC

## ตัวเลขสำคัญสำหรับการเก็บข้อมูล AI

| คุณลักษณะ | ค่า |
| --- | --- |
| ราคา CrawlRelay ตามปริมาณ | US$0.50/GB จาก 50 GB ถึง 1 TB; ทราฟฟิกไม่หมดอายุ |
| หน้า HTML เท่านั้น | ขนาดบีบอัดหลายสิบ KB; HTML กลาง 22–35 KB (HTTP Archive Web Almanac 2025) |
| หน้าแสดงผลครบถ้วน | ขนาดกลาง 2,164 KB บนมือถือ, 2,412 KB บนเดสก์ท็อป (แหล่งเดียวกัน) |
| หนึ่งล้านหน้า HTML | ประมาณ 30–60 GB ของทราฟฟิกพร็อกซี |
| สัดส่วนทราฟฟิกครอว์เลอร์ในการฝึก AI | 22% ของการร้องขอครอว์เลอร์ในฤดูใบไม้ผลิ 2025, 52% ในมิถุนายน 2026 (Cloudflare) |
| มาตรฐานสำหรับกฎการรวบรวมข้อมูล | robots.txt, RFC 9309 (2022) |

## ฐานข้อมูล AI ต้องใช้ทราฟฟิกพร็อกซีเท่าไร?

ดึงข้อมูล HTML และข้อความ ไม่ใช่หน้าที่เรนเดอร์แล้ว ทำให้ปริมาณยังคงจัดการได้ ด้วยขนาดประมาณ 50 KB ต่อหน้า HTML ที่บีบอัด:

| จำนวนหน้า | HTML เท่านั้น (≈50 KB) | เรนเดอร์แล้ว (≈2 MB) |
| --- | --- | --- |
| 100,000 | 5 GB | 200 GB |
| 1 ล้าน | 50 GB | 2 TB |
| 10 ล้าน | 500 GB | 20 TB |
| 100 ล้าน | 5 TB | 200 TB |

เบราว์เซอร์แบบไร้หัวเพิ่มทราฟฟิกขึ้นราวสี่สิบเท่า ดังนั้นเรนเดอร์เฉพาะหน้าที่ข้อความต้องใช้ JavaScript ที่ CrawlRelay หนึ่งล้านหน้า HTML อยู่ในแผน 50 GB (US$25); สิบล้านหน้าอยู่ใน 500 GB (US$250) วัดค่าเฉลี่ยของคุณเองด้วย 1,000 หน้าจริงก่อน; [คู่มือแบนด์วิดธ์](https://crawlrelay.com/th/guides/bandwidth-calculator/) สอนวิธีการ

## ฉันต้องใช้พร็อกซีสำหรับข้อมูลฝึกสอน AI จริงหรือ?

มักไม่ต้องใช้กับข้อมูลส่วนใหญ่ ก่อนครอว์ลตรวจสอบแหล่งราคาถูกสามแหล่ง:

- **ครอว์ลเปิดเผย.** Common Crawl เผยแพร่อาร์ไคฟ์เว็บปริมาณเพตาไบต์ผ่านครอว์เลอร์ CCBot ของพวกเขา
- **ดัมพ์อย่างเป็นทางการและ API.** Wikipedia หลายรัฐบาล พอร์ทัลข้อมูลเปิด และคลังวิจัยเผยแพร่ดาวน์โหลดและ API ที่มีใบอนุญาตชัดเจน
- **ข้อมูลมีใบอนุญาต.** สำนักพิมพ์และแพลตฟอร์มขายหรือให้สิทธิ์การเข้าถึงเพิ่มขึ้น และ Cloudflare มีระบบจ่ายตามครอว์ลด้วย HTTP 402 เพื่อกำหนดราคาการครอว์ล

พร็อกซีจะคุ้มค่ากับส่วนที่เหลือ: หน้าใหม่ที่ไม่อยู่ในครอว์ลเปิดเผย เนื้อหาที่เปลี่ยนตามประเทศหรือเมือง และเว็บไซต์ที่ให้บริการต่างกันตามภูมิภาค พร็อกซีเรซิเดนเชียลช่วยให้คุณเก็บข้อมูลอย่างที่ผู้เยี่ยมชมท้องถิ่นเห็น

## กฎอะไรบ้างที่ใช้กับครอว์ล AI ในปี 2026?

มีสี่ชั้นที่สำคัญ ตั้งแต่ทางเทคนิคจนถึงกฎหมาย:

1. **robots.txt (RFC 9309).** วิธีมาตรฐานที่เว็บไซต์บอกเส้นทางที่ลูกค้าอัตโนมัติสามารถดึงข้อมูลได้ ตรวจสอบแต่ละเว็บไซต์ ใช้กลุ่มสำหรับ user agent ของครอว์เลอร์ หรือ `*` และอย่าเก็บแคชเกิน 24 ชั่วโมง ตามคำแนะนำของ RFC
2. **สัญญาณเฉพาะ AI.** นโยบาย Content Signals ของ Cloudflare เพิ่มค่า `ai-train`, `ai-input` และ `search` ใน robots.txt; มากกว่า 3.8 ล้านโดเมนใช้ robots.txt ที่ Cloudflare จัดการ กลุ่ม IETF aipref กำลังร่างคำศัพท์มาตรฐาน ซึ่งยังไม่มีฉันทามติถึงตุลาคม 2026
3. **การยกเลิกขุดเจาะข้อความและข้อมูลในสหภาพยุโรป.** ภายใต้กฎลิขสิทธิ์ของสหภาพยุโรปสำหรับขุดเจาะข้อความและข้อมูล และมาตรา 53 ของ AI Act ผู้ให้บริการโมเดล AI ทั่วไปต้องเคารพสิทธิ์ในรูปแบบที่เครื่องอ่านได้ ในคดี Kneschke กับ LAION (ศาลสูงเขตฮัมบูร์ก 10 ธันวาคม 2025) LAION ซึ่งเป็นสมาคมวิจัยไม่แสวงหากำไร ใช้ข้อยกเว้นทางวิจัยทางวิทยาศาสตร์ และคำจองในภาษาธรรมดาถูกพิพากษาว่าไม่เป็นเครื่องอ่านได้ด้วยเทคโนโลยีปี 2021; ศาลระบุว่าสิ่งนี้อาจเปลี่ยนแปลงได้ และอนุญาตให้ยื่นอุทธรณ์ถึงศาลสูงสุดแห่งสหพันธ์ สำหรับครอว์ลเชิงพาณิชย์ ให้ถือว่ายอมรับคำจองในภาษาธรรมดาในข้อกำหนดการใช้งานเป็นบังคับ
4. **ข้อมูลส่วนบุคคล.** ความคิดเห็น 28/2024 ของ EDPB ระบุว่าฐานทางกฎหมายอาจใช้ประโยชน์ชอบธรรมสำหรับการฝึก AI รายกรณี และ CNIL ได้เผยแพร่คำแนะนำเกี่ยวกับการเก็บข้อมูลสำหรับ AI ในมิถุนายน 2025

นี่ไม่ใช่คำแนะนำทางกฎหมาย อ่าน [ภาพรวมกฎหมายการเก็บข้อมูลเว็บปี 2026](https://crawlrelay.com/th/guides/is-web-scraping-legal/) และปรึกษาที่ปรึกษากฎหมายสำหรับโครงการของคุณ

## ฉันตรวจสอบ robots.txt และสัญญาณการฝึก AI ก่อนครอว์ลอย่างไร?

ตรวจสอบทั้งสองอย่างก่อนที่จะคิว URL ใด ๆ ของเว็บไซต์ ฟังก์ชันด้านล่างดึง robots.txt ผ่านพร็อกซี ใช้กฎ RFC 9309 สำหรับไฟล์ที่ขาด (4xx) และไม่เข้าถึงได้ (5xx) และอ่านบรรทัด `Content-Signal` แบบ Cloudflare มันง่ายตั้งใจ: ใช้ `ai-train=no` ใด ๆ ในไฟล์กับครอว์เลอร์ของคุณ

*Python: ตรวจสอบ robots.txt + สัญญาณเนื้อหา*

```python
import urllib.robotparser
from urllib.parse import urlsplit

import requests

PROXY = "http://USERNAME:PASSWORD@gw.crawlrelay.com:7777"
PROXIES = {"http": PROXY, "https": PROXY}
USER_AGENT = "ExampleDataBot/1.0 (+https://example.com/bot)"
_rules = {}


def site_rules(url):
    """Robots rules and Content-Signal values for the site of url (cache them for 24 h at most)."""
    scheme, host = urlsplit(url)[:2]
    root = "%s://%s" % (scheme, host)
    if root not in _rules:
        try:
            r = requests.get(root + "/robots.txt", proxies=PROXIES, timeout=(10, 30),
                             headers={"User-Agent": USER_AGENT})
            status, text = r.status_code, r.text
        except requests.RequestException:
            status, text = 599, ""
        if 400 <= status < 500:
            lines = []  # RFC 9309: unavailable, crawling allowed
        elif status >= 500:
            lines = ["User-agent: *", "Disallow: /"]  # unreachable: assume complete disallow
        else:
            lines = text.splitlines()
        parser = urllib.robotparser.RobotFileParser()
        parser.parse(lines)
        signals = {}
        for line in lines:
            if line.lower().startswith("content-signal:"):
                for part in line.split(":", 1)[1].split(","):
                    key, _, value = part.strip().partition("=")
                    signals[key.strip().lower()] = value.strip().lower()
        _rules[root] = (parser, signals)
    return _rules[root]


def may_collect_for_training(url):
    parser, signals = site_rules(url)
    return parser.can_fetch(USER_AGENT, url) and signals.get("ai-train") != "no"


print(may_collect_for_training("https://example.com/some/page"))
```

## ฉันจัดการข้อมูลส่วนบุคคลในฐานข้อมูลเว็บอย่างไร?

เก็บให้น้อยลง จากนั้นลบให้มากขึ้น ภายใต้ GDPR และกฎหมายที่คล้ายกัน "สาธารณะ" ไม่ได้แปลว่าฟรีต่อการใช้: ชื่อ อีเมล เบอร์โทร และหน้าโปรไฟล์เป็นข้อมูลส่วนบุคคลไม่ว่าจะอยู่ที่ไหน

- **ยกเว้นตั้งแต่การออกแบบ.** ข้ามโซนโปรไฟล์ ค้นหาคน และล็อกอินเท่านั้น รวมถึงเว็บไซต์ที่เนื้อหาหลักคือข้อมูลส่วนบุคคล
- **กรองหลังการเก็บ.** ตรวจจับและลบอีเมล เบอร์โทร และตัวบ่งชี้ก่อนที่ข้อมูลจะถึงการฝึก
- **จัดเก็บฐานทางกฎหมายของคุณ.** ความคิดเห็น 28/2024 ของ EDPB และคำแนะนำของ CNIL ปี 2025 อธิบายการทดสอบดุลยภาพสำหรับประโยชน์ชอบธรรม
- **เคารพการคัดค้าน.** ต้องมีวิธีลบเว็บไซต์หรือบุคคลจากการครอว์ลในอนาคตและจากข้อมูลที่เก็บไว้

[นโยบายการใช้งานที่เหมาะสมของ CrawlRelay](https://crawlrelay.com/th/acceptable-use/) ห้ามเก็บข้อมูลส่วนบุคคลที่ละเมิดกฎหมายที่บังคับใช้

## สายข้อมูล AI ควรใช้พร็อกซีอย่างไร?

- **ผู้ใช้ย่อยหนึ่งคนต่อการครอว์ล** พร้อมขีดจำกัดทราฟฟิก เพื่อป้องกันงานที่ผิดพลาดดึงแผนทราฟฟิกจนหมด และแต่ละชุดข้อมูลมีบันทึกการใช้งานของตัวเอง
- **สลับพร็อกซีเพื่อความกว้าง.** หน้าอิสระออกจากจุดออกต่างกัน; ใช้เซสชันติดหนึบเฉพาะสำหรับการไล่หน้า
- **จำกัดต่อโฮสต์.** สองถึงสี่คำขอพร้อมกันต่อไซต์ มากกว่านั้นจะมีเฉพาะไซต์ใหญ่ที่ตอบสนองเร็ว ดู [คู่มือความพร้อมกัน](https://crawlrelay.com/th/docs/concurrency/)
- **ดึงข้อมูลเพียงครั้งเดียว.** กำจัด URL ซ้ำ ใช้ `If-Modified-Since` ในการครอว์ลซ้ำ และเก็บข้อมูลดิบ (เช่น WARC) เพื่อไม่ต้องจ่ายซ้ำสำหรับหน้าเดียวกัน
- **ระบุครอว์เลอร์ของคุณ.** user agent ที่ชัดเจนพร้อม URL ติดต่อช่วยให้เจ้าของเว็บไซต์ติดต่อแทนการบล็อก

## พร็อกซีสำหรับข้อมูลฝึกสอน AI ราคาเท่าไร?

จาก 50 GB ถึง 1 TB, การใช้งานพร็อกซีเรซิเดนเชียลที่มีปริมาณการใช้งาน CrawlRelay มีราคา US$0.50/GB ณ เดือนตุลาคม 2026 และไม่หมดอายุ สำหรับคอปปิราที่มีขนาดหลายเทราไบต์ ให้ซื้อแผน 1 TB หลายแผนในอัตราเดียวกัน

| แผน | จำนวน | ราคา | ราคาต่อหน่วย |
| --- | --- | --- | --- |
| ครอล | 50 GB | US$25 | US$0.50/GB |
| สายงาน | 100 GB | US$50 | US$0.50/GB |
| คอร์ปัส | 500 GB | US$250 | US$0.50/GB |
| ขยายขนาด | 1 TB | US$500 | US$0.50/GB |

ในทุกแผน: โปรโตคอล: HTTP, HTTPS, SOCKS5 · การกำหนดเป้าหมาย: ประเทศ, เมือง; รัฐและรหัสไปรษณีย์ในสหรัฐฯ; ASN · เซสชัน: หมุนเวียน หรือยึดติดได้นานถึง 30 นาที · อายุการใช้งานทราฟฟิก: ไม่หมดอายุ

ราคาตามสกุล USD ณ วันที่ 2026-10-13

**ก่อนชำระเงิน**

- เติมเงินขั้นต่ำ US$25. เติมเงินครั้งเดียวด้วยคริปโต แล้วซื้อแผนใดก็ได้จากยอดเงินของคุณ
- ยอดเงินที่ยังไม่ได้ใช้จะคงอยู่ในบัญชีของคุณและไม่มีวันหมดอายุ แต่จะไม่มีการคืนเงิน เว้นแต่กฎหมายกำหนด.
- เครดิตเข้ายอดคงเหลือเมื่อการชำระเงินของคุณได้รับการตรวจสอบบนบล็อกเชนแล้ว เวลายืนยันบนเครือข่ายโดยทั่วไป: BTC ≈ 20 นาที · USDT TRC-20 ≈ 1 นาที · USDT ERC-20 ≈ 5 นาที · USDC ERC-20 ≈ 5 นาที · ETH ≈ 5 นาที · SOL ≈ 1 นาที · LTC ≈ 15 นาที

## พร็อกซีสำหรับข้อมูลฝึก AI: คำถาม

### การขูดข้อมูลเว็บไซต์เพื่อฝึกโมเดล AI ถูกกฎหมายไหม?

ขึ้นอยู่กับประเทศ เนื้อหา และวิธีการเก็บข้อมูล และยังมีหลายกรณียังเปิดอยู่ในเดือนตุลาคม 2026 ในสหภาพยุโรปมีข้อยกเว้นสำหรับการทำเหมืองข้อมูลข้อความและข้อมูล ยกเว้นเมื่อตัวถือสิทธิ์สงวนสิทธิโดยวิธีที่เครื่องอ่านได้ ข้อมูลส่วนบุคคลต้องมีพื้นฐานทางกฎหมาย นี่ไม่ใช่คำแนะนำทางกฎหมาย; อ่านภาพรวมของเราสำหรับปี 2026 ที่ [2026 overview](https://crawlrelay.com/th/guides/is-web-scraping-legal/)

### เครื่องขูด AI ของฉันควรใช้ user agent ของ GPTBot หรือ CCBot ไหม?

ไม่ควร ชื่อเหล่านั้นเป็นของ OpenAI และ Common Crawl เว็บไซต์ใช้ชื่อเหล่านั้นในการตัดสินใจว่าสิ่งใดที่เครื่องขูดเหล่านั้นสามารถดึงข้อมูลได้ ให้ใช้ user agent ของคุณเองพร้อม URL ติดต่อ และปฏิบัติตามกฎ robots.txt ที่ตรงกับมันหรือกลุ่ม `*` การแอบอ้างเป็นเครื่องขูดอื่นละเมิดเงื่อนไขของเว็บไซต์ส่วนใหญ่และนโยบายการใช้งานที่ยอมรับของเรา

### ต้องใช้พื้นที่กี่ GB ในการขูดข้อมูลหนึ่งล้านหน้า?

ประมาณ 30 ถึง 60 GB สำหรับ HTML ที่บีบอัดเท่านั้น และประมาณ 2 TB ถ้าคุณเรนเดอร์ทุกหน้าด้วยเบราว์เซอร์พร้อมภาพ ใน CrawlRelay, 50 GB มีราคา US$25 วัดขนาด 1,000 หน้าเว็บไซต์จริงของคุณก่อนซื้อ เพราะน้ำหนักหน้าเว็บแตกต่างกันมากตามเว็บไซต์

### ทำไมต้องใช้พร็อกซีเรซิเดนเชียลแทน IP จากดาต้าเซ็นเตอร์สำหรับข้อมูล AI?

บางเว็บไซต์ให้บริการเนื้อหาที่แตกต่างกันตามตำแหน่งที่ตั้ง และพร็อกซีเรซิเดนเชียลจะเข้าถึงเวอร์ชันสาธารณะที่ผู้เยี่ยมชมในพื้นที่เห็น หากเว็บไซต์กรองช่วงโฮสติ้งเพื่อป้องกันการจราจรอัตโนมัติ IP เรซิเดนเชียลไม่ได้ทำให้การเข้าถึงนั้นถูกต้องตามกฎหมาย สำหรับเว็บไซต์ที่ยินดีต้อนรับเครื่องขูดหรือมีการแจกดัมพ์และ API คุณอาจไม่ต้องใช้พร็อกซีเลย; ใช้ทราฟฟิกเรซิเดนเชียลเมื่อมันเปลี่ยนผลลัพธ์

### พร็อกซีเรซิเดนเชียลจะหมดอายุไหมถ้าการขูดของฉันหยุดชั่วคราว?

ไม่ ปริมาณการใช้งานพร็อกซีเรซิเดนเชียลและพร็อกซีมือถือหมุนเวียนแบบเติมเงินไม่หมดอายุ: GB ที่ไม่ได้ใช้จะคงอยู่ในบัญชีของคุณจนกว่าจะใช้ สายงานที่หยุดพักเป็นเวลาหลายสัปดาห์ยังคงเก็บกิกะไบต์ที่เหลืออยู่ ซึ่งสำคัญสำหรับการรันฝึกที่ขูดข้อมูลเป็นช่วงๆ

## แหล่งข้อมูล

1. [RFC 9309: Robots Exclusion Protocol](https://www.rfc-editor.org/rfc/rfc9309.html) — IETF (2022-09)
2. [นโยบายสัญญาณเนื้อหา](https://blog.cloudflare.com/content-signals-policy/) — Cloudflare (2025-09-24)
3. [เว็บเชิงตัวแทน (ทราฟฟิกเครื่องขูด, มิถุนายน 2026)](https://blog.cloudflare.com/agentic-web/) — Cloudflare (2026-09-30)
4. [เปิดตัวจ่ายตามจำนวนครั้งที่ขูด](https://blog.cloudflare.com/introducing-pay-per-crawl/) — Cloudflare (2025-07-01)
5. [กลุ่มทำงาน IETF AI Preferences (aipref)](https://datatracker.ietf.org/wg/aipref/about/) — IETF (2026-09-14)
6. [ศาลสูงระดับภูมิภาคฮัมบูร์กยืนยันว่าการฝึก AI เป็นสิ่งที่ได้รับอนุญาต (Kneschke v. LAION)](https://www.twobirds.com/en/insights/2025/germany/higher-regional-court-hamburg-confirms-ai-training-was-permitted-(kneschke-v,-d-,-laion)) — Bird & Bird (2025-12)
7. [EDPB แสดงความคิดเห็นในคำถามสำคัญเกี่ยวกับข้อมูลส่วนบุคคลในโมเดล AI](https://www.iapp.org/news/a/edpb-weighs-in-on-key-questions-on-personal-data-in-ai-models) — IAPP (2024-12-18)
8. [Web Almanac 2025: น้ำหนักหน้า](https://almanac.httparchive.org/en/2025/page-weight) — HTTP Archive (2026-01-15)

**สร้างคอร์ปปิของคุณบนทราฟฟิกที่ไม่หมดอายุ** US$0.50/GB จาก 50 GB ถึง 1 TB [เลือก 1 TB](https://crawlrelay.com/app/checkout/?plan=res-1000&product=residential&lang=th) · [ดูแผนทั้งหมด](https://crawlrelay.com/th/pricing/)

---

CrawlRelay: CrawlRelay คือพร็อกซีเรซิเดนเชียลหมุนเวียนพร้อมพร็อกซีมือถือ 4G/5G สำหรับนักพัฒนา เหมาะกับสแครปเปอร์และระบบจัดการข้อมูล AI: เติมเงินจ่ายตามการใช้งานจาก US$0.50/GB จ่ายด้วยคริปโต ไม่ต้องอัปโหลดบัตรประชาชน ไม่ต้อง KYC — ไม่ต้องใช้บัตรประชาชน ไม่ต้องถ่ายเซลฟี่ ไม่ต้องใช้เอกสาร จ่ายด้วยคริปโต