403, 429 dan CAPTCHA: tanggapi, jangan mengelak

Apa arti masing-masing sinyal untuk crawler saya?

• 429 adalah yang paling sopan: kontennya tersedia, tapi tidak dengan kecepatan Anda. RFC 6585 mendefinisikannya, biasanya dengan header Retry-After yang memberi tahu kapan harus kembali.
• 403 adalah penolakan permintaan ini. Bisa diperbaiki (negara salah, header hilang, terlalu cepat) atau final (situs tidak mengizinkan akses otomatis ke konten itu).
• CAPTCHA atau halaman tantangan, sering dengan status 403 atau 503, berarti manajemen bot situs meragukan traffic Anda. Ini eskalasi: langkah setelah 429 yang diabaikan.

Ketiganya adalah sinyal yang meningkat. Situs yang mengabaikan 429 akan meningkat ke 403 dan tantangan, lalu blok panjang untuk keseluruhan rentang IP, yang merugikan semua pengguna rentang itu.

Bagaimana membangun crawler yang merespon dengan benar?

Letakkan aturan dalam fetcher, bukan di tiap spider. Fetcher ini mengirim satu permintaan per saat per host, menghormati robots.txt dan Crawl-delay, menunggu Retry-After, dan berhenti menanyakan host setelah tiga penolakan berturut-turut. Menganggap 4xx pada robots.txt sebagai izin, dan 5xx sebagai larangan penuh, sesuai RFC 9309.

import time
import urllib.robotparser
from urllib.parse import urlsplit

import requests

PROXY = "http://USERNAME-country-us:[email protected]:7777"
USER_AGENT = "ExampleCrawler/1.0 (+https://example.com/crawler-info)"


class PoliteFetcher:
    """One request at a time per host; robots.txt, Crawl-delay and Retry-After honoured."""

    def __init__(self, min_interval=1.0, max_refusals=3):
        self.min_interval, self.max_refusals = min_interval, max_refusals
        self.http = requests.Session()
        self.http.proxies = {"http": PROXY, "https": PROXY}
        self.http.headers["User-Agent"] = USER_AGENT
        self.robots, self.next_time, self.refusals = {}, {}, {}

    def _robots(self, root):
        if root not in self.robots:
            rp = urllib.robotparser.RobotFileParser(root + "/robots.txt")
            try:
                r = self.http.get(root + "/robots.txt", timeout=(10, 30))
                if r.status_code >= 500:
                    rp.parse(["User-agent: *", "Disallow: /"])  # unreachable: assume disallow
                else:
                    rp.parse(r.text.splitlines() if r.status_code == 200 else [])  # 4xx: allowed
            except requests.RequestException:
                rp.parse(["User-agent: *", "Disallow: /"])
            self.robots[root] = rp
        return self.robots[root]

    def get(self, url):
        scheme, host = urlsplit(url)[:2]
        if self.refusals.get(host, 0) >= self.max_refusals:
            return None  # this host said no: stop asking
        rp = self._robots("%s://%s" % (scheme, host))
        if not rp.can_fetch(USER_AGENT, url):
            return None
        delay = max(self.min_interval, rp.crawl_delay(USER_AGENT) or 0)
        wait = self.next_time.get(host, 0) - time.monotonic()
        if wait > 0:
            time.sleep(wait)
        r = self.http.get(url, timeout=(10, 30))
        pause = delay
        if r.status_code in (429, 503):
            retry_after = r.headers.get("Retry-After", "")
            pause = max(delay, int(retry_after) if retry_after.isdigit() else 60)
        refused = r.status_code in (403, 429) or "captcha" in r.text[:5000].lower()
        self.refusals[host] = self.refusals.get(host, 0) + 1 if refused else 0
        self.next_time[host] = time.monotonic() + pause
        return r


fetcher = PoliteFetcher()
resp = fetcher.get("https://example.com/")
print(resp.status_code if resp is not None else "skipped")

Apa yang memperbaiki 403 secara sah?

Beberapa penyebab 403 berasal dari sisi Anda, dan memperbaikinya wajar:

• Negara yang salah. Banyak situs melayani satu wilayah. Targetkan negara dengan -country-<code> proxy residensial.
• Header tidak lengkap. Kirim Accept, Accept-Language dan user agent yang jujur dengan URL kontak. User agent mirip browser pada klien HTTP biasa tidak konsisten dan sering ditolak.
• Kecepatan Anda sendiri. 403 yang muncul setelah N permintaan adalah masalah laju; perlambat.

Yang bukan perbaikan: mengganti-ganti user agent untuk terlihat seperti banyak orang berbeda, memalsukan sidik jari browser, atau mengganti IP untuk mengakali blok yang sengaja dibuat situs. Jika situs memfilter rentang hosting untuk menghalangi traffic otomatis, IP residensial tidak membuat akses itu diizinkan.

Kenapa tidak sekadar menyelesaikan CAPTCHA?

Karena CAPTCHA adalah situs yang menanyakan pertanyaan yang akan Anda jawab dengan salah. Penyelesaian otomatis mengubah crawler yang sopan menjadi alat yang dibuat untuk mengalahkan kontrol akses, yang meningkatkan risiko hukum Anda: kasus AS tahun 2026 tentang scraping pencarian, Google v. SerpApi dan Reddit v. SerpApi serta lainnya, mengangkat klaim bahwa terdakwa mengakali sistem anti-bot di bawah aturan anti-sirkumvensi DMCA. Pengadilan belum memutuskan masalah ini, tapi risikonya nyata.

CrawlRelay tidak mendukung penyelesaian CAPTCHA atau penghindaran deteksi bot, dan Kebijakan Penggunaan yang Dapat Diterima melarangnya melalui gateway. Jika Anda butuh data di balik tantangan, mintalah akses ke situs, gunakan API-nya, atau lisensikan datanya.

Kapan saya harus menghubungi situs?

Saat Anda membutuhkan lebih dari yang diizinkan default-nya. Banyak situs menawarkan API, data feed, program mitra atau batas lebih tinggi untuk crawler yang mengidentifikasi dirinya dan menjelaskan tujuan. Cantumkan URL kontak pada user agent Anda, sediakan halaman yang menjelaskan crawler dan cara opt out, dan tanggapi laporan penyalahgunaan dengan cepat. Crawler yang bisa dihubungi akan mendapat peringatan sebelum diblokir.