403, 429 e CAPTCHAs: responda, não evade

O que cada sinal está dizendo para meu crawler?

• 429 é o mais educado: o conteúdo está disponível, mas não na sua velocidade. RFC 6585 define isso, geralmente com cabeçalho Retry-After dizendo quando retornar.
• 403 é uma recusa dessa requisição. Pode ser corrigível (país errado, cabeçalhos ausentes, muito rápido) ou final (o site não permite acesso automatizado a esse conteúdo).
• Um CAPTCHA ou página de desafio, frequentemente com status 403 ou 503, significa que o gerenciamento de bots do site duvida do seu tráfego. É uma escalada: o passo após ignorar 429s.

Todos os três são sinais crescentes. Sites que veem seus 429s ignorados escalam para 403s e desafios, depois para bloqueios longos em faixas IP, o que prejudica todos os usuários dessas faixas.

Como construir um crawler que responde corretamente?

Coloque as regras no fetcher, não em cada spider. Este envia uma requisição por vez por host, respeita robots.txt e seu Crawl-delay, espera Retry-After e para de perguntar após três recusas seguidas no host. Trata um 4xx no robots.txt como permissão e um 5xx como disallow total, conforme RFC 9309.

import time
import urllib.robotparser
from urllib.parse import urlsplit

import requests

PROXY = "http://USERNAME-country-us:[email protected]:7777"
USER_AGENT = "ExampleCrawler/1.0 (+https://example.com/crawler-info)"


class PoliteFetcher:
    """One request at a time per host; robots.txt, Crawl-delay and Retry-After honoured."""

    def __init__(self, min_interval=1.0, max_refusals=3):
        self.min_interval, self.max_refusals = min_interval, max_refusals
        self.http = requests.Session()
        self.http.proxies = {"http": PROXY, "https": PROXY}
        self.http.headers["User-Agent"] = USER_AGENT
        self.robots, self.next_time, self.refusals = {}, {}, {}

    def _robots(self, root):
        if root not in self.robots:
            rp = urllib.robotparser.RobotFileParser(root + "/robots.txt")
            try:
                r = self.http.get(root + "/robots.txt", timeout=(10, 30))
                if r.status_code >= 500:
                    rp.parse(["User-agent: *", "Disallow: /"])  # unreachable: assume disallow
                else:
                    rp.parse(r.text.splitlines() if r.status_code == 200 else [])  # 4xx: allowed
            except requests.RequestException:
                rp.parse(["User-agent: *", "Disallow: /"])
            self.robots[root] = rp
        return self.robots[root]

    def get(self, url):
        scheme, host = urlsplit(url)[:2]
        if self.refusals.get(host, 0) >= self.max_refusals:
            return None  # this host said no: stop asking
        rp = self._robots("%s://%s" % (scheme, host))
        if not rp.can_fetch(USER_AGENT, url):
            return None
        delay = max(self.min_interval, rp.crawl_delay(USER_AGENT) or 0)
        wait = self.next_time.get(host, 0) - time.monotonic()
        if wait > 0:
            time.sleep(wait)
        r = self.http.get(url, timeout=(10, 30))
        pause = delay
        if r.status_code in (429, 503):
            retry_after = r.headers.get("Retry-After", "")
            pause = max(delay, int(retry_after) if retry_after.isdigit() else 60)
        refused = r.status_code in (403, 429) or "captcha" in r.text[:5000].lower()
        self.refusals[host] = self.refusals.get(host, 0) + 1 if refused else 0
        self.next_time[host] = time.monotonic() + pause
        return r


fetcher = PoliteFetcher()
resp = fetcher.get("https://example.com/")
print(resp.status_code if resp is not None else "skipped")

O que corrige um 403 legitimamente?

Várias causas de 403 podem ser resolvidas do seu lado, e corrigir é justo:

• País errado. Muitos sites servem uma região. Mire no país correto com -country-<code>.
• Cabeçalhos incompletos. Envie Accept, Accept-Language e um user agent honesto com URL de contato. User agents tipo navegador em cliente HTTP puro são inconsistentes e frequentemente recusados.
• Seu ritmo. Um 403 que começa após N requisições indica problema de taxa; desacelere.

O que não é correção: rodar user agents para parecer várias pessoas, falsificar fingerprints ou trocar IPs para fugir de bloqueio proposto pelo site. Se o site filtra faixas de hospedagem para barrar tráfego automatizado, um IP residencial não autoriza esse acesso.

Por que não simplesmente resolver os CAPTCHAs?

Porque um CAPTCHA é o site fazendo uma pergunta à qual você responderia falsamente. Resolver automaticamente transforma um rastreador educado em uma ferramenta criada para burlar um controle de acesso, o que aumenta seu risco legal: os casos nos EUA em 2026 sobre scraping de busca, Google x SerpApi e Reddit x SerpApi e outros, baseiam-se em alegações de que os réus contornaram um sistema anti-bot sob a regra anti-burlar do DMCA. Os tribunais ainda não decidiram a questão, mas o risco é real.

CrawlRelay não suporta a resolução de CAPTCHA nem a evasão de detecção de bots, e sua Política de Uso Aceitável as proíbe pelo gateway. Se você precisa de dados protegidos por um desafio, peça acesso ao site, use a API dele ou licencie os dados.

Quando devo contatar o site em vez disso?

Quando você precisa de mais do que os padrões permitem. Muitos sites oferecem uma API, um feed de dados, um programa de parceiros ou simplesmente um limite maior para um rastreador que se identifique e explique seu propósito. Coloque uma URL de contato no seu user agent, mantenha uma página que descreva seu rastreador e como optar por não participar, e responda rapidamente às denúncias de abuso. Um rastreador que pode ser contatado recebe avisos antes de bloqueios.