401 Unauthorized versus 407 Proxy Authentication Required

Wat betekent 401 Unauthorized vs 407?

RFC 9110 koppelt deze twee codes. Een 401 draagt een WWW-Authenticate header en vraagt om credentials voor de origin server. Een 407 draagt een Proxy-Authenticate header en vraagt om credentials voor de proxy. De antwoorden gaan ook in verschillende headers: Authorization voor de site en Proxy-Authorization voor de proxy.

Ze door elkaar halen is gebruikelijk omdat beide 'authenticatie' zeggen. De snelste test is de statuscode zelf: 401 betekent dat je door de proxy heen bent.

Hoe ziet a 401 eruit in Python, curl, Node.js en browsers?

Dezelfde fout verschijnt anders in elk hulpmiddel. Dit zijn de berichten om in je logs te zoeken:

• Python requests: status_code == 401 met een WWW-Authenticate header (website) versus een ProxyError met 407 (proxy)
• curl: HTTP/2 401 na een succesvolle CONNECT (website) versus CONNECT tunnel failed, response 407 (proxy)
• API’s: een JSON-body zoals {"message": "Unauthorized"} of een invalid-token bericht

Wat veroorzaakt a 401?

Waarschijnlijk eerst:

• De pagina of API heeft een login of sleutel nodig. De site vraagt, niet de proxy.
• Proxy-credentials op de verkeerde plek, zoals een Authorization header bedoeld voor de proxy die de site afwijst.
• Een verlopen sessiecookie of token in een meerstapsproces.
• Een token gekoppeld aan een IP of regio, dus een nieuwe exit maakt het ongeldig.

Hoe diagnosticeer ik a 401 stap voor stap?

1. Bevestig de code: 401 is de site, 407 is de proxy.
2. Doe de curl-test hieronder. Zie je HTTP/1.1 200 Connection established voor de 401, dan is de proxy goed.
3. Controleer of dezelfde URL een login nodig heeft in een normale browser.
4. Controleer in een meerstapsproces of 401 begint wanneer de exit-IP verandert.

# Use the URL that fails; with https://api.ipify.org instead, you test the gateway alone.
# "HTTP/1.1 200 Connection established" first, then the site's own status: the site answered.
curl -v -x http://USERNAME:[email protected]:7777 https://TARGET_URL

# Same test through the SOCKS5 port, with DNS resolved at the exit
curl -v --socks5-hostname gw.crawlrelay.com:7778 --proxy-user USERNAME:PASSWORD https://TARGET_URL

Hoe los ik a 401 op?

• Voor proxyproblemen (407), zet credentials in de proxy-URL of in de proxy-instellingen van de client, nooit in een Authorization header.
• Voor een publieke API die een sleutel nodig heeft, registreer bij de site en stuur de sleutel zoals gedocumenteerd.
• Voor sessies gekoppeld aan een IP, gebruik een sticky session voor het hele proces.
• Voor content achter een login, check de regels van de site voor automatisering. Scrapen van accounts die je niet bezit, of persoonlijke gegevens achter logins, valt buiten ons Acceptable Use Policy.

Moet ik opnieuw proberen na a 401?

Probeer niet blindelings een 401 opnieuw. Het vraagt om iets dat je verzoek niet heeft. Vernieuw de token of sessie als je flow die heeft, en probeer daarna één keer. Herhaalde 401’s betekenen dat de content niet publiek is of dat je toegang is beëindigd.

Hoe geldt 401 Unauthorized vs 407 voor CrawlRelay?

Een HTTP-proxy meldt zijn eigen credentieproblemen met 407 of een mislukte tunnel, niet met 401. Zie je 401 bij gebruik van de CrawlRelay-gateway, dan bereikte je verzoek de website, wat het probleem snel beperkt.

Gateway: gw.crawlrelay.com, poort 7777 (HTTP, HTTPS via CONNECT) en poort 7778 (SOCKS5). Gebruikersnaamformaat: USERNAME-country-{cc}-state-{state}-city-{city}-zip-{zip}-asn-{asn}-session-{id}-ttl-{minutes}. Gerelateerd: 407 Proxy Authentication Required · 403 Forbidden · Sessies gids.