Glosario de proxy y web scraping

Un proxy cuyo IP de salida pertenece a una conexión de internet doméstica de un proveedor para consumidores. Los sitios ven un visitante común de hogar. Ver proxies residenciales.

Un proxy cuyo IP de salida pertenece a una red de operador 4G/5G. Los operadores comparten cada IP entre muchos suscriptores, por eso los sitios los bloquean con precaución. Ver proxies móviles 4G.

Un proxy alojado en un centro de datos, con una IP registrada a un proveedor de hosting. Rápido y barato, pero a menudo filtrado por sitios que bloquean rangos de hosting.

Una IP estática anunciada por un proveedor de internet pero alojada en un centro de datos. Parece residencial para algunas bases de datos y permanece fija. CrawlRelay no vende proxies ISP.

Un solo host y puerto que reenvía tus conexiones a muchas IP de salida tras él. Cambias las salidas mediante el nombre de usuario o abriendo nuevas conexiones, no cambiando direcciones.

La dirección IP que ve el sitio web objetivo. Con una puerta de enlace residencial es una conexión doméstica elegida para coincidir con tu objetivo.

Carrier-grade NAT: un operador móvil o de banda ancha pone a muchos suscriptores detrás de unas pocas IP públicas. RFC 6598 reserva 100.64.0.0/10 para el espacio compartido dentro de esas redes.

Número de Sistema Autónomo: el identificador de una red en internet, como AS7922 para Comcast. La selección ASN elige salidas en un proveedor de internet.

De dónde provienen las IP residenciales de un proveedor y en qué términos los dueños de dispositivos comparten ancho de banda. Después de los bloqueos IPIDEA y NetNut en 2026, una pregunta clave para comprar. Ver fuentes.

Un nombre de usuario sin ID de sesión: cada nueva conexión obtiene una IP del grupo, usualmente diferente. La rotación sigue conexiones, no cada solicitud HTTP.

Un nombre de usuario con ID de sesión y TTL: las conexiones con ese ID mantienen la misma IP de salida por hasta 30 minutos, aunque la IP puede cambiar antes. Ver sesiones.

Cuánto tiempo mantiene una sesión sticky su IP, configurado en minutos con -ttl-<minutes>. Una sesión puede terminar antes si el dispositivo detrás se desconecta.

Reusar una conexión TCP para varias solicitudes HTTP. Más rápido, pero todas las solicitudes en esa conexión comparten una IP de salida.

El método HTTP que un cliente usa para pedir a un proxy un túnel hacia un host y puerto (RFC 9110, sección 9.3.6). El tráfico HTTPS luego pasa de extremo a extremo dentro del túnel.

Un protocolo proxy que retransmite conexiones TCP sin leer HTTP (RFC 1928), con autenticación por nombre de usuario y contraseña definida en RFC 1929.

El esquema de URL que indica a un cliente enviar nombres de host al proxy SOCKS5, para que la resolución DNS se haga en la salida y no en tu máquina.

El encabezado de solicitud que lleva las credenciales del proxy, usualmente Basic username:password en Base64. El proxy lo elimina antes de reenviar.

El proxy rechazó la solicitud porque faltaban o eran incorrectas las credenciales. El sitio web nunca fue contactado. Ver 407.

El sitio web te está limitando la tasa (RFC 6585). Reduce la velocidad y respeta Retry-After. Ver 429.

Un encabezado de respuesta que indica el número de segundos, o una fecha, para esperar antes de reintentar (RFC 9110, sección 10.2.3). Se envía con respuestas 429 y 503.

El número de solicitudes concurrentes al mismo tiempo. Según la ley de Little equivale a rendimiento por latencia. Limítalo por host objetivo. Ver concurrency.

Un archivo en la raíz de un sitio que indica a los clientes automáticos qué rutas pueden obtener, estandarizado como RFC 9309 en 2022. Los crawlers no deben almacenarlo en caché por más de 24 horas.

Una línea común no estándar en robots.txt que indica los segundos a esperar entre solicitudes. Python usa urllib.robotparser para leerlo con crawl_delay().

El encabezado que identifica al cliente. Un crawler responsable envía su propio nombre, versión y una URL de contacto, nunca el nombre de otro crawler.

Extensión de Cloudflare para robots.txt con valores search, ai-input y ai-train, introducida en septiembre de 2025, que indica a los crawlers cómo usar el contenido.

Una reserva legible por máquina de un titular de derechos contra minería de texto y datos según la ley de copyright de la UE, que deben respetar los proveedores de modelos de IA de propósito general.

Un desafío que pregunta si el visitante es humano. Para un crawler es una señal para reducir la velocidad o detenerse; CrawlRelay no soporta resolución automática.

Un navegador sin ventana visible, controlado por código como Playwright o Puppeteer. Procesa JavaScript pero descarga muchos más datos por página que un cliente HTTP.

Datos estructurados incrustados en una página como JSON, usando a menudo tipos schema.org como Product y Offer. La fuente más estable de precios y datos de productos.

El formato de archivo Web ARChive para almacenar solicitudes y respuestas HTTP crudas, usado por Common Crawl y archivos web. Almacenar respuestas crudas evita pagar dos veces por una página.

Una solicitud con If-None-Match o If-Modified-Since. Una página sin cambios responde con 304 Not Modified sin cuerpo, ahorrando tráfico.

Comprar tráfico solo cuando lo necesitas, en lugar de una suscripción mensual. En CrawlRelay, los planes son compras únicas desde un saldo prepago.

Si los gigabytes comprados expiran después de un periodo, como 31 días o un mes. El tráfico residencial y proxies móviles 4G CrawlRelay nunca expira.

1 GB = 1,000,000,000 bytes; un gibibyte (GiB) son 1,073,741,824 bytes. Pregunta en qué unidad factura un proveedor; CrawlRelay factura en GB decimal.

Costo del tráfico dividido por respuestas utilizables. Una comparación mejor entre proveedores que el precio listado por GB.

Un conjunto separado de credenciales proxy bajo una cuenta, con su propio límite de tráfico y totales de uso, usado para aislar proyectos o clientes.

Sin KYC: verificación de identidad sin documentos, selfies o papeles empresariales. CrawlRelay no solicita ninguno y se basa en una Política de Uso Aceptable.

Política de Uso Aceptable: las reglas que sigue cada cuenta, listando usos permitidos, prohibidos y objetivos bloqueados.