Los bots de IA ya representan una parte significativa del tráfico web

TollBit comercializa herramientas que los propietarios de sitios web pueden utilizar para cobrar a los scrapers de IA por acceder a sus contenidos. Otras compañías, como Cloudflare, ofrecen herramientas similares. «Cualquiera que dependa del tráfico web humano (empezando por los editores, pero básicamente todo el mundo) se va a ver afectado», explica Pangrahi. «Tiene que haber una forma más rápida de tener ese intercambio de valor programático de máquina a máquina».

Qué dicen los dueños de los bots

WIRED intentó ponerse en contacto con 15 empresas de AI scraping citadas en el informe de TollBit para obtener comentarios. La mayoría no respondió o no fue posible contactar con ellas. Varias manifestaron que sus sistemas de inteligencia artificial intentan respetar los límites técnicos que los sitios web establecen para limitar el scraping, pero señalaron que estas barreras pueden ser a menudo complejas y difíciles de seguir.

O Lenchner, director general de Bright Data, una de las mayores empresas de web scraping del mundo, afirma que los robots de su empresa no recopilan información no pública. Bright Data fue demandada anteriormente por Meta y X por presunta sustracción indebida de contenidos de sus plataformas.(Meta retiró posteriormente su demanda, y un juez federal de California desestimó el caso presentado por X.)

Karolis Stasiulevičiu, portavoz de otra de las compañías citadas, ScrapingBee, declaró a WIRED: «ScrapingBee se basa en uno de los principios fundamentales de internet: la web abierta debe ser accesible. Las páginas web públicas son, por su diseño, legibles tanto por humanos como por máquinas».

Oxylabs, otra empresa de scraping, afirmó en un comunicado sin firma que sus robots no «acceden a contenidos que se encuentren tras inicios de sesión, muros de pago o autenticación. Exigimos a nuestros clientes que utilicen nuestros servicios únicamente para acceder a información de acceso público, y aplicamos normas de cumplimiento en toda nuestra plataforma.»

Oxylabs añade que hay muchas razones legítimas para que las empresas hagan scraping de contenidos web, por ejemplo con fines de ciberseguridad y para llevar a cabo periodismo de investigación. La empresa también indica que las contramedidas que utilizan algunos sitios web no discriminan entre los distintos casos de uso. «La realidad es que muchos sistemas anti-bot modernos no distinguen bien entre el tráfico malicioso y el acceso automatizado legítimo», reclama Oxylabs.

Además de causar dolores de cabeza a los editores, la guerra del web-scraping está creando nuevas oportunidades de negocio. El informe de TollBit revela que más de 40 empresas comercializan ahora bots capaces de recopilar contenidos web para entrenar a la IA u otros fines. Es probable que el auge de los motores de búsqueda basados en IA, así como herramientas como OpenClaw, estén contribuyendo a aumentar la demanda de estos servicios.

Algunas empresas prometen ayudar a las compañías a sacar a la superficie contenidos para los agentes de IA en lugar de intentar bloquearlos, una estrategia conocida como optimización generativa de motores, o GEO. «Esencialmente, estamos asistiendo al auge de un nuevo canal de marketing«, aclara Uri Gafni, director comercial de Brandlight, una empresa que optimiza contenidos para que aparezcan de forma destacada en las herramientas de IA.

«Esto no hará más que intensificarse en 2026, y veremos este despliegue como un canal de marketing completo, en el que convergerán la búsqueda, los anuncios, los medios de comunicación y el comercio», concluye Gafni.

Artículo originalmente publicado en WIRED. Adaptado por Mauricio Serfatty Godoy.