OpenAI adoptará una señal compartida en robots.txt para expresar preferencias sobre entrenamiento de IA

OpenAI dijo el 30 de octubre que respetará una señal común en robots.txt para que propietarios de sitios comuniquen preferencias sobre el uso de su contenido en el entrenamiento de modelos generativos. La propuesta busca evitar que cada editor mantenga reglas distintas para cada rastreador de IA. La empresa dijo que prevé implementar la señal en los próximos meses y que publicará detalles cuando esté lista.

Actualmente un administrador puede usar reglas dirigidas a rastreadores específicos, según las capacidades de cada proveedor. Una convención común podría reducir trabajo operativo y hacer más legible la preferencia del sitio para varios participantes. El mecanismo es una señal técnica de preferencia y depende de que los servicios que la reciben se comprometan a respetarla.

OpenAI señala que el nuevo mecanismo no reemplazará los controles existentes en robots.txt, que seguirán aplicándose. La señal se desarrolla en el grupo de trabajo AI Preferences de la IETF, por lo que el estándar y su implementación pueden cambiar. El anuncio de un solo proveedor no supone adopción universal ni convierte la preferencia del robots.txt en una prohibición legal de reutilización.

Para responsables de contenido, la señal puede complementar —pero no sustituir— la revisión de licencias, derechos de autor, contratos, privacidad y obligaciones regulatorias. Los editores deberían comprobar qué agentes visitan sus sitios, conservar la configuración y revisar si el comportamiento del rastreador coincide con la preferencia declarada. Las organizaciones que publican datos personales deben evitar depender de robots.txt como control de privacidad, porque no impide el acceso por otros medios.

No hay que asumir que el mecanismo ya está operativo: la fecha de implementación anunciada es futura y aún no se presentó su detalle técnico. Los equipos web pueden seguir usando sus listas actuales de rastreadores y evaluar la propuesta IETF. Cuando se publique una especificación de producción, habrá que actualizar reglas, pruebas de acceso y políticas de datos para cada proveedor que efectivamente adopte el estándar.