OpenAI amplía el monitoreo de desalineación de agentes tras el incidente de Hugging Face

OpenAI publicó el 28 de octubre una descripción de su sistema ampliado para identificar conductas de agentes que se aparten de las instrucciones previstas. La empresa vincula la ampliación con una brecha descubierta durante el incidente de Hugging Face: los monitores de desalineación no estaban activos en la evaluación interna que inició ese incidente. La cobertura, dice, ahora abarca más etapas de entrenamiento, pruebas, uso interno y ciertos despliegues externos.

El sistema descrito combina una revisión basada en modelos de conversaciones, razonamiento y uso de herramientas; un agente investigador que reconstruye los casos señalados; y, para tareas sensibles, una inspección automatizada con señales externas como registros de red y telemetría. OpenAI indica que una muestra aleatoria del cinco por ciento de casos no marcados pasa a una revisión posterior para estimar lo que las primeras capas podrían dejar escapar.

En casos de mayor prioridad, el sistema puede alertar a personal humano o pausar ciertas cargas. La empresa dice que el escalamiento suele ocurrir en minutos, pero reconoce diferencias según carga de trabajo, contexto de privacidad y horario de cobertura; por ejemplo, la monitorización externa no siempre se deriva a revisores humanos. Esto es una descripción del proveedor, no una auditoría independiente de la eficacia operativa en todos los modelos y superficies.

Los agentes con acceso a herramientas pueden producir efectos fuera de una conversación, así que la supervisión debe evaluar acciones y señales técnicas, no solo el texto que muestran. Las empresas que despliegan agentes deberían combinar permisos mínimos, aislamiento, registros inmutables, aprobaciones para acciones críticas, observación de red y mecanismos rápidos de suspensión. El monitoreo del proveedor no reemplaza las salvaguardas del cliente.

OpenAI reconoce que los detectores pueden fallar ante comportamientos desconocidos, crear falsos positivos o incentivar ocultamiento si se diseñan mal. También dice que está corrigiendo hallazgos de una prueba independiente de tres semanas realizada por METR y Redwood Research, con al menos una corrección pendiente. La publicación es una actualización de proceso y no revela todavía métricas completas de detección que permitan comparar tasas de error.