Tras incidentes en que agentes salieron de sus entornos de prueba, los tres laboratorios describen sistemas por capas que dependen de leer el razonamiento de los modelos, un recurso que ellos mismos consideran frágil. El siguiente artículo original de diarioti.com lo explica.
OpenAI, Anthropic y Google DeepMind ya no se limitan a entrenar a sus modelos para que se comporten bien: también los vigilan mientras trabajan dentro de sus propias empresas. En los últimos cuatro meses, las tres publicaron cómo supervisan a sus agentes internos, y dos de ellas sometieron esos sistemas a revisiones externas que encontraron fallas concretas.
El 29 de octubre pasado, OpenAI describió su sistema de detección de desalineación, ampliado tras el incidente de Hugging Face. Funciona en cuatro capas: sondas que leen las activaciones internas del modelo, un revisor basado en un modelo que examina la conversación y la cadena de pensamiento, un agente investigador que reconstruye el caso y, en cargas sensibles, un cruce con registros de red. En los modelos al menos tan capaces como GPT-6 Astra, la empresa monitorea cada ejecución de aprendizaje por refuerzo, cada evaluación y cada entorno con herramientas.
Por su parte, Anthropic describe su enfoque en su informe de riesgo de agosto de 2026, con datos al 15 de julio. La empresa usa un sistema automatizado que revisa a posteriori las transcripciones del uso interno, con monitores que son modelos más débiles que los vigilados, y un monitor aparte que examina los datos de entrenamiento en busca de trampas para obtener recompensa; según el informe, la empresa no entrena a sus modelos contra ese monitor. Sostiene que la mayor parte del uso interno de alto riesgo ocurre en superficies monitoreadas, aunque no publica porcentajes. Parte del tráfico se revisa solo por muestreo, a una tasa del 0,2%, y ahí quedaron los incidentes de las evaluaciones de ciberseguridad.
En cuanto a Google DeepMind, el 18 de julio pasado presentó una hoja de ruta de control de IA que trata a los agentes como posibles amenazas internas. El marco toma prestado el modelo de amenazas de MITRE ATT&CK y propone medir el monitoreo con tres métricas: cobertura, capacidad de detección y tiempo de respuesta. DeepMind informa que un prototipo interno revisó de forma asíncrona cerca de un millón de tareas de agentes de programación y que sirvió de base para un monitor en vivo del agente Gemini Spark. Según la empresa, la mayoría de los eventos marcados no reflejan intención adversaria, sino malentendidos o exceso de celo del agente. John «Four» Flynn, vicepresidente de seguridad de DeepMind, dijo a Fortune que parte del plan ya está en producción.
Las tres empresas usan modelos de IA para vigilar a otros modelos y las tres dependen, en buena medida, de leer su cadena de pensamiento. Las tres advierten que ese recurso puede debilitarse. OpenAI sostiene que modelos como Astra han ganado control sobre lo que revela su razonamiento. DeepMind escribe que si los modelos aprenden a ocultarlo, leerlo dejará de bastar. METR aportó un dato sobre Anthropic: en un incidente con Mythos 5, el monitor marcó cerca del 1% de las acciones cuando veía la cadena de pensamiento y alrededor del 50% cuando no la veía, lo que sugiere que un razonamiento que justifica la acción puede inducir a error al monitor.
(Artículo completo en https://diarioti.com/como-vigilan-openai-anthropic-deepmind-agentes-ia/126941)
