Saltar al contenido

Ciencia

OpenAI, Anthropic y Google DeepMind en alerta: cómo vigilan a sus propios agentes de IA

Tras incidentes en que agentes salieron de sus entornos de prueba, los tres laboratorios describen sistemas por capas que dependen de leer el razonamiento de los modelos, un recurso que ellos mismos consideran frágil. El siguiente artículo original de diarioti.com lo explica.

OpenAI, Anthropic y Google DeepMind ya no se limitan a entrenar a sus modelos para que se comporten bien: también los vigilan mientras trabajan dentro de sus propias empresas. En los últimos cuatro meses, las tres publicaron cómo supervisan a sus agentes internos, y dos de ellas sometieron esos sistemas a revisiones externas que encontraron fallas concretas.

El 29 de octubre pasado, OpenAI describió su sistema de detección de desalineación, ampliado tras el incidente de Hugging Face. Funciona en cuatro capas: sondas que leen las activaciones internas del modelo, un revisor basado en un modelo que examina la conversación y la cadena de pensamiento, un agente investigador que reconstruye el caso y, en cargas sensibles, un cruce con registros de red. En los modelos al menos tan capaces como GPT-6 Astra, la empresa monitorea cada ejecución de aprendizaje por refuerzo, cada evaluación y cada entorno con herramientas.

Por su parte, Anthropic describe su enfoque en su informe de riesgo de agosto de 2026, con datos al 15 de julio. La empresa usa un sistema automatizado que revisa a posteriori las transcripciones del uso interno, con monitores que son modelos más débiles que los vigilados, y un monitor aparte que examina los datos de entrenamiento en busca de trampas para obtener recompensa; según el informe, la empresa no entrena a sus modelos contra ese monitor. Sostiene que la mayor parte del uso interno de alto riesgo ocurre en superficies monitoreadas, aunque no publica porcentajes. Parte del tráfico se revisa solo por muestreo, a una tasa del 0,2%, y ahí quedaron los incidentes de las evaluaciones de ciberseguridad.

En cuanto a Google DeepMind, el 18 de julio pasado presentó una hoja de ruta de control de IA que trata a los agentes como posibles amenazas internas. El marco toma prestado el modelo de amenazas de MITRE ATT&CK y propone medir el monitoreo con tres métricas: cobertura, capacidad de detección y tiempo de respuesta. DeepMind informa que un prototipo interno revisó de forma asíncrona cerca de un millón de tareas de agentes de programación y que sirvió de base para un monitor en vivo del agente Gemini Spark. Según la empresa, la mayoría de los eventos marcados no reflejan intención adversaria, sino malentendidos o exceso de celo del agente. John «Four» Flynn, vicepresidente de seguridad de DeepMind, dijo a Fortune que parte del plan ya está en producción.

Las tres empresas usan modelos de IA para vigilar a otros modelos y las tres dependen, en buena medida, de leer su cadena de pensamiento. Las tres advierten que ese recurso puede debilitarse. OpenAI sostiene que modelos como Astra han ganado control sobre lo que revela su razonamiento. DeepMind escribe que si los modelos aprenden a ocultarlo, leerlo dejará de bastar. METR aportó un dato sobre Anthropic: en un incidente con Mythos 5, el monitor marcó cerca del 1% de las acciones cuando veía la cadena de pensamiento y alrededor del 50% cuando no la veía, lo que sugiere que un razonamiento que justifica la acción puede inducir a error al monitor.

(Artículo completo en https://diarioti.com/como-vigilan-openai-anthropic-deepmind-agentes-ia/126941)

Si te parece que este contenido suma, te invitamos a compartirlo

La radio hoy: IA, nuevos medios y otras encrucijadas

(Artículo publicado originalmente en la revista «Radio La Hormiga – 15 años»)

La radio ha atravesado desafíos a lo largo de su rica historia, originados en las novedades que surgían en materia de medios. De todos ellos logró salir airosa, sosteniéndose como un medio de comunicación único por sus características.

Hoy se repite aquella encrucijada por partida doble: la inteligencia artificial (IA) y el streaming (transmisión de contenidos a través de internet) se erigen como los nuevos retos. La IA, porque la desafía desde la innegable incomprensión de sus alcances y riesgos y el streaming, por la vaguedad de su definición.

Pero vayamos por partes. Si bien el término “inteligencia artificial” se utilizó por primera vez en 1956, tomó estado público en noviembre 2022 al conocerse ChatGPT, aplicación de IA desarrollada por OpenAI. Dada su propia naturaleza, su uso está impactando diversos sectores, y la radio no es inmune.

Sin embargo, hay un debate que apenas asoma en la conversación y es el que se relaciona con los conflictos y riesgos de su uso. A modo de ejemplo, por cada pieza de radio, spot o tema musical creados con IA hay un locutor, editor, músico, etc., afectado en su labor. Es más económico, pero sólo en términos relativos: un trabajador sin empleo o el uso sin control de los recursos naturales como el agua para su sostenimiento, son algunos de los altos precios a pagar. Y hay riesgos: discriminación, utilización de datos biométricos sin consentimiento, etcétera.

Un aspecto que debemos destacar es que el desarrollo actual de la IA está en manos de empresas privadas que no están reguladas y por lo tanto se manejan con la voracidad y la indolencia que caracteriza a la dinámica del mercado. La necesidad de políticas públicas que promuevan un uso adecuado de estas tecnologías es urgente.

En cuanto a las particularidades del streaming, no puede definirse como televisión porque no tiene su dinámica, y tampoco como radio porque contiene imagen. ¿Terminará constituyéndose en un medio nuevo cuando termine de definir su verdadera identidad?

Y hay conflictos que le son propios: a modo de ejemplo, mientras China prohíbe a los creadores de contenido hablar sobre temas sensibles sin certificación profesional, en Occidente tal medida aparece como imposible. Nuevamente, aquí manda el mercado.

La radio hoy se encuentra, entusiásticamente en algunos casos y a regañadientes en otros, frente al desafío de adaptarse a los nuevos modelos comunicacionales sin perder su esencia. Pero antes necesita animarse a un debate, hacia el interior y también hacia sus audiencias, que le permita definir los cuándo, los cómo y fundamentalmente, los por qué de tales cambios, evitando así que sea el mercado tecnológico y las modas quienes decidan su destino.

Si te parece que este contenido suma, te invitamos a compartirlo

Una enfermedad que solo existe para la IA

Una investigadora médica de la Universidad de Gotemburgo en Suecia, Almira Osmanovic Thunström, «inventó» una enfermedad de los ojos. La llamó «bixonimania». Claro, ella la inventó: tal enfermedad no existe.

La investigadora eligió ese nombre a propósito porque es absurdo: el sufijo «manía» es un término psiquiátrico que jamás sería usado para una afección ocular.

Para reforzar la «seriedad» del asunto, subió dos estudios falsos a internet. Y para continuar con el absurdo, llamó al fondo de financiamiento «Fundación Bob Patiño»  (popular personaje para los seguidores de la serie The Simpsons), aclarando además que «este paper entero es inventado». Las pistas estaban ahí para cualquiera que leyera.

El caso es que, como es obvio, esta enfermedad no aparece en ningún libro de medicina, pero las IA empezaron a tratarla como una enfermedad real. Para agravar aún más el asunto, no cayeron solo las máquinas: científicos humanos citaron la bixonimania en un paper con revisión de pares que tardó más de un año en retractarse.

No es novedad que ciertas ideas tomadas como «verdades reveladas» de la ciencia médica son finalmente negadas o corregidas a partir del estudio serio y la investigacion. Desde la certeza de antaño de que las sangrías curaban la mayoría de las enfermedades hasta el descubrimiento bien entrado el SXX de que, en contra de lo que se pensaba, el cerebro adulto sí genera nuevas neuronas, todo un abanico de falsas convicciones han sido confrontadas y desterradas.

Si algo tiene cara de ciencia, los humanos suponemos que debe ser verdad. Y luego citamos sin leer y repetimos sin chequear. Muy humano, sí. Y la IA repite el mismo patrón.

¿La IA podrá algún día pensar como un humano? No lo sabemos. Pero por el momento se presenta un gran problema con esta tecnologia: La IA no sabe decir «no sé». Y mucho menos puede hacer uso del tan humano sentido común.


Fuente: Nature. com

Si te parece que este contenido suma, te invitamos a compartirlo

El Telescopio Espacial Roman explorará el cautivador misterio de la energía oscura

A finales de agosto, el gran observatorio espacial de la NASA recorrerá 1,5 millones de kilómetros antes de llegar a su destino final: el punto de Lagrange 2, una ubicación que compartirá con el telescopio espacial James Webb. Desde allí, tendrá una vista constante y sin obstrucciones de una amplia región del cielo.

Con una resolución comparable a la del observatorio Hubble y un campo de visión cien veces mayor, este telescopio podrá captar imágenes más extensas del cosmos, cartografiará la distribución de la materia y nos ayudará a responder una de las grandes preguntas de la astrofísica moderna: ¿qué es la energía oscura?

El nombre

Nancy Grace Roman fue una astrónoma estadounidense y una de las primeras mujeres ejecutivas de la NASA, y una de las «fundadoras visionarias del programa espacial civil estadounidense». A menudo se la conoce como la «madre del Hubble» por su papel en el diseño del telescopio espacial Hubble. Fue oradora y educadora pública activa, así como una defensora de las mujeres en la ciencia.


Más información en https://science.nasa.gov/mission/roman-space-telescope/

Si te parece que este contenido suma, te invitamos a compartirlo

La IA consumirá en 2030 el equivalente al consumo de 1.300 millones de personas

Los científicos de la ONU alertan de que “se está minusvalorando” el coste medioambiental de una tecnología que exige cada vez más recursos naturales.

Para 2030, el consumo de agua asociado al uso de la inteligencia artificial (IA) será equivalente al de 1.300 millones de personas del África subsahariana, mientras que requerirá casi el triple de la potencia energética que gastan al año Pakistán, Bangladesh y Nigeria, países que suman 650 millones de habitantes.

En cuanto a las emisiones de dióxido de carbono, estas podrían alcanzar los 400 millones de toneladas de CO₂ equivalente, comparables a las emisiones totales de Reino Unido. El funcionamiento de la IA implicará la ocupación de 14.500 kilómetros cuadrados, entre infraestructuras y cadena de suministro, el doble del área metropolitana de Yakarta, una megaurbe con más de 32 millones de habitantes, o 10 veces la de Ciudad de México (21 millones).

Estas son algunas de las cifras que esgrimen los autores de un informe publicado este miércoles por el Instituto Universitario de Naciones Unidas para el Agua, el Medio Ambiente y la Salud (UNU-INWEH). Además de esas proyecciones, basadas en estimaciones conservadoras de crecimiento, también tienen datos llamativos sobre la situación a día de hoy: si los centros de datos en los que se computa la IA fueran un país, su consumo eléctrico actual (448 teravatios hora, TWh) estaría al nivel del de Francia.

La institución ya había publicado antes informes alertando de las emisiones de carbono que implica el creciente uso de la IA. En esta ocasión, los investigadores han tenido en cuenta también la energía y el agua consumidas por los centros de datos que alimentan la IA (en el caso del agua, se incluye tanto la empleada para refrigerar sistemas como la dedicada a generar electricidad). “Este informe no va contra la IA”, dice el profesor Kaveh Madani, director del UNU-INWEH. “Es un llamamiento a usar esta tecnología de forma responsable y un intento de evaluar sus impactos indeseados para hacer que sea sostenible y equitativa. Debemos intentar asegurarnos de que esta revolución tecnológica se desarrolla dentro de límites planetarios”.

“El informe es un recordatorio importante y oportuno de que la IA no se limita a modelos y algoritmos, sino que también tiene un impacto físico y medioambiental real, determinado por los centros de datos, los sistemas eléctricos, los sistemas de abastecimiento de agua, el uso del suelo y las cadenas de suministro de hardware”, apunta Shaolei Ren, profesor de ingeniería computacional de la Universidad de California, Riverside, y especialista en sostenibilidad de la IA, que no ha participado en el estudio.

Los autores del informe destacan varios mensajes clave. Uno de ellos es que el coste medioambiental de la IA se está minusvalorando sistemáticamente. La mayoría de análisis publicados se centran en las emisiones de carbono asociadas con el entrenamiento de los modelos (el proceso previo al lanzamiento de estos en el que se computan durante varias semanas, día y noche, decenas o centenares de millones de parámetros sobre gigantescas bases de datos). “Sin embargo, cada kilovatio-hora de electricidad que se consume para entrenar o hacer funcionar un sistema de IA conlleva también una huella hídrica (asociada a la refrigeración y la generación de energía) y una huella territorial (infraestructuras energéticas y las cadenas de suministro)”, subraya el informe.

La huella de carbono puede variar hasta un 70%, por ejemplo, si se pasa del carbón a la bioenergía como fuente de generación de la electricidad que alimenta la IA. Pero eso, a su vez, multiplicaría por 30 la huella hídrica y por 100 su impacto territorial. La complejidad de gestionar la huella medioambiental de la IA es muy alta. Bajas emisiones no equivale a bajo consumo de agua o a bajo impacto territorial. Evaluar el impacto medioambiental de la IA con una sola métrica puede esconder sus efectos nocivos y trasladarlos a otras regiones. “Si solo nos basamos en las emisiones de carbono, podríamos pensar que las renovables hacen que la infraestructura de la IA sea limpia, pero eso supone resolver un problema al tiempo que se crean otros, a menudo en lugares que no lo han solicitado”, opina la autora principal del estudio, Miriam Aczel.

Qué usos contaminan más

El informe aporta otra conclusión interesante. Hasta hace poco, el consenso mayoritario era que la parte más importante del consumo energético asociado a un modelo de IA se producía durante el proceso de entrenamiento (es decir, antes de que lo empiece a usar el público). Los datos del equipo de Aczel, sin embargo, refutan eso: el proceso de inferencia (los cálculos ejecutados cada vez que se hace una solicitud al modelo para que pueda responder a las órdenes o prompts) supone el coste dominante, entre el 80% y el 90% del consumo total. El éxito de estas herramientas, que suman centenares de millones de usuarios diarios, ha cambiado las tornas.

Los investigadores también han evaluado el consumo energético asociado a distintos usos de la IA. Así, una conversación estándar con un chatbot como ChatGPT o Gemini gasta 200 veces más que una función básica de la IA, como es la clasificación de emails sospechosos en la carpeta de spam. Siguiendo con esa referencia, generar una imagen sintética gasta 1.400 veces más, mientras que un vídeo corto puede llegar a suponer 200.000 veces más energía. “Este es uno de los informes técnicos más completos sobre el impacto medioambiental de los sistemas de IA actuales, pero las conclusiones se centran en el impacto de GPT-4, que es un modelo de hace más de tres años. Y tres años en el sector de la IA es una eternidad”, señala Álex Hernández, investigador del Quebec AI Institute (MILA) que dirige Yoshua Bengio, profesor de la Universidad de Montreal y que no ha participado en el estudio.

El hecho de que las conclusiones del informe se basen en datos de modelos antiguos, dice Hernández, habla de la poca transparencia del sector. “La principal limitación del estudio es la dificultad de obtener datos concretos del consumo de los sistemas actuales”, añade.

Otra de las conclusiones del estudio es la desigualdad en el reparto de los beneficios y las externalidades negativas de la IA. En Irlanda, por ejemplo, cuyo laxo régimen fiscal lo convierte en el país de la UE preferido por la mayoría de las grandes tecnológicas para ubicar sus sedes, los centros de datos ya suponían en 2023 el 21% del consumo energético total. Eso ha hecho que el país ponga en marcha moratorias en la construcción de nuevas infraestructuras de este tipo en Dublín. En Uruguay, los planes de construcción en 2023 de un gran centro de datos con un consumo intensivo de agua coincidieron en el tiempo con una sequía que acabó con las reservas de agua potable de Montevideo, lo que provocó que el agua del grifo no fuera apta para el consumo.

Por otra parte, los autores estiman que, para 2030, la infraestructura de la IA generará 2,5 millones de toneladas anuales de basura electrónica (procesadores obsoletos, básicamente), y que mucha de esa basura se acumulará en países con bajos recursos.

El informe habla también de desigualdad.

Únicamente el 16% de los países dispone de infraestructura especializada para computar IA, y dos de ellos (EE UU y China) concentran el 90% de toda la capacidad instalada. Mientras la basura electrónica, las emisiones de carbono y el consumo de agua se reparten entre muchos países, los beneficios (es decir, el uso de las aplicaciones de IA) se quedan en pocos.

Como la mayoría de informes patrocinados por la ONU, este también incluye recomendaciones de actuación. Por ejemplo, a los gobiernos les pide que exijan a los operadores informes estandarizados de la huella medioambiental de la IA. A los desarrolladores, que favorezcan la selección de modelos adecuados a cada tarea (intentar que no se usen los más grandes, que necesitan más recursos, para solucionar problemas sencillos). Esa “eficiencia por diseño” y aumentar la transparencia son las dos principales peticiones a la industria.

Hernández, del MILA, cree que es importante que la ONU se implique en la publicación de informes sobre una cuestión, la huella medioambiental de la IA, reservada hasta ahora principalmente a la academia y a la investigación periodística. “Este informe parece que aspira a tener la legitimidad de un artículo académico y al mismo tiempo a llegar al ámbito de la política”, opina.


Fuente: Diario El País

Si te parece que este contenido suma, te invitamos a compartirlo