¿Se vuelve la IA independiente por sí sola?

Un modelo de lenguaje es un programa que espera una entrada. Sin entrada, no pasa nada. Lo nuevo son los llamados agentes de IA. Dividen una tarea en varios pasos, utilizan herramientas, por ejemplo una búsqueda en internet o un calendario, y revisan su propio resultado. Desde fuera, esto parece autónomo.

Esta autonomía es prestada. Llega exactamente hasta donde lleguen los accesos que una persona ha habilitado. Un agente al que solo se le permite leer correos no puede hacer una transferencia bancaria. Un agente con acceso a la cuenta bancaria sí puede. Por eso los riesgos surgen sobre todo de permisos otorgados con demasiada generosidad y de la falta de control.

Los investigadores someten a los modelos de forma deliberada a situaciones extremas construidas para la prueba y observan también comportamientos no deseados, por ejemplo cuando se pide a un modelo que alcance un objetivo determinado a toda costa. Estas pruebas muestran por qué hacen falta límites. Quien usa IA decide qué puede hacer y comprueba qué hace.