Est-ce que l'IA devient autonome toute seule ?

Un modèle de langage est un programme qui attend une entrée. Sans entrée, il ne se passe rien. Ce qui est nouveau, ce sont les agents IA. Ils décomposent une tâche en plusieurs étapes, font appel à des outils, par exemple une recherche sur internet ou un agenda, et vérifient leur propre résultat. Vu de l'extérieur, cela paraît autonome.

Cette autonomie est empruntée. Elle va exactement aussi loin que les accès qu'une personne a autorisés. Un agent qui ne peut que lire des e-mails ne peut pas déclencher un virement. Un agent ayant accès au compte bancaire le peut. Les risques viennent donc surtout de droits accordés trop généreusement et d'un contrôle insuffisant.

Des chercheurs testent volontairement des modèles dans des situations extrêmes construites et observent parfois des comportements indésirables, par exemple quand un modèle doit atteindre un objectif donné à tout prix. Ces tests montrent pourquoi des limites sont nécessaires. Celui qui utilise l'IA fixe ce qu'elle a le droit de faire et vérifie ce qu'elle fait.