Verselbstständigt sich KI von alleine?

Ein Sprachmodell ist ein Programm, das auf eine Eingabe wartet. Ohne Eingabe passiert nichts. Neu sind sogenannte KI-Agenten. Sie zerlegen eine Aufgabe in mehrere Schritte, rufen Werkzeuge auf, etwa eine Websuche oder einen Kalender, und prüfen ihr eigenes Ergebnis. Von aussen wirkt das selbstständig.

Diese Selbstständigkeit ist geliehen. Sie reicht genau so weit wie die Zugänge, die ein Mensch freigeschaltet hat. Ein Agent, der E-Mails nur lesen darf, kann keine Überweisung auslösen. Ein Agent mit Zugriff aufs Bankkonto kann es. Risiken entstehen deshalb vor allem durch zu grosszügig vergebene Rechte und fehlende Kontrolle.

Forschende testen Modelle bewusst in konstruierten Extremsituationen und beobachten dabei auch unerwünschtes Verhalten, etwa wenn ein Modell ein vorgegebenes Ziel um jeden Preis erreichen soll. Solche Tests zeigen, warum Grenzen nötig sind. Wer KI einsetzt, legt fest, was sie darf, und prüft, was sie tut.