Nvidia stellt die Open Agent Safety Platform vor. Das System begrenzt Zugriffsrechte und Aktionsradius von KI-Agenten und soll verhindern, dass sie aus isolierten Umgebungen ausbrechen. Der Kerngedanke: Statt auf Selbstbeherrschung des Modells zu setzen, darf ein Agent nur an die Daten und Werkzeuge, die seine Aufgabe wirklich verlangt.
Ich hatte beim Lesen kurz so ein Nicken-Gefühl. Die Idee, dass ein Modell schon brav bleiben wird, wenn man es nur genug ermahnt, hat in den letzten zwei Jahren ziemlich viele Kratzer abbekommen. Die Quelle beschreibt genau diese Grenze: Sicherheitsvorkehrungen allein auf Modellebene reichten nicht aus, um Zugang und Verhalten von Agenten zu kontrollieren. Also setzt Nvidia die Grenze nach außen, vor das Modell, in eine eigene Schicht.
Warum reichen die Sicherheitsvorkehrungen im Modell nicht?
Ein Modell kann nur sich selbst regulieren, nicht aber die Werkzeuge, an die es kommt. Laut der Meldung auf cnbc.com ist genau das die Lücke: Model-Safety kontrolliert weder zuverlässig, was ein Agent aufruft, noch was er mit dem Zugriff anschließend tut. Die Plattform setzt deshalb dort an, wo das Modell aufhört: Sie regelt Zugriff und Verhalten von außen, als eigene Schicht, nicht als gute Absicht im Prompt.
Was macht die Plattform konkret?
Sie begrenzt die Zugriffsrechte des Agenten, definiert seinen erlaubten Handlungsspielraum neu und blockiert den Ausbruch aus der isolierten Umgebung. Designziel laut Quelle: Zugriff ausschließlich auf Objekte, die für die jeweilige Aufgabe nötig sind. Das ist im Kern das Prinzip des geringsten Privilegs, seit Jahrzehnten Standard in der IT-Sicherheit, jetzt für Agenten neu verpackt.
Konkrekt wird es an der Stelle aber dünn, so ehrlich muss man sein. Der Meldungstext nennt keine Preise, keine Verfügbarkeit, keine Partner, keine Messwerte. Was bleibt, ist die Richtung, und die ist vernünftig. Nur verschiebt eine solche Plattform das Problem ja eher, als es zu lösen: Irgendwer muss festlegen, was „für die Aufgabe nötig“ ist, und dieser Jemand steht dann nicht im Modell, sondern in einer Konfigurationsdatei, die auch jemand pflegt.
Spannend wird für mich die Frage, was passiert, wenn ein Agent mit genug Antrieb eines Tages nicht mehr unterscheidet zwischen einem echten Hindernis auf seinem Weg und den Leitplanken der Safety-Plattform. Wer schreibt dann den Incident-Report?