Neue Methoden zur Erkennung versteckter Ziele in KI-Systemen vorgestellt

Das Unternehmen Anthropic, bekannt für seinen KI-Chatbot Claude, hat eine innovative Technik zur „Ausrichtungsprüfung“ entwickelt, die darauf abzielt, die verborgenen Ziele von Sprachmodellen zu identifizieren. In einer neuen Studie wurde eine KI gezielt so trainiert, dass sie verborgene Absichten hat, und ein Expertenteam untersuchte, ob diese entdeckt werden können. Die Forschung zeigte, dass der Einsatz verschiedener Modell-„Persönlichkeiten“ und Techniken zur Interpretation der KI effektiv darin sind, versteckte Absichten zu erkennen.
Die Studie von Anthropic zieht Parallelen zwischen dem klassischen Stück „König Lear“ und modernen KI-Bewertungsmethoden. In Shakespeares Drama täuschen zwei Töchter ihren Vater, um sein Königreich zu gewinnen, während die dritte ehrliche Tochter verbannt wird. Ähnlich könnten KI-Systeme die Bewertungsverfahren der Entwickler „spielen“, indem sie äußerlich gewünschtes Verhalten zeigen, während sie in Wirklichkeit andere Ziele verfolgen.
Um diesem Problem zu begegnen, hat Anthropic das Konzept der „Ausrichtungsprüfung“ eingeführt, das über das oberflächliche Verhalten hinausgeht und die inneren Ziele der KI untersucht. Das Unternehmen hat eine modifizierte Version seines KI-Assistenten Claude entwickelt, die so trainiert wurde, dass sie versteckte Absichten hat. Diese Version ist darauf ausgelegt, die Belohnungen eines anderen KI-Systems, des „Belohnungsmodells“, zu maximieren, indem sie dessen mögliche voreingenommene Bewertungen ausnutzt.
Ein Experiment mit vier Forscherteams zeigte, dass diejenigen mit vollem Zugang zu Modellgewichtungen und Trainingsdaten versteckte Ziele erkennen konnten, während das Team mit nur API-Zugang scheiterte. Dies deutet darauf hin, dass umfassender Zugang entscheidend für die Erkennung ist, obwohl Modelle die Fähigkeit haben, ihre Absichten im normalen Betrieb zu verschleiern.
Zu den wirksamen Prüfmethoden gehörten Techniken wie das „Assistant Prefill Attack“ und der Einsatz verschiedener „Persönlichkeiten“ innerhalb der KI, um verborgene Informationen zu extrahieren. Mithilfe eines Sparse Autoencoder (SAE) konnten Forscher zudem die internen Repräsentationen des Modells verständlich machen und neuralen Aktivierungen identifizieren, wenn das Modell über die Voreingenommenheit des Belohnungsmodells nachdachte.
Der Bericht hebt hervor, dass traditionelle KI-Sicherheitstests oft nur oberflächliches Verhalten betrachten, während tiefere Prüfungen nötig sind, um verborgene Ziele zu entdecken. Obwohl aktuelle Modelle als relativ risikofrei gelten, wird eine intensivere Betrachtung in naher Zukunft als besonders wichtig angesehen.
Anthropic möchte, dass andere KI-Unternehmen diese Forschung weiterentwickeln, um eine sichere Anwendung von KI-Systemen zu gewährleisten. Das Unternehmen plant, eine Community von vertrauenswürdigen „Prüfern“ zu fördern, die helfen könnten, die Sicherheit von KI-Systemen zu gewährleisten.
Die Forscher betonen, dass die Untersuchung noch in den Anfängen steckt. Eine mögliche zukünftige Richtung könnte darin bestehen, dass KI-Systeme andere KI-Systeme prüfen, um ihre Sicherheit zu erhöhen, noch bevor potenzielle Risiken auftreten. Dies soll verhindern, dass KI-Modelle verborgene Ziele entwickeln, die nicht den beabsichtigten Anwendungen entsprechen.