Generative KI-Modelle wie ChatGPT haben die Art und Weise, wie wir mit Technologie interagieren, revolutioniert. Eine große Herausforderung bleibt jedoch bestehen: die Tendenz zur „Halluzination“ – der selbstbewussten Darstellung falscher Informationen als Tatsachen. Eine aktuelle Studie von OpenAI, dem Unternehmen hinter ChatGPT, hat den Hauptgrund für dieses Verhalten ermittelt: KI-Modelle werden dazu angeregt, zu raten, anstatt zuzugeben, dass sie es nicht wissen.
Die Wurzel des Problems: Anreize für Vermutungen schaffen
Derzeit belohnen die Methoden zur Bewertung der Leistung von KI-Modellen häufig vor allem die Genauigkeit. Das bedeutet, dass Modelle in erster Linie nach dem Prozentsatz der Fragen bewertet werden, die sie richtig beantworten, unabhängig von ihrer Konfidenz oder Gewissheit. Forscher von OpenAI argumentieren, dass dadurch ein System entsteht, in dem das Raten zu einem strategischen Vorteil wird.
Es ist ein bisschen so, als würde ein Student einen Multiple-Choice-Test machen, erklärt die Studie. Wenn Sie eine Frage leer lassen, gibt es garantiert keine Punkte, Sie werden also ermutigt, wilde Vermutungen anzustellen.
Wenn KI-Modelle nur für falsche Antworten bestraft werden, werden sie in ähnlicher Weise dazu ermutigt, Antworten auch dann vorherzusagen, wenn ausreichende Informationen fehlen. Dies führt dazu, dass sie zwar plausibel klingende, aber letztlich falsche Aussagen generieren.
Wie KI-Modelle „lernen“ und warum Halluzinationen entstehen
KI-Modelle lernen, indem sie anhand umfangreicher Datensätze das nächste Wort in einer Textsequenz vorhersagen. Während diese Datensätze häufig konsistente Muster enthalten, enthalten sie auch zufällige und widersprüchliche Informationen. Wenn sie mit Fragen konfrontiert werden, die mehrdeutig sind oder auf die es keine eindeutigen Antworten gibt – Situationen, die von Natur aus durch Unsicherheit gekennzeichnet sind –, greifen KI-Modelle häufig auf strategische Vermutungen zurück, um ihre Gesamtgenauigkeitsbewertung zu verbessern.
„Das ist einer der Gründe, warum Modelle, auch wenn sie immer weiter fortgeschritten sind, immer noch halluzinieren und selbstbewusst falsche Antworten geben können, anstatt die Unsicherheit anzuerkennen“, stellen Forscher fest.
Das Problem angehen: Ehrlichkeit und Unsicherheit belohnen
Glücklicherweise zeichnet sich eine einfache Lösung für dieses Problem ab. Forscher schlagen vor, „zuversichtliche Fehler“ härter zu bestrafen als Äußerungen von Unsicherheit, und den Modellen gleichzeitig teilweise Anerkennung dafür zu geben, dass sie ihre Grenzen angemessen anerkennen.
Dies spiegelt einen standardisierten Test wider, bei dem falsche Antworten mit negativen Noten versehen werden oder das Auslassen von Fragen teilweise angerechnet wird. Ein solches System würde blindes Raten verhindern und Modelle dazu anregen, bei Bedarf Unsicherheit auszudrücken.
Um dieses Problem anzugehen, schlägt OpenAI vor, die aktuellen Bewertungsmethoden für generative KI zu aktualisieren. „Die weit verbreiteten, auf Genauigkeit basierenden Auswertungen müssen aktualisiert werden, damit ihre Bewertung nicht zum Raten anregt.“ Durch die Verlagerung des Fokus weg von der bloßen Belohnung von Genauigkeit können Entwickler den Weg für differenziertere Sprachmodelle ebnen, die weniger anfällig für Halluzinationen sind.
Zusammenfassend lässt sich sagen, dass die Tendenz von KI-Modellen zur „Halluzination“ auf ein fehlerhaftes Bewertungssystem zurückzuführen ist. Indem wir Anreize für Ehrlichkeit schaffen und Unsicherheit anerkennen, können wir eine KI entwickeln, die sowohl leistungsstark als auch vertrauenswürdig ist. Dieser Wandel ist besonders kritisch, da KI zunehmend in Bereichen wie Medizin und Recht eingesetzt wird, in denen Genauigkeit und Zuverlässigkeit von größter Bedeutung sind.
