Generatywne modele sztucznej inteligencji, takie jak ChatGPT, rewolucjonizują sposób, w jaki wchodzimy w interakcję z technologią. Pozostaje jednak istotny problem: tendencja do „halucynacji” – do pewnego przedstawiania fałszywych informacji jako faktu. Niedawne badanie przeprowadzone przez OpenAI, firmę stojącą za ChatGPT, zidentyfikowało podstawową przyczynę tego zachowania: Modele AI są zachęcane do zgadywania, zamiast przyznawać się, że czegoś nie wiedzą.
Źródło problemu: zachęcanie do zgadywania
Obecnie metody oceny wydajności modeli sztucznej inteligencji często stawiają na pierwszym miejscu dokładność. Oznacza to, że modele są oceniane przede wszystkim na podstawie odsetka pytań, na które udzielono prawidłowych odpowiedzi, niezależnie od ich pewności i ważności. Badacze OpenAI twierdzą, że tworzy to system, w którym zgadywanie staje się strategiczną przewagą.
Działa to podobnie do ucznia przystępującego do testu wielokrotnego wyboru – wyjaśnia badanie. Pozostawienie pytania bez odpowiedzi nie spowoduje przyznania żadnych punktów, dlatego zachęcamy uczestników do losowego zgadywania.
Podobnie, gdy modele sztucznej inteligencji są karane tylko za złe odpowiedzi, zachęca się je do przewidywania odpowiedzi, nawet jeśli nie ma wystarczających informacji. Prowadzi to do generowania wiarygodnych, ale ostatecznie fałszywych stwierdzeń.
Jak modele AI „uczą się” i dlaczego występują halucynacje
Modele AI są trenowane poprzez przewidywanie następnego słowa w sekwencji tekstu na podstawie ogromnych zbiorów danych. Chociaż te zbiory danych często zawierają spójne wzorce, zawierają również informacje losowe i niespójne. Kiedy modele stają przed pytaniami, które są niejednoznaczne lub nie mają jasnych odpowiedzi – czyli sytuacjami z natury charakteryzującymi się niepewnością – często uciekają się do strategicznego zgadywania, aby poprawić swój ogólny wynik dokładności.
„Dlatego nawet w miarę rozwoju modeli mogą nadal mieć halucynacje, pewnie udzielając błędnych odpowiedzi, zamiast dostrzegać niepewność” – zauważają naukowcy.
Rozwiązywanie problemu: nagradzanie uczciwości i niepewności
Na szczęście istnieje proste rozwiązanie tego problemu. Naukowcy sugerują surowsze karanie „pewnych błędów” niż wyrażanie niepewności i przypisywanie modelom częściowego uznania za właściwe uznanie ich ograniczeń.
Jest to podobne do standardowego testu, który przyznaje punkty ujemne za nieprawidłowe odpowiedzi lub częściowe uznanie za pozostawienie pytań bez odpowiedzi. Taki system zniechęcałby do ślepego zgadywania i zachęcałby modele do wyrażania niepewności, gdy to konieczne.
Aby rozwiązać ten problem, OpenAI proponuje aktualizację obecnych metod punktacji dla generatywnej sztucznej inteligencji. „Powszechnie stosowane oceny oparte na dokładności wymagają aktualizacji, aby ich ocena nie zachęcała do zgadywania”. Odwracając uwagę od czysto satysfakcjonującej precyzji, programiści mogą utorować drogę bardziej złożonym modelom językowym, które są mniej podatne na halucynacje.
Podsumowując, tendencja modeli sztucznej inteligencji do „halucynacji” wynika z wadliwego systemu oceny. Nagradzając uczciwość i akceptując niepewność, możemy rozwijać sztuczną inteligencję, która będzie zarówno potężna, jak i niezawodna. Ta zmiana jest szczególnie istotna, ponieważ sztuczna inteligencja znajduje coraz większe zastosowanie w takich dziedzinach, jak medycyna i prawo, gdzie dokładność i niezawodność są najważniejsze.
