Генеративні моделі штучного інтелекту, такі як ChatGPT, революціонізують наш спосіб взаємодії з технологіями. Проте залишається суттєва проблема: схильність до «галюцинацій» — впевненого подання неправдивої інформації як факту. Нещодавнє дослідження OpenAI, компанії, що стоїть за ChatGPT, виявило основну причину такої поведінки: моделі штучного інтелекту стимулюються здогадуватися, а не визнавати, що вони чогось не знають.
Корінь проблеми: стимулювання вгадування
В даний час методи оцінки продуктивності моделей штучного інтелекту часто надають пріоритет точності понад усе. Це означає, що моделі оцінюють насамперед за відсотком запитань, на які надано правильні відповіді, незалежно від їх впевненості чи обґрунтованості. Дослідники OpenAI кажуть, що це створює систему, в якій здогад стає стратегічною перевагою.
Це схоже на те, як учень виконує тест із варіантами відповідей, пояснює дослідження. Залишення питання без відповіді не призведе до жодних балів, тому їм пропонується робити випадкові припущення.
Подібним чином, коли моделі штучного інтелекту карають лише за неправильні відповіді, вони заохочуються передбачати відповіді, навіть якщо інформації недостатньо. Це змушує їх генерувати правдоподібні, але в кінцевому підсумку хибні твердження.
Як «навчаються» моделі AI і чому виникають галюцинації
Моделі штучного інтелекту навчаються шляхом передбачення наступного слова в послідовності тексту на основі величезних наборів даних. Хоча ці набори даних часто містять послідовні шаблони, вони також містять випадкову та суперечливу інформацію. Коли моделі стикаються з питаннями, які є неоднозначними або не мають чітких відповідей — ситуації, які за своєю суттю характеризуються невизначеністю, — вони часто вдаються до стратегічних припущень, щоб підвищити загальну оцінку точності.
«Ось чому, навіть коли моделі розвиваються, вони все ще можуть галюцинувати, впевнено даючи неправильні відповіді, а не визнаючи невизначеність», – зазначають дослідники.
Вирішення проблеми: винагорода за чесність і невпевненість
На щастя, є просте рішення цієї проблеми. Дослідники пропонують карати за «впевнені помилки» суворіше, ніж за вираження невпевненості, і частково віддавати належне моделям за те, що вони правильно визнають свої обмеження.
Це схоже на стандартизований тест, який дає негативні бали за неправильні відповіді або частково зараховує за те, що питання залишилися без відповіді. Така система перешкоджає сліпому вгадуванню та заохочує моделі виражати невпевненість, коли це необхідно.
Щоб вирішити цю проблему, OpenAI пропонує оновити поточні методи оцінки для генеративного ШІ. «Потрібно оновити широко використовувані оцінки на основі точності, щоб їх оцінка не заохочувала до здогадок». Зміщуючи фокус із чисто винагороджувальної точності, розробники можуть прокласти шлях до більш складних мовних моделей, які менш схильні до галюцинацій.
Підсумовуючи, тенденція моделей штучного інтелекту до «галюцинацій» походить від хибної системи оцінювання. Винагороджуючи чесність і приймаючи невизначеність, ми можемо розробити потужний і надійний ШІ. Ця зміна особливо важлива, оскільки штучний інтелект знаходить все більше застосування в таких сферах, як медицина та право, де точність і надійність мають першорядне значення.
