Model AI generatif, seperti ChatGPT, telah merevolusi cara kita berinteraksi dengan teknologi. Namun, tantangan besar masih tetap ada: kecenderungan untuk “berhalusinasi” – dengan percaya diri menyajikan informasi palsu sebagai fakta. Studi terbaru dari OpenAI, perusahaan di balik ChatGPT, menunjukkan alasan utama perilaku ini: Model AI diberi insentif untuk menebak daripada mengakui bahwa mereka tidak tahu.
Akar Masalah: Memberi Insentif pada Tebakan
Saat ini, metode yang digunakan untuk mengevaluasi performa model AI sering kali mengutamakan akurasi di atas segalanya. Artinya, model terutama dinilai berdasarkan persentase pertanyaan yang dijawab dengan benar, terlepas dari keyakinan atau kepastiannya. Para peneliti di OpenAI berpendapat bahwa hal ini menciptakan sistem di mana menebak-nebak menjadi keuntungan strategis.
Ini seperti seorang siswa yang mengambil tes pilihan ganda, studi tersebut menjelaskan. Membiarkan pertanyaan kosong tidak menjamin tidak ada poin, jadi mereka didorong untuk menebak-nebak.
Demikian pula, ketika model AI diberi sanksi hanya karena jawaban yang salah, model tersebut didorong untuk memprediksi jawaban meskipun informasinya kurang memadai. Hal ini mengarahkan mereka untuk menghasilkan pernyataan yang terdengar masuk akal namun pada akhirnya salah.
Bagaimana Model AI “Belajar” dan Mengapa Halusinasi Muncul
Model AI belajar dengan memprediksi kata berikutnya dalam rangkaian teks, berdasarkan kumpulan data yang sangat besar. Meskipun kumpulan data ini sering kali berisi pola yang konsisten, namun juga berisi informasi acak dan kontradiktif. Ketika dihadapkan dengan pertanyaan yang ambigu atau tidak memiliki jawaban pasti – situasi yang ditandai dengan ketidakpastian – model AI sering kali menggunakan tebakan strategis untuk meningkatkan skor akurasinya secara keseluruhan.
“Itulah salah satu alasan mengapa, meski model sudah lebih canggih, mereka masih bisa berhalusinasi, dengan percaya diri memberikan jawaban yang salah, alih-alih mengakui ketidakpastian,” catat para peneliti.
Mengatasi Masalah: Menghargai Kejujuran dan Ketidakpastian
Untungnya, solusi langsung untuk masalah ini telah muncul. Para peneliti menyarankan agar “kesalahan percaya diri” diberi sanksi yang lebih berat dibandingkan ekspresi ketidakpastian, dan pada saat yang sama juga memberikan penghargaan parsial kepada model karena secara tepat mengakui keterbatasan mereka.
Hal ini mencerminkan tes standar di mana nilai negatif diberikan untuk jawaban yang salah, atau kredit parsial diberikan jika pertanyaan dibiarkan kosong. Sistem seperti itu akan mencegah tebakan buta dan memberi insentif pada model untuk mengungkapkan ketidakpastian jika diperlukan.
Untuk mengatasi hal ini, OpenAI menyarankan untuk memperbarui metode evaluasi AI generatif saat ini. “Evaluasi berbasis akurasi yang banyak digunakan perlu diperbarui sehingga penilaiannya tidak membuat kita perlu menebak-nebak.” Dengan mengalihkan fokus dari sekedar menghargai akurasi, pengembang dapat membuka jalan bagi model bahasa yang lebih bernuansa dan tidak rentan terhadap halusinasi.
Kesimpulannya, kecenderungan model AI untuk “berhalusinasi” berasal dari sistem evaluasi yang cacat. Dengan mengutamakan kejujuran dan mengakui ketidakpastian, kita dapat mengembangkan AI yang kuat dan dapat dipercaya. Pergeseran ini sangat penting karena AI semakin banyak digunakan di bidang-bidang seperti kedokteran dan hukum, yang mengutamakan akurasi dan keandalan.
