Mengapa model bahasa besar seperti GPT-5 dan chatbot seperti ChatGPT masih mengalami halusinasi dan bagaimana cara menguranginya?
Halusinasi AI: Tantangan yang Terus Berlanjut
Penelitian terbaru dari OpenAI mengangkat pertanyaan mengapa model bahasa besar seperti GPT-5 dan chatbot seperti ChatGPT masih mengalami halusinasi, dan apakah ada cara untuk menguranginya. Dalam sebuah posting blog yang merangkum makalah tersebut, OpenAI mendefinisikan halusinasi sebagai 'pernyataan yang masuk akal tetapi salah yang dihasilkan oleh model bahasa.' Meskipun ada perbaikan, halusinasi tetap menjadi tantangan mendasar bagi semua model bahasa besar, tantangan yang tidak akan pernah sepenuhnya dihilangkan.
Untuk menggambarkan masalah ini, para peneliti menyebutkan bahwa ketika mereka bertanya kepada 'sebuah chatbot yang banyak digunakan' tentang judul disertasi Ph.D. Adam Tauman Kalai, mereka mendapatkan tiga jawaban berbeda, semuanya salah. Mereka kemudian bertanya tentang tanggal lahirnya dan menerima tiga tanggal berbeda. Sekali lagi, semuanya salah. Bagaimana bisa sebuah chatbot begitu salah — dan terdengar begitu yakin dalam kesalahannya?
Proses Pelatihan dan Evaluasi yang Salah
Para peneliti menyarankan bahwa halusinasi muncul, sebagian, karena proses pelatihan awal yang berfokus pada membuat model memprediksi kata berikutnya dengan benar, tanpa label benar atau salah yang terlampir pada pernyataan pelatihan. 'Model hanya melihat contoh positif dari bahasa yang lancar dan harus mendekati distribusi keseluruhan.' Mereka menulis, 'Ejaan dan tanda kurung mengikuti pola yang konsisten, sehingga kesalahan di sana hilang dengan skala. Tetapi fakta-fakta dengan frekuensi rendah yang sewenang-wenang, seperti ulang tahun hewan peliharaan, tidak dapat diprediksi hanya dari pola dan karenanya menyebabkan halusinasi.'
Solusi yang diusulkan dalam makalah ini, bagaimanapun, lebih berfokus pada bagaimana model bahasa besar dievaluasi daripada proses pelatihan awal. Makalah ini berpendapat bahwa model evaluasi saat ini tidak menyebabkan halusinasi itu sendiri, tetapi mereka 'menetapkan insentif yang salah.' Para peneliti membandingkan evaluasi ini dengan jenis tes pilihan ganda di mana menebak secara acak masuk akal, karena 'Anda mungkin beruntung dan benar,' sementara meninggalkan jawaban kosong 'menjamin nol.'
Dengan cara yang sama, ketika model dinilai hanya berdasarkan akurasi, persentase pertanyaan yang mereka jawab dengan tepat, mereka didorong untuk menebak daripada mengatakan 'Saya tidak tahu.' Solusi yang diusulkan, kemudian, mirip dengan tes (seperti SAT) yang mencakup 'penilaian negatif untuk jawaban yang salah atau kredit parsial untuk meninggalkan pertanyaan kosong untuk mencegah menebak secara membabi buta.'
OpenAI mengatakan evaluasi model perlu 'menghukum kesalahan yang percaya diri lebih dari Anda menghukum ketidakpastian, dan memberikan kredit parsial untuk ekspresi ketidakpastian yang tepat.' Dan para peneliti berpendapat bahwa tidak cukup hanya memperkenalkan 'beberapa tes baru yang sadar ketidakpastian di samping.' Sebaliknya, 'evaluasi berbasis akurasi yang banyak digunakan perlu diperbarui sehingga penilaian mereka mencegah menebak.'
'Jika papan skor utama terus memberi penghargaan pada tebakan yang beruntung, model akan terus belajar untuk menebak,' kata para peneliti. Dengan kata lain, insentif yang salah dalam evaluasi model saat ini mendorong model untuk menebak daripada mengakui ketidakpastian mereka, yang pada gilirannya menyebabkan halusinasi yang lebih sering terjadi.
