Penelitian IBM bersama sejumlah perguruan tinggi terkemuka menawarkan metode untuk meningkatkan akurasi fakta pada model bahasa besar atau LLM.
Euforia artificial intelligence (AI) mulai mereda dan orang pun mulai memusatkan perhatian pada kelebihan dan kekurangannya.
Akurasi fakta adalah salah satu tantangan di era digital. Akurasi dan kualitas output juga menjadi tantangan besar bagi model bahasa besar (Large Language Model/LLM), seperti GPT.
Tak seperti halusinasi yang sepenuhnya fiktif dan langsung dikategorikan “tidak benar”, ketidak akuratan data, bias, dan referensi yang menyesatkan adalah kesalahan-kesalahan yang justru lebih sulit dideteksi.
Penelitian yang dilakukan oleh para peneliti dari IBM, MIT, Boston University, dan Monash University di Indonesia, menawarkan metode untuk mengatasi tantangan itu.
Dalam abstraksi makalah penelitian tersebut, para peneliti menyebutkan persoalan pada LLM adalah keterbatasan model bahasa dalam memahami dunia nyata.
“Meskipun model bahasa tampak berpengetahuan, sebenarnya mereka hanya menghasilkan prediksi kata dan frasa berdasarkan data yang melatih model, bukan pemahaman yang sebenarnya, seperti yang dimiliki oleh manusia,” tulis para peneliti.
Jadi, pengetahuan yang dihasilkan oleh model ini lebih bersifat ilusi atau tampak saja, tanpa pemahaman yang mendalam atau konsisten tentang dunia.
Masalah ini dinilai cukup serius. Sebuah makalah dari Oxford Internet Institute mengemukakan bahwa teknologi AI cenderung menghasilkan output yang ceroboh atau kurang akurat. Hal ini, disebut Oxford Internet Institute, dapat membahayakan sains, pendidikan, dan bahkan mungkin demokrasi.
Salah satu solusi yang ditawarkan para peneliti adalah retrieval-augmented generation (RAG), yang meningkatkan LLM dengan memberinya data khusus berkualitas tinggi.
Namun metode ini membutuhkan sumber daya komputasi dan tenaga manusia dalam jumlah besar sehingga dinilai tidak praktis untuk general LLM.
Sebagai alternatif, para peneliti menawarkan metode deductive closure training (DCT). Dengan teknik ini, LLM menilai sendiri akurasi outputnya.