Perkembangan model-model bahasa besar (large language model/LLM) yang menopang kinerja chatbot artificial intelligence (AI), seperti ChatGPT, diprediksi akan membawa kita ke era baru penerjemahan bahasa. Bagaimana kemampuan translasi itu jika dibandingkan dengan layanan penerjemahan online seperti Google Translate?
PCMag melakukan uji perbandingan kemampuan menerjemahkan bahasa antara chatbot AI dan Google Translate. Menggunakan metode blind test, para peneliti meminta penguji yang fasih berbicara dalam delapan bahasa non Inggris untuk membandingkan hasil terjemahan chatbot AI dan Google Translate.
Uji dilakukan dua kali. Di uji pertama, PCMag membandingkan ChatGPT (versi gratisan), Microsoft Copilot, dan Google Gemini dengan Google Translate. Kemudian di uji selanjutnya, para penguji akan membandingkan kemampuan translasi antara ChatGPT versi gratisan dan berbayar, serta AI agent yang ada di GPTStore.
Namun perlu diingat bahwa blind test ini saja tidak cukup dan dibutuhkan tes yang lebih mendalam serta teliti untuk mengevaluasi dan membandingkan tool-tool ini.
Uji pertama dilakukan pada bulan Juni 2023. Tim dari PCMag meminta para penutur bilingual yang menguasai bahasa asing non Inggris (Polandia, Perancis, Korea, Spanyol, Arab, Tagalog, dan Amharic) untuk melakukan blind rank terhadap dua paragraf tulisan dalam bahasa Inggris yang kemudian diterjemahkan ke bahasa asing menggunakan Google Translate, ChatGPT, Gemini (kemudian dikenal sebagai Bard), dan Copilot (kemudian Microsoft Bing Chat). Setelah para penutur/penguji menyelesaikan tugasnya, tim PCMag baru memberitahukan kepada mereka layanan apa yang menghasilkan terjemahan tiap paragraf.
Paragraf Uji 1: "Hello! Do you speak English? I need some help with directions. I am trying to find a vegetarian restaurant because my sister does not eat meat. What do you recommend? We also want to stay within a few miles of here, and don’t want to spend more than $50. If they have cocktails, that would be a bonus. We’ve had a long day of traveling and need to blow off some steam! You’re welcome to join us. Cheers!"
Paragraf Uji 2: "How do I buy tickets to the boat party? Do we need to pay in advance, or can we buy them at the dock when we arrive? I need to be on the upper deck because sometimes I get seasick when I’m too close to the water. Also, I want to be as far away as possible from the young hooligans who want to pop champagne constantly during the voyage. That’s dangerous and not my kind of fun!"
Chatbot AI Unggul
Hasil uji pertama ini adalah chatbot AI mengalahkan Google Translate. Dikutip dari PCMag, dari 12 contoh terjemahan yang dikirimkan ke para peserta penguji, dan semua peserta lebih memilih hasil terjemahan chatbot AI dari pada Google Translate.
ChatGPT rata-rata mengungguli semuanya. Salah satu alasan yang diberikan peserta adalah ChatGPT dapat menerjemahkan ekspresi yang digunakan sehari-hari (colloquialism) dengan tepat, misalnya idiom “blow off steam.” Sedangkan Google Terjemahan cenderung memberikan terjemahan yang lebih literal yang belum tentu dipahami dalam bahasa dan budaya lain.
Dikutip dari PCMag, seorang peneliti Hugging Face, Nazneen Rajani mengungkapkan bahwa “ramuan”rahasia yang dimiliki chatbot seperti ChatGPT adalah RLHF, yaitu reinforcement learning with human feedback.
Chatbot mengumpulkan preferensi manusia dari respons model untuk berbagai dimensi, seperti kejujuran, tidak menyakiti, membantu, dan lain-lain. Preferensi manusia ini membantu AI memilih terjemahan yang lebih sesuai secara budaya, terutama bagi penutur nonasli (non-native).