Namun hasil uji ini juga memperlihatkan, tidak ada satupun chatbot yang dapat menggantikan penutur asli yang fasih. Semua chatbot terkadang masih memberikan pilihan kata yang canggung dan tidak akurat.
Google Translate Menang untuk Bahasa Langka
Meski tidak menjadi pilihan utama, Google Translate memiliki keunggulan yaitu pada bahasa-bahasa dengan jumlah penutur yang relatif sedikit. Dalam uji yang dilakukan PCMag ini adalah bahasa Tagalog (Filipina) dan Amharic (Ethiopia). Hanya ada 33 juta pengguna bahasa Tagalog dan 25 juta orang yang berbicara dalam bahasa Amharic, menurut data WorldData.info. Sebagai perbandingan, bahasa Spanyol digunakan oleh 450 juta orang dan Korea 80 juta.
Untuk bahasa-bahasa yang jarang digunakan ini, para penguji menilai ChatGPT menggunakan kata-kata yang sangat formal dan biasanya digunakan dalam pengumuman publik. Menurut Rajani, model AI tidak dapat melakukan generalisasi dengan baik untuk bahasa yang sumber dayanya sedikit atau tidak memiliki cukup banyak catatan preferensi manusia.
Oleh karena itu, chatbot tidak memiliki data yang cukup untuk bisa memberikan terjemahan yang lebih kontekstual untuk bahasa Tagalog dan Amharic. Akibatnya terjemahan chatbot ke dalam dua bahasa ini terlihat lebih literal daripada yang hasil terjemahan oleh Google Translate.
Bahkan para peneliti mendapati Microsoft Bing harus bekerja lebih keras ketika menerjemahkan teks ke bahasa Amharic dengan membiarkan beberapa bagian dari paragraf tetap dalam bahasa Inggris. Hasilnya seperti di bawah ini.
Paragraf 1 - ሰላም! እንዴት እንደሚናገሩ እንደሆነ እንዲህ ብለው ጠየቁ? በመጠን የተመረጡ መኪና ቤት የተጠቀሱ ምግቦች ይህ መሆኑ ስለ መጠየቅ ይፈልጋሉ? እኔ በ $50 ብቻ መጠቀም እና የ cocktails ይጠቀማ? ከ 2-3 ሜ. We’ve had a long day of traveling and need to blow off some steam! You’re welcome to join us. Cheers!
Paragraf 2 - እንዴት መገልገያ ይጠቀማል? እንዴት እንደሚከተሉ መጠቀም እና የ dock ስር ይጠቀማል? በ መጠን የ upper deck ይደርሳል እና በ ግራ ተጨማሪ የ champagne መጠጥ የ young hooligans ከ ተጨማሪ በ ቀን ይጠቀማ? That’s dangerous and not my kind of fun!
ChatGPT Plus Lebih Akurat
Delapan bulan setelah uji pertama, atau tepatnya di bulan Februari 2024, PCMag kembali melakukan blind test tapi kali ini mereka hanya membandingkan di antara versi ChatGPT. Para peneliti juga memeriksa hasil terjemahan Google Translate untuk memeriksa apakah peringkatnya masih lebih rendah.
Seperti diketahui, OpenAI menawarkan versi gratis yang menggunakan model GPT-3.5. Sementara versi Plus memungkinkan pengguna ChatGPT menggunakan model yang lebih canggih, GPT-4 maupun mengakses penawaran baru yang disebut GPT. Model AI ini bisa disesuaikan kebutuhan dan dilatih untuk tugas-tugas tertentu, seperti menerjemahkan bahasa.
Layanan penerjemah yang digunakan: Google Translate, ChatGPT gratisan (GPT-3.5), ChatGPT berbayar (GPT-4), ChatGPT berbayar (tersedia di GPTStore untuk bahasa tertentu).