Dalam uji kedua ini, para peneliti akan menerjemahkan teks ke dalam bahasa Polandia, Perancis, Korea, Jerman, Arab, dan Tagalog. Bahasa Jerman tidak diikutsertakan dalam uji pertama, dan peneliti tidak mencakupkan bahasa Spanyol dan Amharic dalam tes kedua karena isu ketersediaan.
Paragraf yang diterjemahkan diambil dari novel Harry Potter - "Harry felt as though he had barely lain down to sleep in Ron’s room when he was being shaken awake by Mrs. Weasley. “Time to go, Harry, dear,” she whispered, moving away to wake Ron. Harry felt around for his glasses, put them on, and sat up. It was still dark outside. Ron muttered indistinctly as his mother roused him. At the foot of Harry’s mattress he saw two large, disheveled shapes emerging from tangles of blankets. “’S’ time already?” said Fred groggily."
Dalam uji kedua ini, hampir setiap saat ChatGPT Plus menghasilkan terjemahan terbaik. Para penguji memberi peringkat satu pada GPT-4 untuk lima dari enam bahasa. GPT-4 yang dimaksud di sini adalah baik model yang hanya dapat diakses dengan akun Plus maupun GPT khusus bahasa yang ada di GPTStore.
Menurut para peneliti, meskipun hasil ini tidak bisa dikategorikan definitif karena ukuran sampel yang kecil, konsistensi hasil tampaknya menunjukkan bahwa model yang lebih canggih dan terlatih memang dapat memberikan perbedaan.
Khususnya bahasa Tagalog, menurut penguji, GPT for Tagalog memberikan hasil terbaik karena sebagian besar tata bahasanya benar dan pikiran utama dalam tiap kalimat dapat diterjemahkan dengan benar.
Yang mengejutkan, kali ini performa Google Translate kali ini dinilai lebih baik dari delapan bulan lalu. Layanan penerjemah dari Google ini menduduki peringkat satu untuk bahasa Jerman dan peringkat dua untuk Tagalog dan Arab.
Namun ChatGPT versi gratis, yang menggunakan GPT-3.5 memperoleh peringkat yang rendah. Meski berhasil meraih peringkat kedua untuk penerjemahan ke bahasa Jerman, ChatGPT versi gratis hanya menempati posisi ketiga atau terakhir.
Tak mau berspekulasi bahwa OpenAI dengan sengaja membatasi kemampuan ChatGPT versi gratisan ini, PCMag menilai secara keseluruhan ChatGPT versi gratis dan Google Terjemahan memiliki kinerja yang kira-kira setara dalam pengujian kedua ini.
Baca juga: Keren! AWS Latih Bahasa Model AI LLM dengan Bahasa Indonesia
Baca juga: OpenAI ChatGPT dkk Investasi ke Startup AI Pembuat Robot Humanoid