Akademisi telah melatih algoritma machine learning untuk mendeteksi makalah ilmiah buatan ChatGPT.
Hasilnya, ChatGPT mampu membuat makalah ilmiah dengan tingkat akurasi lebih dari 99 persen.
Para akademisi itu takjub kemampuan ChatGPT meningkat secara dramatis dalam meniru tulisan manusia dalam waktu singkat. Hal itu membuat sulit bagi orang untuk mengetahui apakah teks itu diproduksi oleh mesin atau manusia.
Guru dan dosen kompak khawatir karena para siswa dapat menggunakan ChatGPT untuk mengerjakan tugasya dan cara itu termasuk dalam unsur plagiarisme.
Apalagi, software yang dirancang untuk mendeteksi teks yang dihasilkan AI seringkali tidak dapat diandalkan.
"Saat ini, ada beberapa masalah yang cukup mencolok dengan tulisan AI," kata Heather Desaire, penulis pertama makalah yang diterbitkan dalam jurnal Cell Reports Physical Science, dan seorang profesor kimia di University of Kansas, dalam sebuah pernyataan.
"Salah satu masalah terbesar adalah ia mengumpulkan teks dari banyak sumber dan tidak ada pemeriksaan akurasi apa pun - ini seperti permainan Two Truths and a Lie," ujarnya.
Desaire dan rekannya menyusun kumpulan data untuk melatih dan menguji algoritme guna mengklasifikasikan makalah yang ditulis oleh ilmuwan dan oleh ChatGPT. Mereka memilih 64 artikel "perspektif" - gaya artikel khusus yang diterbitkan dalam jurnal sains - mewakili beragam topik dari biologi hingga fisika, dan mendorong ChatGPT untuk membuat paragraf yang menjelaskan penelitian yang sama untuk membuat 128 artikel palsu. Sebanyak 1.276 paragraf dihasilkan oleh AI dan digunakan untuk melatih pengklasifikasi.
Selanjutnya, tim menyusun dua kumpulan data lagi, masing-masing berisi 30 artikel perspektif nyata dan 60 makalah yang ditulis oleh ChatGPT, dengan total 1.210 paragraf untuk menguji algoritme.
Eksperimen awal melaporkan pengklasifikasi mampu membedakan antara tulisan sains nyata dari manusia dan makalah yang dihasilkan AI 100 persen setiap saat. Akurasi pada tingkat paragraf individu, bagaimanapun, turun sedikit – menjadi 92 persen, seperti yang diklaim.
Ilmuwan lebih cenderung memiliki kosakata yang lebih kaya dan menulis paragraf yang lebih panjang yang berisi kata-kata yang lebih beragam daripada mesin. Mereka juga lebih sering menggunakan tanda baca seperti tanda tanya, tanda kurung, titik koma daripada ChatGPT, kecuali tanda ucapan yang digunakan untuk kutipan.
ChatGPT juga kurang tepat, dan tidak memberikan informasi spesifik mengenai tokoh atau nama ilmuwan lain dibandingkan dengan manusia. Makalah sains nyata juga menggunakan bahasa yang lebih samar – seperti "namun", "tetapi", "walaupun", serta "ini" dan "karena".