Baca juga: Contoh Artificial Intelligence untuk Percepat Pertolongan Pertama
Namun Sparrow bukannya tanpa kelemahan. Model AI ini terkadang “tidak nyambung” atau memberikan jawaban yang acak. Bahkan ada peserta tertentu yang mampu membuat Sparrow melanggar aturan dalam 8% dari waktu. Sebenarnya ini sebuah kemajuan, karena model sebelumnya bisa melanggar aturan tiga kali lebih banyak daripada Sparrow.
Menurut Sara Hooker, yang mengepalai Cohere for AI, untuk bidang di mana akan sangat berbahaya bagi manusia jika agen AI yang menjawab, hasil yang diberikan Sparrow mungkin oleh banyak orang masih dianggap memiliki kegagalan tinggi.
Ditambah lagi, model ini dibangun dengan model bahasa berbasis bahasa Inggris. Padahal, menurut Sara seperti dikutip dari MIT Technology Review, kita hidup di dunia di mana teknologi harus melayani dalam berbagai bahasa.
Sementara menurut Douwe Kiela, seorang periset di startup AI, Hugging Face, mengandalkan Google untuk mencari informasi dapat mengarahkan Sparrow pada bias yang tidak diketahui, bahkan sulit diungkap. “Mengingat bahwa semuanya adalah sumber tertutup,” ujar Douwe Kiela.