Seperti diberitakan sebelumnya, perusahaan AI besutan Elon Musk, xAI telah merilis chatbot AI mirip ChatGPT bernama Grok. Seperti apa kinerja Grok?
Di situs webnya, xAI menulis, Grok adalah artificial intelligence (AI) yang dikembangkan sebagai “Hitchhiker Guide to The Galaxy” sehingga memiliki kemampuan untuk menjawab pertanyaan tentang hampir semua hal.
Kelebihan Grok yang digadang-gadang Elon Musk adalah memiliki pengetahuan real time yang diperolehnya melalui platform X (sebelumnya bernama Twitter).
Selain cerdas, menurut Musk, Grok juga sengaja dibuat memiliki sedikit "jiwa pemberontak" tapi humoris. Bahkan xAI menyatakan, chatbot AI-nya bersedia menjawab pertanyaan yang sedikit “pedas” yang umumnya tidak akan dijawab oleh sebagian besar sistem AI lainnya.
Pada situs web-nya, xAI menuliskan dua tujuan pengembangan Grok. Pertama, chatbot AI ini akan berperan sebagai tool yang memberikan manfaat maksimal bagi kemanusiaan. “Kami percaya, adalah penting untuk mendesain tool AI yang bermanfaat bagi orang dengan berbagai latar belakang dan pandangan politik. Kami pun ingin memberdayakan pengguna kami dengan tool AI, sesuai dengan hukum,” tulis xAI.
Tidak hanya untuk membantu masyarakat secara umum, Grok juga dikembangkan untuk mendukung riset dan inovasi. “Kami ingin Grok juga berperan sebagai asisten riset yang hebat bagi siapa saja, membantu mereka secara cepat mengakses informasi yang releven, memroses data, dan menghasilkan ide-ide baru,” tulis xAI.
Ungguli GPT-3.5
Hasil benchmark Grok-1, unggul dari GPT-3.5
Yang menarik adalah model bahasa besar (large language model/LLM) yang menopang Grok, yaitu Grok-1, dikembangkan dalam waktu empat bulan saja. Setelah resmi diluncurkan Elon Musk pada bulan Maret lalu, xAI melatih purwarupa LLM-nya (Grok-0) dengan 33 miliar parameter. Iterasi pertama ini disebut xAI memiliki kemampuan yang mirip LLaMA 2 (70 miliar parameter) pada benchmark standar model bahasa, tapi sumber daya yang digunakan lebih sedikit (hanya separuh dari LLaMA 2).
Menurut xAI, peningkatan yang signifikan terjadi dalam dua bulan terakhir untuk kemampuan penalaran (reasoning) dan coding. Kemajuan ini yang kemudian menghasilkan Grok-1 yang mampu meraih skor benchmark 63,2% untuk tugas coding HumanEval dan 73% untuk MMLU.
xAI juga membeberkan hasil serangkaian evaluasi yang dilakukan terhadap Grok-1 menggunakan beberapa benchmark machine learning standar yang dirancang untuk menilai kemampuan matematika dan nalar (reasoning).
GSM8k: Soal kata matematika tingkat sekolah menengah, (Cobbe dkk. 2021), menggunakan perintah chain-of-thought..