Teknologi generative AI (artificial intelligence) semakin banyak dimanfaatkan oleh orang-orang untuk membantu berbagai pekerjaannya.
Salah satu generative AI yang populer saat ini adalah Gemini AI dari Google. Dengan kemampuan canggih yang ditawarkannya, Gemini AI menarik perhatian banyak orang untuk berlangganan.
Layanan ini bisa dimanfaatkan untuk melakukan berbagai tugas, seperti menghasilkan teks, gambar, audio, video, dan bahkan coding.
Namun, sebelum Anda memutuskan untuk berlangganan, sekiranya memahami terlebih dahulu beberapa aspek penting dari Gemini AI, termasuk penggunaan token.
Apa itu Token?
Dalam konteks Gemini AI dan model generative AI lainnya, token adalah unit terkecil dari informasi yang diproses.
Token dapat berupa karakter tunggal, seperti ‘A’, atau kata utuh, seperti ‘mobil’. Kata-kata yang lebih panjang akan dipecah menjadi beberapa token.
Kumpulan semua token yang digunakan oleh model generative AI disebut kosakata, sementara proses pemisahan teks menjadi token disebut tokenization.
Dalam acara ‘Let’s Talk AI’ yang baru-baru ini digelar Google Cloud di Singapura, Caroline Yap (Managing Director, Global AI Business di Google Cloud) mengatakan, "Token adalah cara LLMs (large language models) ini mengetahui cara memproses informasi dan hal-hal yang Anda masukkan. Dan token juga dapat bervariasi untuk gambar. Jadi misalnya, gambar deteksi kanker payudara dan sebagainya ini bervariasi. Jadi ini bukan satu ukuran yang cocok untuk semua. Setiap model menggunakan jumlah token rata-rata yang berbeda."
Untuk model Gemini AI, Caroline menjelaskan bahwa rata-rata 1,3 token digunakan per kata dalam bahasa Inggris, dan hingga empat token per kata dalam bahasa Arab. “Dan terkadang bisa lebih,” tambahnya.
Caroline Yap (Managing Director, Global AI Business di Google Cloud).
Context Window di Gemini AI
Gemini AI, khususnya model Gemini 1.5 Pro, memiliki fitur menonjol yaitu context window yang sangat luas, mencapai 2 juta token. Sebelumnya, jumlah token ini hanya mencapai 1 juta.