NVIDIA memperkenalkan teknologi baru yang memungkinkan NPC ngobrol dengan karakter pemain dalam game secara real time, melalui fitur a la ChatGPT.
Teknologi baru yang menggabungkan generative AI dan cloud ini diberi nama NVIDIA ACE (Avatar Cloud Engine) for Games. Diperkenalkan oleh CEO NVIDIA, Jensen Huang, saat menyampaikan keynote di ajang Computex, Taiwan, custom AI model ini akan memungkinkan para developer membangun dan mendeploy ucapan (speech), percakapan, dan animasi model AI pada game. Bahkan para pengembang middleware dan tools juga dapat memanfaatkannya untuk software yang mereka kembangkan.
Menggunakan ACE for Games, pengembang game dapat memasukkan non-playable character (NPC) yang bisa berbicara dengan karakter pemain secara real-time. Percakapan ini berupa dialog tanpa skrip yang ditenagai chatbot AI mirip ChatGPT, Bing Chat, dan Bard. Dilaporkan oleh Neowin, teknologi ini juga memungkinkan animasi wajah NPC disesuaikan dengan dialog tanpa skrip tersebut.
“Generative AI berpotensi merevolusi interaksi para pemain dengan karakter dalam game dan secara dramatis meningkatkan kedalaman atau immersion dari game,” ucap John Spitzer, Vice President of Developer and Performance Technology, NVIDIA dalam keterangan tertulis.
Ia menambahkan, ACE for Games dibangun berdasarkan keahlian NVIDIA di bidang AI dan pengalaman perusahaan bekerja sama dengan pengembang game selama puluhan tahun. Inovasi ini menurutnya menjadikan NVIDIA sebagai pelopor dalam penggunaan AI generatif di game.
ACE for Games mengusung AI foundation model untuk speech, percakapan, dan animasi karakter, yang terdiri dari:
NVIDIA NeMo™ untuk membangun, menyesuaikan (customize), dan men-deploy model bahasa, menggunakan data proprietary. Large language modelnya dapat disesuaikan dengan pengetahuan dan latar belakang karakter.
NVIDIA Riva untuk automatic speech recognition dan text-to-speech yang akan mengaktifkan percakapan langsung antara NPC dan karakter pemain.
NVIDIA Omniverse Audio2Face™ untuk menciptakan animasi wajah karakter game secara instan sesuai speech track. Audio2Face juga mengusung konektor Omniverse untuk Unreal Engine 5, sehingga para pengembang game dapat menambahkan animasi wajah langsung pada karakter MetaHuman.
Menurut NVIDIA, para pengembang game dapat menggunakan seluruh komponen ACE for Games atau mengambil apa yang dibutuhkan.
Dikutip dari Neowin, karakter NPC dihidupkan melalui teknik model alignment yang dilakukan di platform NeMo. Pertama, pengembang perlu menggunakan behavior cloning untuk mengaktifkan model bahasa dasar untuk melakukan tugas-tugas memainkan peran sesuai instruksi.
Untuk lebih menyelaraskan perilaku NPC, nantinya para pengembang dapat menerapkan teknik RLHF (reinforcement learning from human feedback) untuk mendapatkan feedback real time dari para desainer dalam proses pengembangan game.