Kembali menekankan bahwa industri komputasi sedang mengalami dua transisi secara bersamaan, accelerated computing dan AI (artificial intelligence)/generative AI; pada COMPUTEX 2024 di Taipei, Taiwan, NVIDIA via keynote-nya pada 2 Juni 2024 lalu memaparkan sejumlah inovasi yang bisa membantu organisasi dalam transisi bersangkutan dan mendapatkan manfaat darinya. Apalagi NVIDIA meyakini kedua transisi yang dimaksud akan mendorong terjadinya revolusi industri berikutnya. Dua di antara inovasi yang dipaparkan adalah NIM (NVIDIA Inference Microservice) dan NVIDIA Blackwell.
Accelerated computing merupakan pendekatan komputasi yang menggunakan akselerator atau prosesor spesialis/peranti keras khusus bersama dengan prosesor (CPU) untuk meningkatkan kinerja komputasi secara signifikan. Alih-alih seluruh tugas dieksekusi oleh prosesor; tugas-tugas tertentu yang eksekusinya lebih efisien oleh akselerator atau prosesor spesialis/peranti keras khusus (selanjutanya disebut akselerator) yang dimaksud, diberikan pada akselerator tersebut. GPU merupakan salah satu akselerator yang banyak dipakai pada accelerated computing.
Generative AI seperti sebutannya adalah AI yang bisa menghasilkan konten baru, misalnya teks, suara, dan gambar. Generative AI berbeda dengan predictive AI yang lebih dulu lazim digunakan. Predictive AI lebih untuk memprediksi yang akan terjadi berdasarkan data sebelumnya. Generative AI merupakan salah satu yang eksekusinya lebih efisien dilakukan oleh akselerator dibandingkan oleh prosesor. Bahkan, NVIDIA mengeklaim tanpa accelerated computing, generative AI yang kini sudah ada belum akan tercapai; tanpa accelerated computing, generative AI seperti yang tersedia sekarang baru akan tercapai pada masa depan.
NIM (NVIDIA Inference Microservice) memudahkan organisasi maupun pengembang dalam memanfaatkan generative AI untuk menenagai aplikasi.
“Kini, hampir selama dua dekade kami telah mengerjakan perihal accelerated computing. CUDA memberikan tambahan kepada suatu CPU, mengambil dan mengakselerasi pekerjaan yang suatu prosesor spesialis bisa lakukan secara jauh lebih baik. Bahkan, kinerjanya sangat luar biasa sehingga sudah sangat jelas sekarang sejalan dengan CPU scaling telah melambat dan akhir, secara substansial berhenti, kita sebaiknya mengakselerasi semuanya [menggunakan accelerated computing untuk semuanya],” ujar Jensen Huang (Founder dan CEO NVIDIA) sembari menambahkan accelerated computing bisa memberikan kinerja seratus kalinya general purpose computing konvensional dengan konsumsi daya hanya tiga kalinya dan tambahan biaya hanya setengahnya.
“Kita sekarang telah tiba bukan pada era AI melainkan pada suatu era generative AI. Namun, apa yang sesungguhnya penting dari ini? Komputer ini [server dengan accelerated computing dari NVIDIA] yang awalnya sebagai sebuah komputer super kini sudah berevolusi menjadi suatu pusat data dan memproduksi satu hal, dia memproduksi token. Dia adalah sebuah pabrik AI … Nikola Tesla menciptakan sebuah generator AC, kami menciptakan sebuah generator AI. Generator AC menghasilkan elektron, generator AI NVIDIA menghasilkan token [AI]. Keduanya memiliki peluang pasar yang besar, keduanya sepenuhnya fungible pada hampir seluruh industri, dan itulah mengapa dia adalah suatu revolusi industri baru,” sebut Jensen Huang. “Apa yang menyebabkan, dimulai dengan accelerated computing, berakibat pada AI, berakibat pada generative AI, dan sekarang sebuah revolusi industri.”
NIM
Pabrik AI yang mendorong revolusi industri baru diklaim mengubah pula model komputasi atau model penggunaan komputer: dari yang sekadar perkakas yang lebih untuk mengambil data yang sudah tersedia terlebih dahulu menjadi yang menghasilkan keahlian dan data baru. Komputer nantinya tidak lagi digunakan sekadar menjalankan peranti lunak tanpa AI atau dengan sedikit AI seperti yang lazim dilakukan dari dulu hingga saat ini, melainkan digunakan menjalankan peranti lunak yang ditenagai generative AI. NIM bisa membantu organisasi maupun pengembang untuk memanfaatkan generative AI menenagai aplikasi.
NIM diumumkan NVIDIA pada Maret 2024 dan sudah bisa diunduh. Mengutip NVIDIA, NVIDIA NIM adalah bagian dari NVIDIA AI Enterprise dan merupakan sekumpulan microservice untuk inference yang terakselerasi yang membolehkan para organisasi untuk menjalankan aneka model AI, termasuk generative AI, pada berbagai GPU NVIDIA di mana saja, baik di cloud, on-premises, workstation, maupun PC. NIM menyediakan model-model AI sebagai kontainer-kontainer teroptimasi yang bisa dijalankan tidak hanya di cloud dan pusat data on-premises, melainkan juga secara lokal di workstation dan PC. NVIDIA mengeklaim NIM memberikan suatu cara yang simpel dan terstandarisasi bagi organisasi dan pengembang untuk menambah generative AI ke aneka aplikasi.
Jensen Huang menunjukkan NVIDIA GB200 Grace Blackwell Superchip yang mengubungkan dua GPU NVIDIA Blackwell dengan satu CPU NVIDIA Grace memanfaatkan interkoneksi NVIDIA NVLink-C2C. NVIDIA GB200 Grace Blackwell Superchip menjadi salah satu sorotan NVIDIA pada COMPUTEX 2024.
Saat sesi tech demo yang diselenggarakan NVIDIA beberapa hari kemudian, NVIDIA menyebutkan bahwa tech demo Covert Protocol yang ditampilkannya kali ini telah memanfaatkan NIM dan menjalankan dua model AI secara lokal pada PC yang ditenagai kartu grafis NVIDIA GeForce RTX. Kedua model itu adalah yang untuk menerjemahkan suara pengguna ketika berbicara ke mikrofon dan melakukan transkripsi serta yang untuk animasi wajah karakter seperti sinkronisasi gerak bibir. Beberapa bulan yang lalu, tech demo serupa, seluruh model AI-nya dijalankan di cloud. Menjalankan inference dari AI secara lokal menawarkan sejumlah kelebihan seperti latensi yang lebih rendah dan tidak perlunya koneksi internet.
Lebih lanjut NVIDIA juga menegaskan bahwa lebih dari satu NIM bisa dipakai oleh organisasi dan pengembang menenagai suatu aplikasi, seperti lazimnya microservice. Organisasi dan pengembang bisa menggunakan beberapa NIM untuk memberikan fungsi-fungsi yang dinginkan pada suatu aplikasi. Bagi yang ingin mencoba atau menggunakan NIM, bisa mengunjungi ai.nvidia.com. Perihal tech demo Covert Protocol pada COMPUTEX 2024 yang mendemokan ACE (Avatar Cloud Engine) dari NVIDIA dan AI engine dari Inworld bisa dilihat di sini.
NVIDIA Blackwell
NVIDIA Blackwell adalah arsitektur GPU NVIDIA terkini. NVIDIA Blackwell diumumkan pada Maret 2024 dengan fokus ke produk untuk pusat data. Pada segmen pusat data, NVIDIA Blackwell adalah penerus dari NVIDIA Hopper. Sebagai generasi berikutnya, NVIDIA Blackwell sewajarnya menghadirakan sejumlah peningkatan dibandingkan NVIDIA Hopper. Salah satunya adalah Transformer Engine generasi kedua. Tidak hanya bisa membuat NVIDIA Blackwell menawarkan kinerja lebih tinggi untuk tingkat akurasi yang sama, Transformer Engine generasi kedua juga menghadirkan format angka FP4. NVIDA menyebutkan FP4 bisa menggandakan kinerja sembari mempertahankan tingkat akurasi yang tinggi.