NVIDIA mengumumkan kolaborasi dengan para pemimpin teknologi di AS untuk membantu pengembangan aplikasi AI khusus menggunakan produk-produknya dalam acara NVIDIA AI Summit 2024 di Washington, AS. Dalam ajang itu, NVIDIA memamerkan NVIDIA NIM Agent Blueprints, NVIDIA NeMo, dan NVIDIA NIM microservices.
NVIDIA menyebut perusahaan konsultan teknologi ternama seperti Accenture, Deloitte, Quantiphi, dan SoftServe mulai mengadopsi teknologi NVIDIA NIM Agent Blueprints, NVIDIA NeMo, dan NIM microservices untuk membantu klien di sektor kesehatan, manufaktur, telekomunikasi, layanan keuangan, dan ritel dalam menciptakan agen AI generatif dan asisten virtual khusus.
Selain itu, perusahaan besar seperti Cadence, Cloudera, DataStax, Google Cloud, NetApp, SAP, ServiceNow, dan Teradata juga memanfaatkan NVIDIA NIM untuk meningkatkan platform data dan AI mereka. NVIDIA juga mengumumkan bahwa layanan NeMo microservices mendukung alur kerja kustomisasi model dari awal hingga akhir, memungkinkan perusahaan mengembangkan aplikasi AI generatif lebih cepat dan dengan biaya yang lebih rendah.
NeMo microservices mencakup fitur seperti NeMo Customizer, NeMo Evaluator, dan NeMo Guardrails, yang juga dapat diintegrasikan dengan NIM microservices untuk membantu pengembang dalam mengevaluasi model AI.
Selain itu, NVIDIA memperkenalkan NIM Agent Blueprints, referensi alur kerja yang memandu pengembangan aplikasi berbasis NVIDIA NeMo dan NIM microservices yang mempercepat implementasi AI, seperti untuk ekstraksi data perusahaan. Layanan ini tersedia untuk keamanan container software, dan pengembang dapat bereksperimen dengan NeMo, NIM microservices, serta NIM Agent Blueprints secara gratis.
Apa itu Microservice NVIDIA NIM?
Negara-negara di seluruh dunia sedang mengupayakan sovereign AI untuk menghasilkan AI (artificial intelligence — kecerdasan buatan) dengan menggunakan infrastruktur komputasi, data, tenaga kerja, dan jaringan bisnis mereka sendiri untuk memastikan sistem AI yang selaras dengan aneka nilai, hukum, dan kepentingan lokal.
Dalam rangka mendukung upaya ini, NVIDIA telah mengumumkan ketersediaan empat microservice NVIDIA NIM baru di Jepang dan Taiwan, yang memungkinkan para pengembang untuk lebih mudah membangun dan men-deploy berbagai aplikasi AI generatif (generative AI) berkinerja tinggi. Para microservice yang dimaksud mendukung model-model komunitas populer yang disesuaikan untuk memenuhi kebutuhan regional. Mereka meningkatkan interaksi pengguna melalui pemahaman yang akurat dan respons yang lebih baik berdasarkan bahasa dan warisan budaya lokal.
Di kawasan Asia-Pasifik saja, menurut ABI Research, pendapatan peranti lunak AI generatif diperkirakan akan mencapai US$48 miliar pada tahun 2030. Besaran ini naik signifikan dari US$5 miliar yang diperkirakan akan dicapai pada tahun 2024. Llama-3-Swallow-70B, yang dilatih dengan data Jepang; dan Llama-3-Taiwan-70B, yang dilatih dengan data Mandarin; adalah model bahasa regional yang memberikan pemahaman lebih dalam akan berbagai hukum, peraturan, dan adat istiadat setempat.
Rangkaian model RakutenAI 7B, yang dibangun di atas Mistral-7B; dilatih dengan data Inggris dan Jepang serta tersedia sebagai dua microservice NIM yang berbeda untuk Chat dan Instruct. Model-model ini telah mencapai nilai tertinggi di antara aneka open Japanese LLM (large language model). Mereka mendapatkan nilai rata-rata tertinggi dalam benchmark LM Evaluation Harness yang dilakukan dari Januari hingga Maret 2024.
Melatih suatu LLM pada bahasa daerah meningkatkan efektivitas keluarannya dengan memastikan komunikasi yang lebih akurat dan bernuansa. Pasalnya, model yang dimaksud jadi lebih memahami dan mencerminkan seluk-beluk budaya dan bahasa daerah tersebut.
Model-model yang dilatih dengan bahasa daerah yang disebutkan di atas menawarkan kinerja terdepan untuk pemahaman bahasa Jepang dan Mandarin, tugas-tugas hukum regional, menjawab pertanyaan, serta penerjemahan dan peringkasan bahasa dibandingkan dengan LLM dasar seperti Llama 3.
Negara-negara di seluruh dunia — mulai dari Singapura, Uni Emirat Arab, Korea Selatan, dan Swedia hingga Prancis, Italia, dan India — berinvestasi dalam infrastruktur sovereign AI.Keempat microservice NIM baru NVIDIA itu (akan) memungkinkan para bisnis, lembaga pemerintah, dan universitas di aneka negara untuk menge-host native LLM di lingkungan mereka sendiri, sehingga memungkinkan para pengembang untuk membangun berbagai kopilot, chatbot, dan asisten AI yang canggih.
Mengembangkan Berbagai Aplikasi dengan Aneka Microservice Sovereign AI NIM
Para pengembang dapat dengan mudah men-deploy model-model sovereign AI, yang dikemas sebagai sejumlah microservice NIM, ke dalam produksi sembari mencapai kinerja yang lebih baik pula. Berbagai microservice bersangkutan, tersedia dengan NVIDIA AI Enterprise, dioptimalkan untuk inferensi dengan open-source library NVIDIA TensorRT-LLM.
Aneka microservice NIM untuk Llama 3 70B — yang digunakan sebagai model dasar untuk microservice NIM Llama-3-Swallow-70B dan Llama-3-Taiwan-70B yang baru — dapat memberikan throughput hingga lima kali lebih tinggi. Hal ini menurunkan total biaya untuk menjalankan model-model dalam produksi dan memberikan pengalaman pengguna yang lebih baik dengan mengurangi latensi. Para microservice NIM baru yang dimaksud sudah tersedia saat ini sebagai sejumlah API (application programming interface) yang di-host.
Baca Juga: Google Gemini 1.5 Flash-8B, Model AI Terbaru yang Cepat dan Efisien