Penulis: Kari Briski (Vice President, AI Software, NVIDIA)
Negara-negara di seluruh dunia sedang mengupayakan sovereign AI untuk menghasilkan AI (artificial intelligence — kecerdasan buatan) dengan menggunakan infrastruktur komputasi, data, tenaga kerja, dan jaringan bisnis mereka sendiri untuk memastikan sistem AI yang selaras dengan aneka nilai, hukum, dan kepentingan lokal.
Dalam rangka mendukung upaya ini, NVIDIA telah mengumumkan ketersediaan empat microservice NVIDIA NIM baru di Jepang dan Taiwan, yang memungkinkan para pengembang untuk lebih mudah membangun dan men-deploy berbagai aplikasi AI generatif (generative AI) berkinerja tinggi.
Para microservice yang dimaksud mendukung model-model komunitas populer yang disesuaikan untuk memenuhi kebutuhan regional. Mereka meningkatkan interaksi pengguna melalui pemahaman yang akurat dan respons yang lebih baik berdasarkan bahasa dan warisan budaya lokal.
Di kawasan Asia-Pasifik saja, menurut ABI Research, pendapatan peranti lunak AI generatif diperkirakan akan mencapai US$48 miliar pada tahun 2030. Besaran ini naik signifikan dari US$5 miliar yang diperkirakan akan dicapai pada tahun 2024. Llama-3-Swallow-70B, yang dilatih dengan data Jepang; dan Llama-3-Taiwan-70B, yang dilatih dengan data Mandarin; adalah model bahasa regional yang memberikan pemahaman lebih dalam akan berbagai hukum, peraturan, dan adat istiadat setempat.
Rangkaian model RakutenAI 7B, yang dibangun di atas Mistral-7B; dilatih dengan data Inggris dan Jepang serta tersedia sebagai dua microservice NIM yang berbeda untuk Chat dan Instruct. Model-model ini telah mencapai nilai tertinggi di antara aneka open Japanese LLM (large language model). Mereka mendapatkan nilai rata-rata tertinggi dalam benchmark LM Evaluation Harness yang dilakukan dari Januari hingga Maret 2024.
Melatih suatu LLM pada bahasa daerah meningkatkan efektivitas keluarannya dengan memastikan komunikasi yang lebih akurat dan bernuansa. Pasalnya, model yang dimaksud jadi lebih memahami dan mencerminkan seluk-beluk budaya dan bahasa daerah tersebut.
Model-model yang dilatih dengan bahasa daerah yang disebutkan di atas menawarkan kinerja terdepan untuk pemahaman bahasa Jepang dan Mandarin, tugas-tugas hukum regional, menjawab pertanyaan, serta penerjemahan dan peringkasan bahasa dibandingkan dengan LLM dasar seperti Llama 3.
Negara-negara di seluruh dunia — mulai dari Singapura, Uni Emirat Arab, Korea Selatan, dan Swedia hingga Prancis, Italia, dan India — berinvestasi dalam infrastruktur sovereign AI.
Keempat microservice NIM baru NVIDIA itu (akan) memungkinkan para bisnis, lembaga pemerintah, dan universitas di aneka negara untuk menge-host native LLM di lingkungan mereka sendiri, sehingga memungkinkan para pengembang untuk membangun berbagai kopilot, chatbot, dan asisten AI yang canggih.
Mengembangkan Berbagai Aplikasi dengan Aneka Microservice Sovereign AI NIM
Para pengembang dapat dengan mudah men-deploy model-model sovereign AI, yang dikemas sebagai sejumlah microservice NIM, ke dalam produksi sembari mencapai kinerja yang lebih baik pula.
Berbagai microservice bersangkutan, tersedia dengan NVIDIA AI Enterprise, dioptimalkan untuk inferensi dengan open-source library NVIDIA TensorRT-LLM.
Aneka microservice NIM untuk Llama 3 70B — yang digunakan sebagai model dasar untuk microservice NIM Llama-3-Swallow-70B dan Llama-3-Taiwan-70B yang baru — dapat memberikan throughput hingga lima kali lebih tinggi. Hal ini menurunkan total biaya untuk menjalankan model-model dalam produksi dan memberikan pengalaman pengguna yang lebih baik dengan mengurangi latensi.
Para microservice NIM baru yang dimaksud sudah tersedia saat ini sebagai sejumlah API (application programming interface) yang di-host.
Memanfaatkan NVIDIA NIM untuk Hasil yang Lebih Cepat dan Akurat
Berbagai microservice NIM mempercepat deployment, meningkatkan kinerja secara keseluruhan, dan memberikan keamanan siber (cyber security) yang diperlukan untuk organisasi di seluruh industri global, termasuk kesehatan, keuangan, manufaktur, pendidikan, dan hukum.
Sebagai contoh; sebuah perusahaan AI Jepang, Preferred Networks; menggunakan Llama-3-Swallow-70B untuk mengembangkan sebuah model khusus perawatan kesehatan yang dilatih dengan korpus data medis Jepang yang unik. Model yang disebut Llama3-Preferred-MedSwallow-70B ini memiliki nilai tertinggi dalam Ujian Nasional untuk Dokter di Jepang.
CGMH (Chang Gung Memorial Hospital), salah satu rumah sakit terkemuka di Taiwan; membangun AIIS (AI inference service) yang dibuat khusus untuk memusatkan semua aplikasi LLM dalam sistem rumah sakit. Dengan menggunakan Llama-3-Taiwan-70B, rumah sakit ini meningkatkan efisiensi staf medis yang berada pada garis depan dengan bahasa medis yang lebih bernuansa dan dapat dipahami oleh para pasien.
Pegatron yang berbasis di Taiwan, sebuah perusahaan pembuat perangkat elektronik; akan mengadopsi microservice NIM Llama-3-Taiwan-70B untuk aplikasi yang menghadap ke dalam dan ke luar. Pegatron telah mengintegrasikannya dengan PEGAAi Agentic AI System untuk mengotomatisasi proses serta meningkatkan efisiensi dalam manufaktur dan operasi.
NIM Llama-3-Taiwan-70B juga digunakan oleh produsen petrokimia global Chang Chun Group, perusahaan PCB (printed circuit board) terkemuka di dunia Unimicron, perusahaan media yang berfokus pada teknologi TechOrange, perusahaan layanan kontrak daring LegalSign.ai, dan perusahaan rintisan AI generatif APMIC. Perusahaan-perusahaan ini juga berkolaborasi dalam open model.
Menciptakan Model-Model Khusus Perusahaan dengan NVIDIA AI Foundry
Meskipun model-model AI regional dapat memberikan respons yang bernuansa budaya dan terlokalisasi, para perusahaan masih perlu menyempurnakan model-model tersebut untuk proses bisnis dan ranah keahlian mereka.
NVIDIA AI Foundry adalah sebuah platform dan layanan yang mencakup aneka model fondasi populer, NVIDIA NeMo untuk penyempurnaan, dan kapasitas khusus di NVIDIA DGX Cloud untuk memberikan solusi lengkap bagi para pengembang dalam membuat suatu model fondasi yang customized dan dikemas sebagai sebuah microservice NIM.
Selain itu, para pengembang yang menggunakan NVIDIA AI Foundry memiliki akses ke platform perangkat lunak NVIDIA AI Enterprise, yang memberikan keamanan, stabilitas, dan dukungan untuk penerapan produksi.
NVIDIA AI Foundry memberikan para pengembang alat-alat yang diperlukan untuk membangun dan menggunakan berbagai microservice NIM berbahasa daerah mereka sendiri dengan lebih cepat dan mudah, untuk menenagai aneka aplikasi AI, sehingga memastikan hasil yang sesuai dengan budaya dan bahasa para penggunanya.