Aneka microservice NIM untuk Llama 3 70B — yang digunakan sebagai model dasar untuk microservice NIM Llama-3-Swallow-70B dan Llama-3-Taiwan-70B yang baru — dapat memberikan throughput hingga lima kali lebih tinggi. Hal ini menurunkan total biaya untuk menjalankan model-model dalam produksi dan memberikan pengalaman pengguna yang lebih baik dengan mengurangi latensi.
Para microservice NIM baru yang dimaksud sudah tersedia saat ini sebagai sejumlah API (application programming interface) yang di-host.
Memanfaatkan NVIDIA NIM untuk Hasil yang Lebih Cepat dan Akurat
Berbagai microservice NIM mempercepat deployment, meningkatkan kinerja secara keseluruhan, dan memberikan keamanan siber (cyber security) yang diperlukan untuk organisasi di seluruh industri global, termasuk kesehatan, keuangan, manufaktur, pendidikan, dan hukum.
Sebagai contoh; sebuah perusahaan AI Jepang, Preferred Networks; menggunakan Llama-3-Swallow-70B untuk mengembangkan sebuah model khusus perawatan kesehatan yang dilatih dengan korpus data medis Jepang yang unik. Model yang disebut Llama3-Preferred-MedSwallow-70B ini memiliki nilai tertinggi dalam Ujian Nasional untuk Dokter di Jepang.
CGMH (Chang Gung Memorial Hospital), salah satu rumah sakit terkemuka di Taiwan; membangun AIIS (AI inference service) yang dibuat khusus untuk memusatkan semua aplikasi LLM dalam sistem rumah sakit. Dengan menggunakan Llama-3-Taiwan-70B, rumah sakit ini meningkatkan efisiensi staf medis yang berada pada garis depan dengan bahasa medis yang lebih bernuansa dan dapat dipahami oleh para pasien.
Pegatron yang berbasis di Taiwan, sebuah perusahaan pembuat perangkat elektronik; akan mengadopsi microservice NIM Llama-3-Taiwan-70B untuk aplikasi yang menghadap ke dalam dan ke luar. Pegatron telah mengintegrasikannya dengan PEGAAi Agentic AI System untuk mengotomatisasi proses serta meningkatkan efisiensi dalam manufaktur dan operasi.
NIM Llama-3-Taiwan-70B juga digunakan oleh produsen petrokimia global Chang Chun Group, perusahaan PCB (printed circuit board) terkemuka di dunia Unimicron, perusahaan media yang berfokus pada teknologi TechOrange, perusahaan layanan kontrak daring LegalSign.ai, dan perusahaan rintisan AI generatif APMIC. Perusahaan-perusahaan ini juga berkolaborasi dalam open model.
Menciptakan Model-Model Khusus Perusahaan dengan NVIDIA AI Foundry
Meskipun model-model AI regional dapat memberikan respons yang bernuansa budaya dan terlokalisasi, para perusahaan masih perlu menyempurnakan model-model tersebut untuk proses bisnis dan ranah keahlian mereka.
NVIDIA AI Foundry adalah sebuah platform dan layanan yang mencakup aneka model fondasi populer, NVIDIA NeMo untuk penyempurnaan, dan kapasitas khusus di NVIDIA DGX Cloud untuk memberikan solusi lengkap bagi para pengembang dalam membuat suatu model fondasi yang customized dan dikemas sebagai sebuah microservice NIM.
Selain itu, para pengembang yang menggunakan NVIDIA AI Foundry memiliki akses ke platform perangkat lunak NVIDIA AI Enterprise, yang memberikan keamanan, stabilitas, dan dukungan untuk penerapan produksi.
NVIDIA AI Foundry memberikan para pengembang alat-alat yang diperlukan untuk membangun dan menggunakan berbagai microservice NIM berbahasa daerah mereka sendiri dengan lebih cepat dan mudah, untuk menenagai aneka aplikasi AI, sehingga memastikan hasil yang sesuai dengan budaya dan bahasa para penggunanya.