Kemunculan ChatGPT membuka babak baru pemanfaatan teknologi Large Language Model (LLM). Perkembangan LLM saat ini memungkinkan kemunculan solusi berbasis natural language (atau bahasa sehari-sehari) yang memahami dan menjawab pertanyaan sesuai konteks.
Babak lanjutan dari perkembangan teknologi LLM adalah memanfaatkannya untuk keperluan bisnis. Tujuannya agar teknologi LLM dapat memahami konteks yang spesifik ke sebuah industri atau lingkungan bisnis tertentu.
Contohnya, bagaimana teknologi LLM digunakan untuk chatbot yang memahami seluruh produk dari sebuah bank dan dapat merekomendasikan produk terbaik bagi nasabah. Contoh lain adalah mengembangkan software speech-to-text yang dapat menyimpulkan hasil rapat secara real-time. Bagi bahasa yang masih minim data set seperti Bahasa Indonesia, software seperti ini belum bisa mengandalkan aplikasi mainstream seperti ChatGPT.
Apa itu Nvidia NeMo
Kebutuhan seperti inilah yang coba dijawab Nvidia dengan merilis Nvidia NeMo. Pada dasarnya, Nvidia NeMo adalah platform end-to-end yang menyediakan framework untuk seluruh proses pembuatan solusi berbasis LLM, mulai dari data curation, distributed training, sampai implementasi.
Dengan kata lain, perusahaan bisa membuat ChatGPT versi khusus berdasarkan data yang mereka miliki.
Nvidia sendiri berkomitmen menjadikan NeMo sebagai framework yang memudahkan pengembang dalam membangun aplikasinya. “NeMo Framework dirancang untuk memastikan proses training yang efektif dengan meminimalisir proses trial dan error dalam mengimplementasikan model,” ungkap Ms. Liang Hui (Solutions Architect Nvidia) dalam sebuah pertemuan dengan beberapa wartawan Asia Tenggara termasuk InfoKomputer.
Komitmen ini tercermin dari ragam pre-trained yang disediakan Nvidia NeMo, seperti GPT3, Bert, T5, Jasper, dan Megatron. Nvidia NeMo juga menyediakan customization technique (yang berfungsi melakukan perbaikan spesifik untuk area tertentu) seperti teknik Adapters dan RLMFH.
Yang juga tak kalah penting, Nvidia NeMo saat ini juga sudah dibekali Guardrails. Guardrails ini berfungsi memastikan input dan output yang diberikan LLM tidak melanggar batas (seperti tidak mengandung jawaban yang ofensif). Cara kerjanya, setiap input dan output akan mendapat toxicity score yang diukur menggunakan BERT based classifier. Nanti developer dapat menentukan batas toxicity score yang diperbolehkan di software-nya.
Tersedia di Cloud
Nvidia sendiri saat ini menyediakan framework NeMo sebagai framework maupun services. Pada Nemo Framework, perusahaan melakukan training dan implementasi di data center mereka sendiri. Sementara NeMo Services tersedia sebagai layanan cloud, sehingga perusahaan bisa melakukan training dan implementasi di Nvidia DGX Cloud.