NVIDIA Luncurkan Chatbot AI untuk Komputer PC, Ini Kemampuannya

Adam Rizal - Minggu, 18 Februari 2024 | 09:00 WIB

Melalui NeMo, Nvidia membantu perusahaan mewujudkan ChatGPT sendiri

Nvidia meluncurkan aplikasi chatbot berbasis artificial intelligence (AI) atau kecerdasan buatan "Chat with RTX" untuk perangkat komputer PC. Berbeda dengan aplikasi cloud, chatbot AI ini adalah asisten digital pribadi yang bekerja secara lokal di PC.

Chat with RTX memiliki fitur utama yaitu merangkum dokumen yang diunggah pengguna dalam format .txt, .pdf, .doc/.docx, dan .xml. Pengguna juga dapat meminta ringkasan dari video YouTube dengan menyematkan tautannya. Selain itu, Chat with RTX juga bisa memberikan rekomendasi tempat wisata atau tutorial pembuatan kue dari video kreator di YouTube.

Melihat kegunaannya, bisa dibilang bahwa Chat with RTX memiliki kemiripan dengan chatbot Gemini milik Google atau ChatGPT bikinan OpenAI. Aplikasi itu menggunakan teknologi retrieval augmented generation (RAG) dan software Nvidia TensorRT-LLM yang memanfaatkan GPU Nvidia RTX 30 atau 40 series.

Tentunya tidak semua perangkat komputer bisa menggunakan chatbot AI tersebut, NVIDIA mengungkapkan spesifikasi minimum perangkat yang dibutuhkan termasuk GPU dengan VRAM 8 GB, RAM 16 GB, Windows 10 atau 11, dan driver GPU Nvidia versi 535.11 atau lebih baru.

Aplikasi itu membutuhkan ruang penyimpanan sebesar 35 GB dan tidak memerlukan koneksi internet saat digunakan. Pengguna dapat mengunduh aplikasi secara gratis, meskipun masih dalam versi demo.

Proses instalasinya memerlukan kesabaran, dan aplikasi terkadang boros daya. Meski demikian, aplikasi ini masih memiliki potensi sebagai chatbot AI yang berjalan secara lokal di komputer pengguna. Selain itu, Chat with RTX tidak mengingat konteks pembicaraan, sehingga pengguna tidak bisa menanyakan pertanyaan lanjutan dari pertanyaan yang sudah diajukan.

Di luar itu, The Verge mengatakan bahwa demo teknologi ini baik, dan menunjukkan potensi chatbot AI yang berjalan secara lokal di komputer pengguna. Pengguna tak usah berlangganan Microsoft Copilot Pro atau ChatGPT Plus jika ingin menganalisis file pribadi.

Bangun Divisi Khusus

Nvidia H200

NVIDIA mengembangkan unit bisnis khusus yang fokus merancang dan menjual chip AI semi-kustom. Langkah itu diambil NVIDIA setelah melihay sejumlah klien utama ingin untuk mengurangi ketergantungan dan merancang chip AI mereka sendiri. Saat ini NVIDIA adalah pemimpin dominan dalam hardware AI.

Banyak perusahaan terkemuka seperti OpenAI, Microsoft, Meta, dan Google mengandalkan produk HPC (High Performing Computing) NVIDIA seperti A100 atau H100 untuk keperluan pelatihan dan pemrosesan platform AI mereka.

Namun beberapa klien NVIDIA ingin berpaling untuk mengembangkan chip AI sendiri. Bahkan, perusahaan sebesar Google dan Microsoft telah meluncurkan chip AI internal mereka akhir tahun lalu. Sedangkan, perusahaan lain seperti OpenAI baru memulai langkah-langkah serupa.

Untuk mencegah kehilangan lebih banyak klien, NVIDIA menawarkan solusi dengan membentuk unit bisnis baru yang memungkinkan pengembangan chip AI semi-kustom. Chip AI tersebut tidak hanya sekadar penyesuaian spesifikasi sesuai permintaan klien, tetapi dikembangkan secara kolaboratif antara NVIDIA dan klien.

Dengan menggunakan blok IP dari NVIDIA sebagai dasar, klien juga memiliki opsi untuk mengintegrasikan blok IP dari pihak ketiga sesuai kebutuhan mereka. NVIDIA memperkirakan potensi pasar sebesar USD 30 miliar untuk unit bisnis khusus ini. Langkah ini juga bertujuan untuk mempertahankan klien-klien mereka yang berencana untuk mengembangkan proyek chip AI dengan tetap bekerja sama dengan NVIDIA.

Bangun Komputasi AI Mandiri

Nvidia dan Cisco menawarkan solusi teknologi yang memudahkan perusahaan membangun infrastruktur komputasi AI internal mereka sendiri sekaligus memperluas jangkauan teknologi AI di luar penyedia pusat data besar. Cisco akan menyediakan perangkat berbasis Nvidia, yang terkenal dalam pengembangan model artificiaI intelligence (AI) atau kecerdasan buatan, lengkap dengan infrastruktur jaringannya.

Bagi Nvidia, kemitraan ini membuka pintu bagi penggunaan teknologinya di berbagai sektor, sementara Cisco dapat memanfaatkan pertumbuhan penggunaan AI yang telah membuat Nvidia menjadi salah satu pembuat chip paling bernilai di dunia. "Kerjasama dengan Cisco memudahkan NVIDIA memanfaatkan kekuatan AI, teknologi yang saat ini menjadi kekuatan terbesar di dunia," kata CEO Nvidia, Jensen Huang.

Cisco akan menawarkan komputer server M7 yang menggunakan prosesor terbaru Nvidia, perangkat lunak, model AI, dan alat pengembangan dari Nvidia. Cisco juga akan menyediakan layanan berbasis cloud-nya sendiri untuk memantau dan mengelola sistem tersebut. CEO Cisco, Chuck Robbins mengatakan kerja sama dengan Nvidia akan memberdayakan perusahaan dengan teknologi dan keahlian yang dibutuhkan untuk menerapkan solusi AI dalam skala besar.

Pengumuman ini dibuat dalam acara Cisco Live di Amsterdam sebagai bagian dari upaya untuk menyebarkan perangkat keras AI di luar lingkup pusat data besar yang saat ini didominasi oleh beberapa perusahaan teknologi besar. Hal ini juga membantu Nvidia untuk mengurangi risiko ketergantungan terhadap pendapatan dari "hyperscalers" seperti Microsoft, Amazon, Google, dan Meta Platforms.

Tim Cisco akan menjual server berbasis Nvidia yang dikombinasikan dengan infrastruktur jaringan Ethernet-nya, sementara Nvidia menawarkan alternatif dengan produk InfiniBand mereka sendiri. Kerjasama dengan Cisco memberikan Nvidia akses yang lebih baik kepada pelanggan yang lebih suka menggunakan standar yang lebih umum untuk mentransfer data antar komputer.