Pada COMPUTEX 2023, tepatnya pada COMPUTEX Keynote yang berlangsung tanggal 29 Mei 2023 lalu, NVIDIA menyebutkan bahwa saat ini industri komputasi sedang mengalami dua transisi secara bersamaan. Kedua transisi tersebut adalah accelerated computing dan generative AI (artificial intelligence) yang memiliki karakteristik berbeda dengan general purpose computing tradisional. Sejalan dengan itu, NVIDIA mengumumkan DGX GH200 yang “menggabungkan” sebanyak 256 GH200 Grace Hopper Superchip sehingga seolah-olah menjadi satu GPU. NVIDIA mengeklaim DGX GH200 membolehkan pengembangan dari berbagai model AI generasi berikutnya yang berukuran sangat besar. Dengan kata lain, NVDIA DGX GH200 cocok untuk accelerated computing dan generative AI yang dimaksud.
“Terdapat dua transisi mendasar yang sedang terjadi dalam industri komputer saat ini. Semua dari Anda berada di dalamnya dan Anda merasakannya. Terdapat dua tren yang mendasar. Tren pertama adalah karena scaling dari CPU telah berhenti, kemampuan untuk mendapatkan kinerja yang sepuluh kali lebih besar setiap lima tahun telah berhenti,” kata Jensen Huang (Founder dan CEO NVIDIA). “Tren tesebut telah berhenti dan kita butuh suatu cara pendekatan komputasi baru dan accelerated computing adalah jalan untuk ke depan. Itu terjadi pada waktu yang bertepatan dengan ketika suatu cara baru untuk melakukan peranti lunak ditemukan, deep learning. Dua peristiwa ini datang bersamaan dan menggerakkan komputasi saat ini: accelerated computing dan generative AI,” tambahnya.
“Bentuk dari komp, komputasi ini adalah tidak seperti general purpose computing tradisional. Ia adalah full stack. Ia memiliki skala pusat data karena pusat data adalah komputernya. Dan ia adalah domain specific, untuk setiap domain yang Anda ingin masuki, setiap industri yang Anda ingin masuki, Anda butuh untuk memiliki stack peranti lunak yang sesuai. Dan jika Anda memiliki stack peranti lunak, maka utilitas, tingkat penggunaan dari mesin Anda, tingkat pemanfaatan dari komputer Anda akan tinggi,” jelas Jensen Huang lebih lanjut.
NVIDIA menyebutkan bahwa DGX GH200 bisa memberikan 1 exaFLOPS Tranformer Engine dan sampai 144 TB memori untuk GPU. NVIDIA menegaskan pula bahwa memori untuk GPU yang sampai 144 TB itu bisa diakses oleh setiap GPU pada setiap GH200 Grace Hopper Superchip dan bukannya terdistribusi. NVIDIA menambahkan bahwa dalam sepuluh tahun terakhir, terjadi peningkatan yang sangat besar dalam ukuran model dan data untuk training dalam DL (deep learning). NVIDIA mengambil contoh antara AlexNet dan PaLM (Pathways Language Model) serta menyebutkan terdapat peningkatan sekitar 5 ribu kali dalam ukuran model dan sekitar 3 juta kali dalam data untuk training. Ke depannya, peningkatan ukuran model dan data untuk training bersangkutan pun diyakini akan terus terjadi. NVIDIA DGX GH200 bisa menjawab hal tersebut.
Adapun untuk menggabungkan 256 NVIDIA GH200 Grace Hopper Superchip dalam NVIDIA DGX GH200 sehingga menyerupai satu GPU, NVIDIA menggunakan NVLink Switch. NVIDIA bisa dibilang menggunakan dua tingkat NVLink Switch. Pertama adalah untuk menggabungkan delapan komputer yang masing-masing mengandung sebuah NVIDIA GH200 Grace Hopper Superchip. NVIDIA menyebut kedelapan komputer yang telah digabungkan itu sebagai sebuah pod. Sementara, kedua adalah untuk menggabungkan sebanyak 32 pod. Pada tingkat pertama, NVIDIA memakai sebanyak tiga NVLink Switch. Sementara, pada tingkat kedua, NVIDIA memakai sebanyak 36 NVLink Switch.
NVIDIA pun menegaskan bahwa DGX GH200 bukan hanya peranti keras melainkan lebih dari itu. NVIDIA menegaskan bahwa DGX GH200 adalah suatu solusi peranti keras dan peranti lunak yang lengkap. DGX GH200 didesain dan akan diantarkan oleh NVIDIA serta akan memberikan kepada penggunanya pengalaman turnkey yang dari ujung ke ujung. NVIDIA menekankan bahwa DGX GH200 adalah solusi terintegrasi dari peranti lunak, komputasi, jaringan, serta layanan white-glove yang mencakup dari instalasi, manajemen infrastruktur, sampai masukan untuk mengoptimalkan beban kerja. Jadi, bisa dibilang, perusahaan yang nantinya membeli NVIDIA DGX GH200 akan tinggal memakainya. NVIDIA sendiri mengatakan bahwa komputer super alias supercomputer ini diharapkan akan tersedia pada akhir tahun 2023.
NVIDIA GH200 Grace Hopper Superchip
Menjadi yang menenagai NVIDIA DGX GH200, NVIDIA GH200 Grace Hopper Superchip diumumkan beberapa waktu lalu. Pada COMPUTEX 2023, NVIDIA menyebutkan bahwa GH200 Grace Hopper Superchip tersebut kini sudah berada dalam full production. NVIDIA GH200 Grace Hopper Superchip merupakan gabungan dari NVIDIA Grace CPU dan NVIDIA Hopper GPU — NVIDIA Grace Hopper: NVIDIA Grace + NVIDIA Hopper. NVIDIA Grace CPU adalah CPU pertama NVIDIA untuk server dus pusat data alias data center. NVIDIA Grace CPU berbasiskan Arm Neoverse V2. Pada NVIDIA Grace CPU terdapat sejumlah 72 core Arm Neoverse V2. Sementara, NVIDIA Hopper GPU adalah GPU terkini NVIDIA yang berbasiskan arsitektur NVIDIA Hopper. Arsitektur NVIDIA Hopper merupakan generasi berikutnya dari arsitektur NVIDIA Ampere. GPU pertama NVIDIA berbasiskan arsitektur NVIDIA Hopper adalah NVIDIA H100.
Interkoneksi yang digunakan NVIDIA GH200 Grace Hopper Superchip untuk menghubungkan NVIDIA Grace CPU dan NVIDIA Hopper GPU adalah NVIDIA NVLink C2C (chip-2-chip) dengan bandwidth 900 GB/s. Dibandingkan PCI Express 5 yang biasa dipakai pada accelerated system, NVIDIA mengeklaim NVLink C2C menawarkan bandwidth yang lebih tinggi tujuh kali dan menekan konsumsi daya lebih dari lima kali. NVIDIA NVLink C2C membolehkan NVIDIA Hopper GPU yang dimaksud untuk memanfaatkan secara langsung memori dari NVIDIA Grace CPU bersangkutan dengan kecepatan tinggi. NVIDIA Grace CPU pada NVIDIA GH200 Grace Hopper Superchip sendiri memiliki memori utama LPDDR5X sampai 480 GB, sedangkan NVIDIA Hopper GPU pada NVIDIA GH200 Grace Hopper Superchip bermemori lokal HBM3 sampai 96 GB.
NVIDIA menyebutkan GH200 Grace Hopper Superchip memiliki hampir sebanyak 200 miliar transistor serta bisa memberikan hampir 4 petaFLOPS Tranformer Engine. Dibandingkan komputer dengan CPU x86, komputer dengan NVIDIA GH200 Grace Hopper Superchip diklaim memberikan kinerja yang 9,3 kalinya pada VectorDB 400 GB, 12 kalinya pada DLRM (Deep Learning Recommendation Model) 500 GB, dan 284 kalinya pada LLM (large language model) 65 B (billion). Dibandingkan komputer dengan CPU x86 dan GPU NVIDIA H100, NVIDIA mengeklaim GH200 Grace Hopper Superchip memberikan kinerja yang sekitar 5,5 kalinya pada VectorDB 400 GB, sekitar 5 kalinya pada DLRM 500 GB, dan sekitar 2,3 kalinya pada LLM 65 B.
“Ini adalah Grace Hopper. Ini, prosesor ini, prosesor ini sesungguhnya cukup mengagumkan. Terdapat beberapa karakteristik mengenainya. Ini adalah accelerated processor pertama di dunia, accelerated computing processor yang juga memiliki suatu memori raksasa. Ia memiliki memori hampir sebebanyak 600 GB yang koheren antara CPU dan GPU,” tegas Jensen Huang.
NVLink Switch
Ditenagai NVIDIA GH200 Grace Hopper Superchip, NVIDIA DGX GH200 memakai NVIDIA NVLink Switch untuk menghubungkan para NVIDIA GH200 Grace Hopper Superchip tersebut. Mengutip NVIDIA, NVLink adalah koneksi kecepatan tinggi untuk GPU maupun CPU yang dibentuk oleh suatu protokol peranti lunak yang tangguh, biasanya melalui sekumpulan pasangan kabel yang dicetak pada suatu papan komputer. NVIDIA NVLink Switch membolehkan para prosesor maupun akselerator untuk mengirim dan menerima data dari para kumpulan memori yang shared dengan kecepatan sangat tinggi.
Adapun NVIDIA NVLink C2C, seperti namanya, adalah interkoneksi yang khusus untuk menghubungkan dua cip seperti prosesor maupun akselerator yang berada pada suatu paket tunggal yang sama. Sementara, NVIDIA NVLink Switch adalah interkoneksi yang menghubungkan sejumlah NVIDIA NVLink, baik dalam satu node maupun antara node. Cip dari NVIDIA NVLink Switch disebut dengan NVIDIA NVSwitch dan hadir dengan 18 porta NVLink. NVIDIA NVLink sudah mencapai generasi keempat dan menawarkan bandwidth per prosesor maupun akselerator sebesar 900 GB/s. NVIDIA NVSwitch sendiri telah mencapai generasi ketiga dan memanfaatkan NVIDIA NVLink generasi keempat.
Juga Kedepankan Hal-Hal Lain
Selain accelerated computing, generative AI, serta DGX GH200 beserta GH200 Grace Hopper Superchip dan NVLink, NVIDIA pada COMPUTEX Keynote yang baru lalu juga mengedepankan hal-hal lain. Dua di antaranya adalah NVIDIA ACE (Avatar Cloud Engine) for Games dan NVIDIA Omniverse Cloud. NVIDIA ACE for Games merupakan suatu layanan custom AI model foundry yang membolehkan pengembang untuk membangun dan melakukan deployment model-model AI dari ucapan, percakapan, dan animasi yang customized dalam gim maupun peranti lunak lainnya. NVIDIA ACE for Games misalnya membolehkan NPC (non-playable character) untuk memiliki respons percakapan yang lebih baik berhubung memanfaatkan generative AI dan NLP (natural language processing). Lebih lanjut mengenai NVIDIA ACE for Games bisa dibaca pada artikel InfoKomputer di sini.
Sementara, NVIDIA Omniverse adalah platform untuk membangun dan mengoperasikan berbagai aplikasi metaverse. Metaverse di sini pun bisa yang memenuhi aturan fisika di dunia nyata. Dengan NVIDIA Omniverse suatu perusahaan contohnya bisa membangun dan menjalankan digital twin dari pabriknya. NVIDIA Omniverse bisa di-deploy secara on-premises maupun di cloud. NVIDIA Omniverse Cloud adalah NVIDIA Omniverse yang di-deploy di cloud. Mengutip NVIDIA, Omniverse Cloud adalah PaaS (platform as a service) yang memberikan para pengembang dan korporasi suatu lingkungan cloud yang full stack untuk mendesain, mengembangkan, men-deploy, dan mengelola aplikasi-aplikasi metaverse level industri. NVIDIA Omniverse Cloud sewajarnya memudahkan aneka entitas dari berbagai lokasi yang berbeda untuk berkolaborasi.
Tidak seperti NVIDIA ACE for Games yang diumumkan pada COMPUTEX Keynote lalu, NVIDIA Omniverse Cloud telah diumumkan pada tahun 2022. Namun, NVIDIA Omniverse Cloud baru tersedia pada private cloud NVIDIA dan hanya untuk koporasi. Belakangan NVIDIA mengumumkan pula telah memilih Microsoft Azure sebagai public cloud pertama untuk Omniverse Cloud. NVIDIA Omniverse Cloud pada Microsoft Azure akan tersedia mulai semester kedua tahun ini. Bagaimana NVIDIA Omniverse bisa membantu korporasi lebih jelasnya bisa dibaca pada artikel InfoKomputer di sini.
Penulis | : | Cakrawala Gintings |
Editor | : | Rafki Fachrizal |
KOMENTAR