Pada COMPUTEX 2023, tepatnya pada COMPUTEX Keynote yang berlangsung tanggal 29 Mei 2023 lalu, NVIDIA menyebutkan bahwa saat ini industri komputasi sedang mengalami dua transisi secara bersamaan. Kedua transisi tersebut adalah accelerated computing dan generative AI (artificial intelligence) yang memiliki karakteristik berbeda dengan general purpose computing tradisional. Sejalan dengan itu, NVIDIA mengumumkan DGX GH200 yang “menggabungkan” sebanyak 256 GH200 Grace Hopper Superchip sehingga seolah-olah menjadi satu GPU. NVIDIA mengeklaim DGX GH200 membolehkan pengembangan dari berbagai model AI generasi berikutnya yang berukuran sangat besar. Dengan kata lain, NVDIA DGX GH200 cocok untuk accelerated computing dan generative AI yang dimaksud.
“Terdapat dua transisi mendasar yang sedang terjadi dalam industri komputer saat ini. Semua dari Anda berada di dalamnya dan Anda merasakannya. Terdapat dua tren yang mendasar. Tren pertama adalah karena scaling dari CPU telah berhenti, kemampuan untuk mendapatkan kinerja yang sepuluh kali lebih besar setiap lima tahun telah berhenti,” kata Jensen Huang (Founder dan CEO NVIDIA). “Tren tesebut telah berhenti dan kita butuh suatu cara pendekatan komputasi baru dan accelerated computing adalah jalan untuk ke depan. Itu terjadi pada waktu yang bertepatan dengan ketika suatu cara baru untuk melakukan peranti lunak ditemukan, deep learning. Dua peristiwa ini datang bersamaan dan menggerakkan komputasi saat ini: accelerated computing dan generative AI,” tambahnya.
“Bentuk dari komp, komputasi ini adalah tidak seperti general purpose computing tradisional. Ia adalah full stack. Ia memiliki skala pusat data karena pusat data adalah komputernya. Dan ia adalah domain specific, untuk setiap domain yang Anda ingin masuki, setiap industri yang Anda ingin masuki, Anda butuh untuk memiliki stack peranti lunak yang sesuai. Dan jika Anda memiliki stack peranti lunak, maka utilitas, tingkat penggunaan dari mesin Anda, tingkat pemanfaatan dari komputer Anda akan tinggi,” jelas Jensen Huang lebih lanjut.
NVIDIA menyebutkan bahwa DGX GH200 bisa memberikan 1 exaFLOPS Tranformer Engine dan sampai 144 TB memori untuk GPU. NVIDIA menegaskan pula bahwa memori untuk GPU yang sampai 144 TB itu bisa diakses oleh setiap GPU pada setiap GH200 Grace Hopper Superchip dan bukannya terdistribusi. NVIDIA menambahkan bahwa dalam sepuluh tahun terakhir, terjadi peningkatan yang sangat besar dalam ukuran model dan data untuk training dalam DL (deep learning). NVIDIA mengambil contoh antara AlexNet dan PaLM (Pathways Language Model) serta menyebutkan terdapat peningkatan sekitar 5 ribu kali dalam ukuran model dan sekitar 3 juta kali dalam data untuk training. Ke depannya, peningkatan ukuran model dan data untuk training bersangkutan pun diyakini akan terus terjadi. NVIDIA DGX GH200 bisa menjawab hal tersebut.
Mengandung 256 NVIDIA GH200 Grace Hopper Superchip, NVIDIA DGX GH200 diklaim bisa memberikan 1 exaFLOPS Tranformer Engine dan sampai 144 TB memori untuk GPU.
Adapun untuk menggabungkan 256 NVIDIA GH200 Grace Hopper Superchip dalam NVIDIA DGX GH200 sehingga menyerupai satu GPU, NVIDIA menggunakan NVLink Switch. NVIDIA bisa dibilang menggunakan dua tingkat NVLink Switch. Pertama adalah untuk menggabungkan delapan komputer yang masing-masing mengandung sebuah NVIDIA GH200 Grace Hopper Superchip. NVIDIA menyebut kedelapan komputer yang telah digabungkan itu sebagai sebuah pod. Sementara, kedua adalah untuk menggabungkan sebanyak 32 pod. Pada tingkat pertama, NVIDIA memakai sebanyak tiga NVLink Switch. Sementara, pada tingkat kedua, NVIDIA memakai sebanyak 36 NVLink Switch.
NVIDIA pun menegaskan bahwa DGX GH200 bukan hanya peranti keras melainkan lebih dari itu. NVIDIA menegaskan bahwa DGX GH200 adalah suatu solusi peranti keras dan peranti lunak yang lengkap. DGX GH200 didesain dan akan diantarkan oleh NVIDIA serta akan memberikan kepada penggunanya pengalaman turnkey yang dari ujung ke ujung. NVIDIA menekankan bahwa DGX GH200 adalah solusi terintegrasi dari peranti lunak, komputasi, jaringan, serta layanan white-glove yang mencakup dari instalasi, manajemen infrastruktur, sampai masukan untuk mengoptimalkan beban kerja. Jadi, bisa dibilang, perusahaan yang nantinya membeli NVIDIA DGX GH200 akan tinggal memakainya. NVIDIA sendiri mengatakan bahwa komputer super alias supercomputer ini diharapkan akan tersedia pada akhir tahun 2023.
NVIDIA GH200 Grace Hopper Superchip
Menjadi yang menenagai NVIDIA DGX GH200, NVIDIA GH200 Grace Hopper Superchip diumumkan beberapa waktu lalu. Pada COMPUTEX 2023, NVIDIA menyebutkan bahwa GH200 Grace Hopper Superchip tersebut kini sudah berada dalam full production. NVIDIA GH200 Grace Hopper Superchip merupakan gabungan dari NVIDIA Grace CPU dan NVIDIA Hopper GPU — NVIDIA Grace Hopper: NVIDIA Grace + NVIDIA Hopper. NVIDIA Grace CPU adalah CPU pertama NVIDIA untuk server dus pusat data alias data center. NVIDIA Grace CPU berbasiskan Arm Neoverse V2. Pada NVIDIA Grace CPU terdapat sejumlah 72 core Arm Neoverse V2. Sementara, NVIDIA Hopper GPU adalah GPU terkini NVIDIA yang berbasiskan arsitektur NVIDIA Hopper. Arsitektur NVIDIA Hopper merupakan generasi berikutnya dari arsitektur NVIDIA Ampere. GPU pertama NVIDIA berbasiskan arsitektur NVIDIA Hopper adalah NVIDIA H100.