Sebelumnya, dibandingkan NVIDIA Hopper, NVIDIA Blackwell disebutkan mengandung 208 miliar transistor dan bukannya 80 miliar, memiliki memori lokal HBM3E sampai 192 GB dan bukannya sampai 141 GB, serta menawarkan kinerja AI yang lima kalinya. Namun, seperti telah disebutkan NVIDIA Blackwell mendukung FP4 yang bisa menggandakan kinerja. Dengan format angka atau tingkat akurasi yang sama, NVIDIA Blackwell menawarkan kinerja AI yang seharusnya tidak sampai lima kalinya NVIDIA Hopper. Jika faktor penggandaan dari FP4 dihilangkan, sewajarnya NVIDIA Blackwell menawarkan kinerja AI yang dua setengah kalinya NVIDIA Hopper. Kinerja yang lebih tinggi membuat NVIDIA Blackwell lebih produktif sebagai pabrik AI dus makin membantu organisasi.
NVIDIA pun menambahkan bahwa energi yang diperlukan untuk melatih OpenAI GPT-4 (Generative Pre-trained Transformer 4) bila menggunakan Blackwell adalah jauh lebih hemat dibandingkan memakai Hopper. NVIDIA mengeklaim melatih OpenAI GPT-4 dengan Blackwell hanya membutuhkan energi sebesar 3 GWh, sedangkan memakai Hopper membutuhkan daya sebanyak 13 GWh.
Namun, selain GPU, NVIDIA juga mengungkapkan platform Blackwell. Platform NVIDIA Blackwell mencakup sejumlah perangkat lain selain NVIDIA Blackwell alias selain GPU. Platform NVIDIA Blackwell misalnya mencakup NVIDIA Blackwell, NVIDIA NVLink Switch generasi kelima atau NVIDIA NVLink 5 Switch, serta NVIDIA Spectrum-X800. NVIDIA NVLink Switch generasi kelima adalah interkoneksi, sedangkan NVIDIA Spectrum-X800 bisa dibilang merupakan switch Ethernet.
Ke depannya, NVIDIA berencana untuk menghadirkan GPU dan platform baru setiap tahunnya. NVIDIA berencana untuk memperkenalkan Blackwell Ultra pada tahun 2025 dan memperkenalkan Rubin pada tahun pada 2026. Selain GPU baru, teknologi interkoneksi yang lebih baru pun akan diperkenalkan plus CPU baru khusus pada platform Rubin. Platform-platform generasi berikutnya itu sewajarnya memberikan kinerja yang lebih tinggi lagi dari platform NVIDIA Blackwell.
NVIDIA MGX merupakan desain referensi server modular untuk berbagai model penggunaan, termasuk untuk NVIDIA Blackwell. Terlihat NVIDIA MGX dengan dua NVIDIA GB200 Grace Blackwell Superchip. Compute tray NVIDIA GB200 untuk NVIDIA GB200 NVL72 pun berbasiskan NVIDIA MGX.
Namun, NVIDIA menyiratkan bahwa kebutuhan akan komputasi AI, termasuk generative AI, akan terus bertumbuh sehingga para organisasi perlu untuk terus membangun pusat data dengan teknologi terbaik yang tersedia. Dengan kata lain, para organisasi tidak perlu menunggu generasi berikutnya untuk mulai membangun pusat data melainkan terus membangun pusat data setiap tahunnya agar bisa menjawab kebutuhan akan komputasi AI yang makin tinggi itu.
NVIDIA GB200 NVL72
Seperti COMPUTEX 2023 yang bisa dilihat di sini, pada COMPUTEX 2024, yang paling dikedepankan NVIDIA perihal Blackwell adalah kombinasinya dengan Grace plus klaster dari perangkat bersangkutan yang menyerupai satu unit. Disebut NVIDIA GB200 Grace Blackwell Superchip, perangkat ini menghubungkan dua GPU NVIDIA Blackwell dengan satu CPU NVIDIA Grace memanfaatkan interkoneksi NVIDIA NVLink-C2C. Adapun klaster dari NVIDIA GB200 Grace Blackwell Superchip yang menyerupai satu unit antara lain adalah NVIDIA GB200 NVL72.
NVIDIA GB200 NVL72 merupakan rack-scale system yang bisa menampung 18 compute tray NVIDIA GB200 dan 9 tray NVIDIA NVLink Switch plus menyertakan NVIDIA BlueField-3 yang adalah DPU. Masing-masing compute tray NVIDIA GB200 mengandung dua NVIDIA GB200 Grace Blackwell Superchip. Adapun tray NVIDIA NVLink Switch bertujuan untuk menghubungkan para GPU NVIDIA Blackwell yang ada. Secara keseluruhan, NVIDIA GB200 NVL72 mengandung 36 NVIDIA GB200 Grace Blackwell Superchip: 36 CPU NVIDIA Grace dan 72 GPU NVIDIA Blackwell. NVIDIA GB200 NVL72 membuat seolah-olah 72 GPU NVIDIA Blackwell menjadi satu unit GPU. Compute tray GB200 sendiri sudah pula mendukung liquid cooling.
Menariknya, NVIDIA membandingkan kinerja yang ditawarkan GB200 NVL72 terhadap DGX Hopper yang sepertinya adalah DGX H100. Sebenarnya terdapat NVIDIA DGX B200 menurut penulis lebih sesuai untuk perbandingan dengan NVIDIA DGX H100. Namun, kelihatannya NVIDIA ingin menunujukkan besarnya peningkatan yang ditawarkan dibandingkan daya yang dikonsumsi. NVIDIA ingin menekankan bahwa peningkatan kinerja AI yang ditawarkan GB200 NVL72 jauh lebih besar dari peningkatan konsumsi dayanya.
NVIDIA mengeklaim GB200 NVL72 bisa memberikan kinerja AI sebesar 1.440 petaFLOPS dengan konsumsi daya sekitar 100 kW, sedangkan DGX Hopper mampu memberikan kinerja AI sebesar 32 petaFLOPS dengan kosumsi daya sekitar 10 kW. NVIDIA GB200 NVL72 bisa memberikan peningkatan kinerja AI sebanyak 44 kali dari NVIDIA DGX Hopper dengan konasumsi daya yang hanya sembilan kali lebih tinggi. Namun, kinerja AI sebesar 1.440 petaFLOPS diperoleh bila memakai FP4. Andai mengguankan FP8, kinerja AI dari NVIDIA GB200 NVL72 menjadi 720 petaFLOPS dus 21,5 kali peningkatan terhadap NVIDIA DGX Hopper.
Delapan GPU NVIDIA Blackwell yang air cooled yang menjadi basis dari NVIDIA DGX B200. Terlihat dimensi dari heatsink masing-masing GPU yang besar. Selain menggunakan delapan GPU NVIDIA Blackwell, NVIDIA DGX B200 memanfaatkan juga dua CPU Intel Xeon Platinum 8570.
NVIDIA GB200 NVL72 juga merupakan building block dari NVIDIA DGX SuperPOD terbaru. Dengan kata lain, seperti NVDIA DGX GH200, beberapa rak yang mengandung 36 NVIDIA GB200 Grace Blackwell Superchip bisa digabungkan untuk membentuk komputer dengan jumlah NVIDIA GB200 Grace Blackwell Superchip yang lebih banyak lagi dus memberikan kinerja AI yang lebih tinggi lagi. Adapun ketersediaan, NVIDIA Blackwell saat ini belum tersedia di pasar. NVIDIA Blackwell diperkirakan akan mulai tersedia di pasar dalam bulan-bulan mendatang.
Bersama dengan Blackwell, NVIDIA turut mengungkapkan NVLink generasi kelima. NVIDIA NVLink generasi terbaru ini menawarkan bandwidth yang lebih tinggi dari generasi sebelummya. NVIDIA NVLink generasi kelima disebutkan memiliki bandwidth 100 GB/s per lajur, lebih tinggi dari NVIDIA NVLink generasi keempat yang 50 GB/s per lajur. NVIDIA Blackwell mendukung delapan belas lajur NVIDIA NVLink generasi kelima sehingga memiliki bandwitdh per GPU sejumlah 1,8 TB/s. Dibandingkan NVIDIA Hopper, bandwidth per GPU dari NVIDIA Blackwell adalah dua kalinya.
Adapun untuk NVIDIA NVLink Switch yang dipakai pada NVIDIA GB200 NVL72 telah mendukung NVIDIA NVLink generasi kelima serta mendukung sampai 576 GPU untuk koneksi secara langsung dalam sebuah domain NVIDIA NVLink. Masing-masing dari kesembilan switch tray NVIDIA NVLink memiliki 144 porta NVIDIA NVLink generasi kelima untuk koneksi ke GPU. Alhasil ke-72 GPU NVIDIA Blackwell pada NVIDIA GB200 NVL72 bisa terhubung secara penuh.
Selain NIM, Blackwell, dan NVLink generasi kelima; NVIDIA juga mengangkat sejumlah inovasi lain seperti Spectrum-X800 dan Project G-Assist. NVIDIA Spectrum-X800 diklaim membolehkan kinerja tertinggi untuk suatu jaringan Ethernet memanfaatkan NVIDIA Spectrum SN5600 yang adalah switch dan NVIDIA BlueField SuperNIC yang adalah kartu jaringan. NVIDIA Spectrum-X800 diklaim bisa memberikan bandwidth efektif sebesar 1,6 kalinya Ethernet konvensional. Sementara, NVIDIA Project G-Assist bertujuan untuk membantu para pemain gim yang menggunakan kartu grafis NVIDIA GeForce seri RTX untuk mendapatkan bantuan yang sadar akan konteks. Keduanya baru akan tersedia di pasar pada kemudian hari.