Micron Technology akan memproduksi massal HBM3E (High Bandwidth Memory 3E) yang akan digunakan dalam GPU AI NVIDIA H200 Tensor Core pada kuartal kedua tahun 2024. HBM3E Micron memiliki kapasitas maksimal 24GB dengan 8-layer, konsumsi daya 30% lebih rendah dari pesaing, dan mampu menyediakan bandwidth memori lebih dari 1,2 terabytes per detik (TB/s).
Teknologi node 1-beta digunakan dalam desain HBM3E tersebut. Keefisienan dan kinerja tinggi HBM3E dari Micron diharapkan dapat memenuhi kebutuhan akselerator AI, superkomputer, dan pusat data yang terus berkembang. Kapasitas 24GB per chip memungkinkan skalabilitas yang lebih besar di masa depan.
Micron akan menjadi pemasok tunggal untuk memori high bandwidth di GPU NVIDIA H200 Tensor Core, menggantikan eksklusivitas SK Hynix di NVIDIA H100, serta mengalahkan Samsung dan SK Hynix dalam perlombaan HBM3E dengan menjadi yang pertama memulai produksi massal HBM3E.
Spesifikasi H200
NVIDIA resmi meluncurkan chip AI terbaru H200 sekaligus menggantikan pendahulunya H100. Chip AI H200 menawarkan peningkatan signifikan, terutama pada GPU yang kini menggunakan memory jenis baru, HBM3e. Dengan HBM3e, chip AI H200 dapat mencapai memory bandwidth hingga 4.8 terabyte per detik, meningkat dari 3.35 terabyte per detik pada H100, dan kapasitas memory juga naik menjadi 141 GB dari 80 GB.
Spesifikasi baru itu akan meningkatkan performa chip, khususnya dalam bidang generative AI. NVIDIA memastikan chip H200 kompatibel dengan sistem yang telah menggunakan chip H100 sebelumnya, bahkan dapat digunakan bersamaan. Hal ini memungkinkan pengguna H100 untuk beralih ke H200 tanpa perlu mengubah sistem yang sudah ada.
Meski NVIDIA belum mengumumkan harga resmi, chip H200 dijadwalkan akan tersedia untuk pembelian pada awal tahun 2024, dengan perusahaan-perusahaan besar seperti Amazon, Google, Microsoft, dan Oracle diyakini menjadi pelanggan pertama yang akan mengadopsi teknologi ini.
Laris Manis
Perusahaan semikonduktor Nvidia mendapatkan 'durian runtuh' menyusul meroketnya popularitas artificial intelligence (AI) atau kecerdasan buatan di dunia. Banyak perusahaan berlomba-lomba membeli GPU AI Nvidia H100 untuk pengembangan inovasi AI.
Baru-baru ini lembaga riset Omdia melaporkan Nvidia sudah mengirimkan GPU Akselerator AI Nvidia H100 sebanyak 900 ton pada kuartal kedua tahun 2023. Sebagai gambaran, bobot satu perangkat GPU AI Nvidia H100 sekitar 3 Kg. Jika ditotal, maka Nvidia telah mengirimkan GPU AI H100 sebanyak 300.000 unit.
Jumlah itu cukup besar mengingat ini adalah sebuah perangkat GPU Akselerator. Nvidia sendiri merencanakan akan mengirimkan sekitar 1,5 juga hingga 2 juta unit GPU Akselerator AI hingga tahun 2024 mendatang. Data itu baru satu model GPU saja yaitu Nvidia H100. Nvidia sendiri juga sudah punya beberapa model GPU Akselerator AI yang dipasarkan saat ini.
Nvidia baru-baru ini juga sudah merilis GH200 yang memiliki kemampuan komputasi lebih masif lagi. Beberapa perusahaan lain kabarnya juga tengah mengembangkan GPU Akselerator AI, seperti salah satunya AMD. Namun dengan langkah lebih awal yang dilakukan oleh Nvidia untuk terjun ke industri ini, memungkinkan mereka meraup pasar yang lebih besar dan lebih cepat.
Cetak Rekor
Nvidia sukses mencetak rekor pendapatan dan laba baru berkat tren teknologi artificial intelligence (AI) atau kecerdasan buatan.
Dalam laporan keuangan pada periode kuartal kedua tahun fiskal 2024 yang berakhir pada 30 Juli 2023, Nvidia meraup pendapatan senilai 13,51 miliar dollar AS atau setara Rp206,7 triliun, naik 88 persen dari kuartal I FY 2024 dan naik 101 persen dari tahun lalu.
Laba bersih Nvidia naik ke angka 2,48 dollar AS atau hampir Rp38.000 per saham. Laba bersih itu mengalami pertumbuhan 202 persen secara QoQ, dan naik drastis 854 persen secara YoY.
Kontribusi pendapatan terbesar Nvidia berasal dari bisnis pusat data alias data center yang mencetak rekor pendapatan senilai 10,32 miliar dollar AS atau kira-kira Rp 157,9 triliun. Pendapatan data center Nvidia tumbuh 141 persen dari kuartal sebelumnya dan naik 171 persen dari tahun lalu.
Dari pendapatan tersebut, Nvidia menghasilkan keuntungan 6,188 dollar AS (kira-kira Rp 94.600), naik 843 persen secara YoY. Tak hanya itu, Nvidia juga mengandalkan produk chip pengolah grafis (GPU) AI. Microsoft Azure sendiri menggunakan puluhan hingga ribuan unit GPU Nvidia. Salah satunya untuk menopang kinerja ChatGPT, chatbot AI bikinan OpenAI.
Microsoft mengungkapkan chatbot AI ChatGPT berjalan di atas puluhan hingga ribuan GPU Nvidia, yaitu dengan model GPU AI Nvidia A100 atau H100, yang saling terhubung di jaringan Microsoft Azure.
Tak hanya Microsoft, Google memborong GPU AI Nvidia, mengingat Google membutuhkan lebih dari 4 juta unit GPU Nvidia untuk pengembangan AI. Google harus mengeluarkan dana 100 miliar dollar AS atau sekitar Rp 1.500 triliun untuk memborong GPU AI Nvidia.
Saat ini Nvidia menjadi penguasa di ranah chip AI dengan pangsa pasar 80-95 persen. Fenomena itu membuat harga saham Nvidia melejit hingga valuasi perusahaannya menembus 1 triliun dollar.
Baca Juga: Microsoft Luncurkan Copilot AI Versi Finance, Ini Kemampuannya
Baca Juga: Bantu Distribusi Beban Kerja, MediaTek Kenalkan Ambient Computing AI