AMD resmi meluncurkan chip akselerator AI terbarunya Instinct MI300 Series yang hadir dalam dua model dalam lini produk ini untuk datacenter, yaitu GPU Instinct MI300X dan APU MI300A. Keduanya menggunakan teknologi terkini seperti 3D stacking, 3,5D packaging, dan chiplet.
Instinct MI300X dirancang sebagai chip akselerator AI untuk bersaing dengan GPU seri H100 dari Nvidia. Di sisi lain, Instinct MI300A, yang menggabungkan CPU dan GPU dalam satu kemasan, menjadi rival bagi Nvidia Grace Hopper.
Instinct MI300X mengintegrasikan beberapa chiplet menggunakan teknologi 3,5D packaging, termasuk 8 chiplet GPU CDNA 3 5 nm dan 8 memory HBM3 12-Hi. Dengan demikian, MI300X memiliki 304 compute units, memori HBM3 sebesar 192 GB, dan bandwidth 5,3 TB per detik.
Chip ini dirancang untuk konfigurasi 8 chip dalam platform generative AI AMD, dengan koneksi melalui interkoneksi Infinity Fabric berkapasitas throughput 896 GB per detik. Secara keseluruhan, sistem generative AI ini memiliki memori HBM3 sebesar 1,5 TB dan kinerja BF16/ FP16 sebesar 10,4 Petaflops seperti dikutip Tom's Hardware.
AMD mengklaim bahwa dibandingkan dengan chip H100 dari Nvidia, Instinct MI300X memiliki kapasitas memori 2,4x lebih besar dan kinerja komputasi BF16/ FP16 1,3x lebih tinggi. AMD juga menyoroti keunggulan Instinct MI300X dalam aplikasi tertentu seperti Flash Attention 2 dan Llama 2, dengan throughput 60 persen lebih besar dan peningkatan chat latency 40 persen.
Instinct MI300A, sebagai APU data center pertama di dunia, menggabungkan CPU dan GPU dalam satu kemasan. Dalam desain yang mirip dengan Instinct MI300X, dua chiplet GPU digantikan dengan tiga core compute die (CCD) 5 nm yang masing-masing berisi delapan core CPU Zen 4. Kapasitas memori HBM3 dikurangi menjadi 128 GB, tetapi bandwidth maksimal tetap 5,3 TB. Instinct MI300A memiliki 24 core CPU, 228 compute unit CDNA 3, dan memori HBM3 128 GB.
Baca Juga: Uni Eropa Sahkan Regulasi Pertama AI, GPT-4 Jadi Perhatian Utama