Alasan Perusahaan Harus Pakai Chip Intel Gaudi 3 untuk Kembangkan AI

Adam Rizal - Sabtu, 13 April 2024 | 10:00 WIB

Intel Gaudi 3

Intel memperkenalkan Intel Gaudi 3 AI accelerator, yang memberikan kemampuan komputasi AI 4x untuk BF16, peningkatan bandwidth memori 1,5x, dan bandwidth jaringan 2x untuk perluasan sistem secara besar-besaran dibandingkan pendahulunya – sebuah lompatan signifikan dalam kinerja dan produktivitas untuk pelatihan dan inferensi AI pada model large language models (LLMs) dan model multimodal yang populer.

Dibangun dengan basis kinerja dan efisiensi akselerator AI Intel Gaudi 2 yang sudah terbukti satu-satunya alternatif LLM yang memenuhi standar MLPerf yang ada di pasar, Intel memberi pilihan kepada pelanggan dengan software berbasis komunitas terbuka dan jaringan Ethernet standar industri untuk meningkatkan kapasistas sistem mereka lebih fleksibel.

Justin Hotard (Intel Executive Vice President and General Manager of the Data Center and AI Group) mengatakan pasar AI yang terus berkembang menyisakan kesenjangan yang signifikan dalam penawaran-penawaran yang ada saat ini. Perusahaan-perusahaan mempertimbangkan faktor-faktor seperti ketersediaan, skalabilitas, kinerja, biaya, dan efisiensi energi.

"Masukan dari pelanggan kami dan pasar yang lebih luas menegaskan keinginan untuk adanya lebih banyak pilihan. Intel Gaudi 3 merupakan alternatif GenAI yang menonjol karena menghadirkan kombinasi menarik antara kinerja harga, skalabilitas sistem, dan keunggulan dalam kecepatan menciptakan nilai atau manfaat," katanya

Saat ini berbagai perusahaan di sektor-sektor penting seperti keuangan, manufaktur, dan layanan kesehatan berupaya untuk secara cepat memperluas akses terhadap AI dan melakukan transisi proyek-proyek AI generatif (GenAI) dari tahap eksperimental ke implementasi skala penuh.

Untuk mengelola transisi ini, mendorong inovasi, dan merealisasikan target pertumbuhan pendapatan, dunia usaha memerlukan beragam solusi dan produk yang terbuka, hemat biaya, dan lebih hemat energi yang memenuhi kebutuhan laba atas investasi (ROI) dan efisiensi operasional.

Akselerator Intel Gaudi 3 akan memenuhi persyaratan ini dan menawarkan kemampuan serbaguna melalui software berbasis komunitas terbuka dan Ethernet standar industri terbuka, sehingga membantu perusahaan-perusahaan untuk meningkatkan kapasitas sistem dan aplikasi AI mereka secara fleksibel.

Akselerator Intel Gaudi 3, dirancang untuk komputasi AI skala besar yang efisien diproduksi dengan teknologi proses 5 nanometer (nm) dan menawarkan kemajuan yang signifikan dibandingkan pendahulunya. Intel Gaudi 3 dirancang untuk memungkinkan aktivasi semua mesin secara paralel — dengan Matrix Multiplication Engine (MME), Tensor Processor Cores (TPCs), dan Networking Interface Cards (NICs) — sehingga memungkinkan akselerasi yang diperlukan untuk komputasi dan peningkatan kapasitas deep learning yang cepat dan efisien.

Fitur-fitur utama meliputi:

Mesin Komputasi Khusus AI: Akselerator Intel Gaudi 3 dibuat khusus untuk komputasi GenAI dengan kinerja dan efisiensi tinggi. Setiap akselerator secara unik dilengkapi dengan mesin komputasi heterogen yang terdiri dari 64 TPC khusus AI dan dapat diprogram serta delapan MME.

Setiap Intel Gaudi 3 MME mampu melakukan 64.000 operasi paralel yang mengesankan, sehingga mendukung efisiensi komputasi tingkat tinggi dan memiliki kemampuan untuk menangani operasi matriks yang kompleks, suatu jenis komputasi yang penting bagi algoritma deep learning. Desain unik ini meningkatkan kecepatan dan efisiensi operasi AI paralel dan mendukung berbagai jenis data, termasuk FP8 dan BF16.

Peningkatan Memori untuk Persyaratan Kapasitas LLM:

Kapasitas memori HBMe2 sebesar 128 gigabyte (GB), bandwidth memori sebesar 3,7 terabyte (TB), dan static random access memory (SRAM) terpasang sebesar 96 megabyte (MB) menyediakan memori yang cukup untuk memproses dataset GenAI yang besar dengan Intel Gaudi 3 yang lebih sedikit. Hal ini terutama berguna dalam melayani model-model large language dan multimodal, sehingga menghasilkan peningkatan kinerja beban kerja dan biaya data center yang lebih hemat.

Peningkatan Kapasitas Sistem yang Efisien untuk Enterprise GenAI:

Dua puluh empat port Ethernet 200 gigabit (Gb) diintegrasikan ke dalam setiap akselerator AI Intel Gaudi 3, sehingga menyediakan jaringan yang fleksibel dan berstandar terbuka.

Dengan demikian, peningkatan kapasitas bisa dilakukan secara efisien untuk mendukung cluster komputasi besar dan tidak perlu terikat pada vendor proprietary networking fabrics tertentu. Akselerator AI Intel Gaudi 3 dirancang untuk meningkatkan dan memperluas kapasitas secara efisien dari satu node menjadi ribuan node untuk memenuhi persyaratan model GenAI yang luas.

Software Industri Terbuka untuk Produktivitas Pengembang:

Software Intel Gaudi mengintegrasikan kerangka kerja PyTorch dan menyediakan model berbasis komunitas Hugging Face yang dioptimalkan – kerangka kerja AI yang paling umum untuk pengembang GenAI saat ini. Dengan demikian, para pengembang GenAI dapat beroperasi pada tingkat abstraksi tinggi untuk kemudahan penggunaan dan produktivitas serta kemudahan porting model di seluruh jenis hardware.

Gaudi 3 PCIe: Yang baru dalam lini produk ini adalah kartu tambahan interkoneksi

komponen periferal Gaudi 3 (PCIe). Dirancang untuk menghadirkan efisiensi tinggi dengan konsumsi daya yang lebih rendah, form factor baru ini ideal untuk beban kerja seperti fine-tuning, inference, dan retrieval-augmented generation (RAG). Gaudi 3 PCIe dilengkapi dengan form factor full-height 600 watt, dengan kapasitas memori 128 GB dan bandwidth 3,7 TB per detik.

Akselerator Intel Gaudi 3 akan memberikan peningkatan kinerja yang signifikan untuk tugas-tugas pelatihan dan inferensi pada model-model GenAI terkemuka. Secara khusus, akselerator Intel Gaudi 3 diproyeksikan memberikan hasil rata-rata dibandingkan Nvidia H100 sebagai berikut:

Waktu pelatihan 50% lebih cepat pada parameter Llama2 7B dan 13B, serta model parameter GPT-3 175B.Throughput inferensi 50% lebih cepat dan efisiensi daya inferensi 40% lebih besar di seluruh parameter Llama 7B dan 70B, serta model parameter Falcon 180B. Keuntungan kinerja inferensi yang lebih besar pada rangkaian input dan output yang lebih panjang. Proses inferensi4 30% lebih cepat pada parameter Llama 7B dan 70B, serta model parameter Falcon 180B dibandingkan Nvidia H200.

Tentang Adopsi dan Ketersediaan Pasar:

Akselerator Intel Gaudi 3 akan tersedia bagi para original equipment manufacturer (OEM) pada kuartal kedua tahun 2024 dalam konfigurasi standar industri Universal Baseboard dan modul akselerator terbuka (OAM). OEM terkemuka pengadopsi yang akan membawa Gaudi 3 ke pasar antara lain adalan Dell Technologies, HPE, Lenovo dan Supermicro. Ketersediaan umum akselerator Intel Gaudi 3 diperkirakan pada kuartal ketiga tahun 2024, dan kartu tambahan Intel Gaudi 3 PCIe diperkirakan akan tersedia pada kuartal terakhir tahun 2024.

Akselerator Intel Gaudi 3 juga akan mendukung beberapa infrastruktur cloud LLM yang hemat biaya untuk pelatihan dan inferensi, sehingga menawarkan keunggulan dalam rasio harga-kinerja dan pilihan bagi organisasi-organisasi yang kini menyertakan NAVER. Para pengembang saat ini sudah bisa mulai dengan mengakses instans berbasis Intel Gaudi 2 di cloud pengembang untuk mempelajari, membuat prototipe, menguji, dan menjalankan aplikasi dan beban kerja.