Intel belum lama ini telah secara resmi mengumumkan prosesor Xeon Scalable dan memori Optane persistent memory baru di dunia, tepatnya Xeon Scalable Generasi ke-3 dan Optane persistent memory seri 200. Sebagai generasi terbaru, baik Intel Xeon Scalable Generasi ke-3 maupun Intel Optane persistent memory seri 200 menawarkan peningkatan dibandingkan generasi sebelumnya. Intel mengklaim peningkatan tersebut bisa makin membantu pengguna dalam mengembangkan dan memanfaatkan beban kerja AI (artificial intelligence) dan analytics, misalnya di data center. Peningkatan yang paling dikedepankan Intel adalah dukungan bfloat16 (Brain Floating Point Format) secara peranti keras pada Xeon Scalable Generasi ke-3 dan penambahan bandwidth pada Optane persistent memory seri 200.
Adapun fokus Intel pada AI dan analytics tentu sejalan dengan keyakinan bahwa makin jamaknya penggunaan AI dan analytics ke depannya. IDC misalnya memperkirakan bahwa pengeluaran untuk sistem AI dan kognitif di dunia akan mencapai US$77,6 miliar pada tahun 2022. Pengeluaran untuk sistem AI dan kognitif itu diprediksi bertumbuh dengan CAGR (compound annual growth rate) sebesar 37,3% dari tahun 2017 sampai tahun 2022. Begitu pula dengan solusi big data dan business analytics. IDC memperkirakan pendapatan dari solusi big data and business analytics secara global akan mencapai US$274,3 miliar pada tahun 2022. Pendapatan dari solusi big data dan business analytics tersebut diprediksi bertumbuh dengan CAGR sebesar 13,2% dari tahun 2018 sampai tahun 2022.
"Kami sunguh benar-benar percaya bahwa AI dan analytics adalah beban kerja yang mendefinisikan dekade berikutnya dan akan benar-benar menjadi jamak digunakan pada setiap aplikasi dan model penggunaan, dan ini bukanlah suatu pertanyaan jika, melainkan ini adalah kapan dan di tempat mana mereka diintegrasikan paling dekat dan paling cepat," ujar Lisa Spelman (Corporate Vice President and General Manager, Xeon and Memory Group, Intel). "Kami fokus dan terus-menerus memperluas portofolio tak tertandingi dari aneka produk dan peranti lunak dan solusi dan perangkat keras silikon yang menjadi dasar ini, dan kemudian ekosistem pendukung yang dipasangkan, dan di atas itu, dalam rangka menangani seluruh beban kerja dan alur kerja dan pergerakan data dari edge, melalui jaringan, ke cloud, dan kembali lagi, jadi kami memperhatikan semua bottleneck, area apa saja di dalam alur kerja tersebut yang membutuhkan penanganan," sebut Lisa Spelman lebih lanjut.
Intel Optane persistent memory seri 200 menawarkan bandwidth yang lebih tinggi dari Intel Optane persistent memory generasi sebelumnya.
bfloat16 atau BF16 adalah salah satu format untuk merepresentasikan angka floating point pada komputer biner yang belakangan mendapatkan perhatian banyak pihak dan mulai menjadi salah satu pilihan untuk AI, seperti halnya DL (deep learning). bfloat16 dikembangkan oleh Google dan menyerupai IEEE 754 single-precision floating-point format yang populer disebut FP32, hanya saja jumlah bitnya dikurangi dari 32 menjadi 16. Namun berbeda dengan IEEE 754 half-precision floating-point format yang juga 16 bit, bfloat16 mempertahankan jumlah bit untuk eksponen sebanyak 8 dan bukannya berkurang menjadi 5.
Dengan kata lain bfloat16 memiliki 8 bit untuk eksponen seperti FP32, tetapi hanya 7 bit untuk pecahan atau mantissa dan bukannya 23 bit seperti FP32 (1 bit lagi adalah untuk menandakan positif atau negatif). Hal tersebut membuat jangkauan atau dynamic range dari bfloat16 sama dengan FP32, tetapi dengan keakuratan yang lebih rendah. Ibarat notasi ilmiah, seperti antara 3,000001 x 10n dengan 3,0000005400780000000052 x 10n; dalam contoh ini, yang pertama dengan 7 digit seperti bfloat16 dan yang kedua dengan 23 digit seperti FP32. Adapun n-nya sama-sama 8 digit. Meski tidak seakurat FP32, bfloat16 jauh lebih cepat dikalkulasi oleh komputer berhubung hanya 16 bit.
Dengan bfloat16 kecepatan dalam melatih dan inference sehubungan AI bisa ditingkatkan secara signifikan dibandingkan FP32. Intel Xeon Scalable Generasi ke-3 merupakan prosesor server mainstream pertama yang mendukung bfloat16 secara peranti keras. Pada ResNet-50 (residual neural network dengan 50 layer) — AI yang populer untuk klasifikasi gambar — yang telah dioptimalkan, Intel mengklaim peningkatan yang ditawarkan Intel Xeon Scalable Generasi ke-3 berkat Intel DL (Deep Learning) Boost; yang kini mendukung bfloat16; dalam melatih model AI, bisa lebih dari 70% dibandingkan menggunakan FP32 memanfaatkan AVX-512 pada prosesor yang sama. Bila dibandingkan Intel Xeon Scalable Generasi ke-2, peningkatannya lebih dari 90%. Begitu pula untuk inference yang masing-masing memberikan peningkatan mendekati 80% dan mendekati 88%. Namun, untuk inference, penggunaan INT8 yang 8 bit tentunya juga didukung Intel Xeon Scalable bersangkutan adalah jauh lebih tinggi. Pengguna bisa memilih yang paling optimal untuknya.
Intel Xeon Scalable Generasi ke-3 yang diumumkan sendiri memiliki codename Cooper Lake dan lebih ditargetkan untuk sistem dengan empat soket sampai delapan soket. Intel Cooper Lake ini masih menggunakan arsitektur menyerupai generasi sebelumnya dan technology node 14 nm. Namun, soket yang dimanfaatkan berbeda, yakni LGA4189 dan bukannya LGA3647. Adapun untuk sistem dengan satu soket dan dua soket, Intel Xeon Scalable Generasi ke-3 dengan codename Ice Lake yang ditujukan untuk sistem seperti itu. Intel Xeon Scalable Generasi ke-3 dengan codename Ice Lake direncanakan menyusul hadir pada tahun ini juga. Intel Ice Lake telah menggunakan arsitektur baru dan technology node 10 nm.
Terdapat sebelas prosesor Intel Xeon Scalable Generasi ke-3 yang diumumkan, mulai dari Intel Xeon Gold 5318H yang merupakan varian terendah sampai Intel Xeon Platinum 8380HL yang merupakan varian tertinggi. Lebih lengkapnya mengenai kesebelas prosesor Intel Xeon Scalable Generasi ke-3 itu bisa dilihat pada tabel berikut.
Tabel Intel Xeon Scalable Generasi ke-3 (1)
Tabel Intel Xeon Scalable Generasi ke-3 (2)
Sementara, Intel Optane persistent memory seri 200 menawarkan bandwidth yang lebih tinggi sebesar 25% secara rata-rata dibandingkan Intel Optane persistent memory generasi sebelumnya. Bandwidth yang lebih besar itu memungkinkan Intel Optane persistent memory seri 200 untuk memberikan kinerja yang lebih baik dari sebelumnya. Intel Optane sendiri adalah suatu memori dengan jenis yang relatif baru. Intel Optane memungkinkan kecepatan yang lebih tinggi dari NAND flash memory dan kapasitas yang lebih besar dari DRAM. Alhasil Intel Optane cocok diletakkan di atas media simpan SSD dan di bawah memori utama. Adapun Intel Optane persistent memory seri 200 ditujukan untuk Intel Xeon Scalable Generasi ke-3
Terdapat dua kelompok Intel Optane, satu yang lebih sebagai media simpan dan satu lagi yang untuk menemani memori utama. Intel Optane persistent memory adalah yang disebut belakangan. Dengan Intel Optane persistent memory suatu sistem bisa memiliki "memori utama" berkapasitas lebih besar dengan biaya yang lebih ringan. Memang kecepatannya masih tertinggal dibandingkan DRAM, tetapi kapasitas tambahan yang diberikan bisa membantu dalam sejumlah skenario seperti in-memory computing — komputasi dengan data yang diinginkan disimpan di memori utama bukan di media simpan sehingga kecepatan komputasi meningkat. Selain itu, seperti namanya, Intel Optane persistent memory juga tetap menyimpan datanya meski kehilangan daya, tidak seperti DRAM. Intel pun mencontohkan query yang delapan kali lebih cepat pada Apache Spark memanfaatkan Intel Optane persistent memory dibandingkan menggunakan DRAM dan HDD saja. Terdapat tiga pilihan kapasitas Intel Optane persistent memory seri 200, yakni 128 GB, 256 GB, dan 512 GB.
Intel Xeon Scalable Generasi ke-3 sudah mulai dikapalkan ke konsumen sejak pengumuman dilakukan. Begitu pula dengan Intel Optane persistent memory seri 200. Selain prosesor dan memori yang bisa ditandem dengan memori utama, Intel juga mengumumkan sejumlah perangkat lain seperti SSD dan FPGA (Field-Programmable Gate Array).