Biaya awal tinggi sehingga menyebabkan banya perusahaan memutuskan untuk berhemat. Tapi langkah ini justru memperburuk masalah. SDM, proses, dan teknologi masih menjadi tiga area utama yang menjadi tantangan dan fokus investasi organisasi.
Penanganan Data
Menangani data juga menjadi kendala terbesar bagi perusahaan dalam berinvestasi untuk infrastruktur AI. Perusahaan tidak punya banyak waktu untuk membangun, melatih, dan men-deploy model-model AI. Para responden mengatakan, kebanyakan waktu dalam pengembangan AI dihabiskan untuk mempersiapkan data.
Banyak organisasi juga tidak memiliki cukup keahlian atau kemampuan untuk menyiapkan data. Hal ini membuka peluang baru bagi penyedia pre-trained AI model. Meski begitu, menurut pengamatan IDC, model AI pre-trained ini memiliki keterbatasan dalam hal ketersediaan dan kemampuan model dalam beradaptasi; keterbatasan infrastruktur untuk menjalankan model; dan keahlian internet yang tidak memadai.
Infrastruktur Khusus AI
Selain itu, IDC juga melihat bahwa ukuran model AI akan terus berkembang sehingga perusahaan menghadapi tantangan untuk menjalankannya di infrastruktur yang bersifat umum (general purpose).
Menurut hasil studi IDC, perusahaan berinvestasi untuk implementasi infrastruktur AI di lingkungan on-premises, public cloud, dan edge. Perusahaan meningkatkan investasinya untuk layanan infrastruktur public cloud, tapi bagi banyak perusahaan on-premises adalah dan masih menjadi lokasi favorit. IDC menemukan persentase yang sama penggunaan cloud, on-premises, dan edge untuk kebutuhan AI training dan AI inferencing.
Namun, banyak bisnis kini beralih ke AI data pipeline yang membentang antara pusat data mereka, cloud, dan/atau edge. Edge menawarkan kontinuitas operasional saat tidak ada konektivitas jaringan atau terbatas. Keamanan/compliance juga berperan di sini.
Komputasi dengan GPU terakselerasi, host processor yang memiliki software AI-boosting, dan klaster dengan kepadatan tinggi (high density) adalah syarat utama infrastruktur on-premises/edge dan infrastruktur komputasi berbasis cloud untuk kebutuhan AI training dan AI inferencing.
Sementara khususnya untuk AI inferencing dibutuhkan infrastruktur komputasi on-premises/berbasis edge dengan tiga syarat: komputasi dengan FPGA (field-programmable gate arrays) terakselerasi, host processor dengan software AI boosting atau GPU on-premises, dan sistem dengan sistem scaling up seperti HPC. Sedangkan untuk infrastruktur di cloud, prioritas utamanya adalah akselerasi GPU dan host processor dengan AI-boost, serta klaster high density. Dan untuk storage, IDC mengungkapkan bahwa lebih banyak workload AI yang menggunakan blok dan/atau file daripada object.
Eric Burgener, Research Vice President, Storage and Converged System Infrastructure, IDC, hasil studi ini jelas menggambarkan bahwa sebagian besar perusahaan telah dan akan memulai perjalanan AI.
“Yang semakin jelas adalah bahwa mendapatkan time to insight dan hasil bisnis yang konsisten, andal, dan ringkas memerlukan investasi terhadap infrastruktur yang dibuat khusus (untuk AI) dan berukuran tepat,” jelas Eric.
Ashish Nadkarni, Group Vice President, Worldwide Infrastructure, IDC menjelaskan, Performance Intensive Computing (PIC) merupakan area penelitian yang strategis bagi IDC dalam kaitannya dengan infrastruktur AI.
PIC merupakan proses melakukan perhitungan intensif matematis berskala besar dan digunakan untuk memroses data dalam jumlah besar atau mengeksekusi serangkaian instruksi kompleks dengan cara tercepat.
"Solusi PIC ini umum digunakan dalam Artificial Intelligence, modeling, dan simulasi – juga dikenal dalam use case high performance computing (HPC), dan Big Data and analytics (BDA)," imbuh Ashish.
AI InfrastructureView 2021 merupakan studi benchmarking terhadap tren adopsi infrastruktur dan infrastructure as a service untuk use case AI dan machine learning. Survei tahunan ini diikuti oleh 2000 pengambil keputusan TI, business executive, dan professional TI dari seluruh dunia. Sebagian besar responden memiliki pengaruh dalam pembelian infrastruktur, layanan, sistem, platform, dan teknologi AI.