Red Hat menghadirkan fitur-fitur baru pada Red Hat OpenShift AI yang memungkinkan perusahaan mengakomodasi peningkatan beban kerja (workload) artificial intelligence (AI) secara fleksibel di berbagai lingkungan komputasi.
Di acara tahunan Red Hat Summit 2024 yang berlangsung di Denver, AS, beberapa waktu lalu, Red Hat Inc. mengumumkan peningkatan pada Red Hat OpenShift AI, platform open hybrid untuk pengembangan artificial intelligence (AI) dan machine learning yang dibangun di atas Red Hat OpenShift. Peningkatan ini bertujuan memungkinkan perusahaan membuat dan menyediakan aplikasi artificial intelligence (AI) pada skala yang sesuai kebutuhan di platform hybrid cloud.
Dalam framework yang bertajuk “The Future of Digital Infrastructure, 2024,” IDC menyatakan bahwa agar sukses memanfaatkan AI, perusahaan harus melakukan beberapa langkah penting, seperti modernisasi aplikasi dan lingkungan data, mengintegrasikan sistem-sistem yang sudah ada dengan platform storage, meningkatkan keberlanjutan infrastruktur, dan memilih secara cermat lokasi untuk menempatkan beban kerja AI di cloud, data center, dan edge.
Menjawab tantangan tersebut, Red Hat melihat pentingnya fleksibilitas pada platform AI untuk perusahaan saat mereka memasuki fase adopsi AI dan menghadapi perubahan kebutuhan serta sumber daya.
Selain itu, Red Hat juga melihat perusahaan menghadapi tantangan saat memindahkan model AI dari eksperimen ke produksi, misalnya biaya hardware yang meningkat, kekhawatiran seputar privasi data, dan ketidakpercayaan dalam berbagi data dengan model berbasis SaaS. Dan banyak organisasi kesulitan membangun platform AI yang andal untuk berjalan di lingkungan on-premises atau di cloud.
Untuk menjawab tantangan itu, Red Hat menerapkan strategi AI yang menonjolkan fleksibilitas di seluruh hybrid cloud sehingga perusahaan dapat meningkatkan model-model dasar AI miliknya, baik yang pre-trained maupun yang terkurasi, dengan data customer. Fleksibilitas lain yang dihadirkan Red Hat adalah kebebasan bagi pelanggan untuk menggunakan berbagai hardware dan akselerator software.
Inilah fitur-fitur baru pada Red Hat OpenShift AI:
Model serving di edge akan memperluas penempatan model AI ke lokasi terpencil, menggunakan OpenShift satu node. Fitur ini memberikan kemampuan inferensi di lingkungan dengan sumber daya terbatas dan akses jaringan terputus. Fitur yang masih berupa pratinjau teknologi ini dijanjikan Red Hat memberikan pengalaman operasional yang scalable dan konsisten, mulai dari sistem inti hingga cloud dan edge. Fitur ini juga menyertakan kemampuan observasi.
Peningkatan model serving dengan kemampuan menggunakan beberapa server model untuk mendukung AI prediktif dan AI generatif. Dengan demikian, pengguna dapat menjalankan AI prediktif dan generatif di satu platform untuk beberapa use case sekaligus sehingga dapat mengurangi biaya dan menyederhanakan operasional. Kemampuan queuing (antrean) dan manajemen pusat memungkinkan pemanfaatan node secara optimal, serta alokasi sumber daya seperti GPU kepada pengguna dan beban kerja yang tepat.
Workload terdistribusi dengan Ray, CodeFlare dan KubeRay, yang menggunakan beberapa node cluster untuk pemrosesan data dan pelatihan model yang lebih cepat dan efisien.
Peningkatan pengembangan model melalui project workspace dan workbench image tambahan sehingga para data scientist memiliki fleksibilitas dalam memanfaatkan IDE dan toolkit.
Visualisasi model monitoring untuk metrik kinerja dan operasional sehingga kemampuan observasi terhadap kinerja model AI akan lebih baik.