Red Hat, Inc. (Red Hat) mengumumkan serangkaian pembaruan signifikan untuk Red Hat AI, platform enterprise AI yang dirancang untuk mempercepat pengembangan dan penerapan solusi kecerdasan buatan (AI) di lingkungan hybrid cloud.
Meliputi Red Hat OpenShift AI dan Red Hat Enterprise Linux AI (RHEL AI),Red Hat AI adalah rangkaian produk dan layanan yang mengintegrasikan model training dan inference dalam satu ekosistem. Dengan kemampuan untuk berjalan di pusat data, cloud publik, maupun edge, Red Hat AI membantu perusahaan memanfaatkan data miliknya, di mana saja lokasinya, untuk melatih model AI dengan lebih efisien dan aman.
Pembaruan pada Red Hat Openshift AI
Red Hat OpenShift AI mengusung rilis terbaru Red Hat OpenShift AI 2.18 yang membekal sejumlah fitur utama.
1. Distributed Serving melalui vLLM inference server yang memungkinkan pembagian proses serving model LLM ke beberapa GPU secara paralel. Fitur ini akan mempercepat latihan dan tuning model, mengurangi beban server, dan meningkatkan efisiensi penggunaan daya komputasi.
2. End-to-End Model Tuning dengan InstructLab, yaitu integrasi penuh antara InstructLab dan data science pipelines, dilengkapi dashboard manajemen di OpenShift AI yang akan memudahkan tim data science di perusahaan melakukan fine-tuning model secara terukur, dan dapat diaudit.
3. AI Guardrails (Technology Preview), yaitu fitur pengaman untuk mendeteksi dan menangkal konten berisiko (hate speech, data pribadi, bocoran rahasia perusahaan). Fitur ini
daoat memperkecil potensi pelanggaran kebijakan, membantu sektor-sektor, seperti perbankan dan pemerintahan, yang harus mematuhi regulasi data.
4. Model Evaluation (lm-eval) yang menjadi alat benchmarking performa LLM pada beragam tugas, mulai dari logika, matematika, hingga adversarial language. Fitur ini disebut Red Hat memungkinkan perusahaan memilih model yang paling akurat untuk kebutuhannya.
Pembaruan pada RHEL AI
Red Hat Enterprise Linux AI (RHEL AI) rilis terbaru, yaitu RHEL 1.4, kini mendukung model Granite 3.1 8 yang dapat melakukan Inferensi multibahasa, kustomisasi pengetahuan (developer preview), dan memiliki context window 128.000 token untuk merangkum dokumen panjang serta tugas retrieval-augmented generation (RAG).
RHEL AI 1.4 juga menghadirkan antarmuka grafis (GUI) baru untuk “Skills & Knowledge Contributions” yang kini tersedia dalam tahap developer preview.
| Penulis | : | Liana Threestayanti |
| Editor | : | Liana Threestayanti |
KOMENTAR