Red Hat, Inc., mengakuisisi Neural Magic untuk memperkuat teknologi AI generatif (gen AI) berbasis open source khususnya dalam mengakselerasi pemrosesan LLM.
Siapa itu Neural Magic? Perusahaan yang berdiri pada tahun 2018 ini dikenal sebagai pionir di bidang software dan algoritma untuk mempercepat pemrosesan model bahasa besar (LLM). Selain itu, komitmen Neural Magic terhadap open source juga disebut selaras dengan visi Red Hat mengenai AI workload berperforma tinggi yang dapat dioptimalkan berdasarkan kasus penggunaan spesifik dan data pelanggan di berbagai lingkungan hybrid cloud (gabungan dari cloud publik, privat, dan on-site).
Dengan perkembangan pesat gen AI saat ini, LLM yang menjadi tulang punggung sistem gen AI pun terus bertambah ukurannya. Peningkatan ukuran LLM ini berujung pada kebutuhan akan daya komputasi yang signifikan, sumber daya energi, dan keahlian operasional khusus. Tantangan-tantangan ini membuat banyak organisasi kesulitan untuk membangun layanan LLM yang hemat biaya, andal, dan siap diimplementasikan, serta lebih memperhatikan aspek keamanan.
Menjawab tantangan tersebut, Red Hat berupaya mempermudah akses ke AI generatif (gen AI) melalui proyek open source vLLM, yang dikembangkan oleh UC Berkeley. Proyek vLLM mendukung berbagai model AI dan akselerasi inferensi, serta kompatibel dengan perangkat keras seperti AMD GPU dan Google TPU. Dengan kepemimpinan Neural Magic dalam proyek ini dan portofolio teknologi hybrid cloud Red Hat, organisasi dapat membangun strategi AI yang fleksibel dan sesuai kebutuhan, di mana pun data mereka berada.
Bagaimana kolaborasi Red Hat dan Neural Magic dapat mengatasi tantangan penerapan AI berskala besar (enterprise AI) dengan memanfaatkan inovasi open source? Yaitu dengan menyediakan model AI berlisensi open source dengan skala parameter dari 1 miliar hingga 405 miliar, yang dapat dioperasikan di berbagai lingkungan hybrid cloud, serta kemampuan untuk menyesuaikan LLM dengan data pribadi dan kasus penggunaan perusahaan dengan keamanan yang lebih kuat. Selain itu, keahlian rekayasa performa inferensi akan meningkatkan efisiensi operasional, dan ekosistem mitra open source memberi pelanggan lebih banyak pilihan dalam penggunaan AI, mulai dari model LLM hingga perangkat keras dan arsitektur chip.
Neural Magic menggunakan keahliannya dalam proyek vLLM untuk membangun inference stack yang memungkinkan pelanggan mengoptimalkan dan menerapkan LLM di berbagai lingkungan hybrid cloud dengan kontrol penuh atas infrastruktur, keamanan, dan siklus hidup model. Mereka juga mengembangkan LLM Compressor untuk mengoptimalkan model LLM dan menyediakan repository model siap pakai.
Red Hat AI membantu mengurangi biaya dan hambatan keterampilan AI dengan teknologi seperti RHEL AI, OpenShift AI, dan InstructLab. Dengan teknologi Neural Magic, Red Hat mendukung penerapan LLM di seluruh hybrid cloud menggunakan inference stack yang sudah dioptimalkan dan terbuka.
Kepemimpinan teknologi Neural Magic dalam vLLM akan meningkatkan kemampuan AI Red Hat dalam mendukung penerapan LLM di mana saja di seluruh hybrid cloud dengan inference stack yang siap pakai, sangat optimal dan terbuka.
“Beban kerja AI harus berjalan di mana pun data pelanggan berada di hybrid cloud; sehingga platform dan tools terbuka, fleksibel, dan standar, telah menjadi sebuah kebutuhan; karena keduanya memungkinkan perusahaan untuk memilih lingkungan, sumber daya, dan arsitektur yang paling selaras dengan kebutuhan operasional dan data mereka yang unik,” ujar Matt Hicks, President dan CEO, Red Hat.
Matt menambahkan, portofolio AI Red Hat yang fokus pada hybrid cloud ditambah terobosan inovasi AI dari Neural Magic semakin mendorong perusahaannya untuk tidak hanya menjadi ‘Red Hat’ open source, tapi juga menjadi ‘Red Hat AI.’
Sementara Brian Stevens, CEO, Neural Magic menegaskan kemampuan open source yang terbukti berulang kali telah mendorong inovasi melalui kekuatan kolaborasi komunitas. “Di Neural Magic, kami telah mengumpulkan beberapa talenta terbaik industri dalam rekayasa performa AI dengan misi tunggal untuk membangun kemampuan penyajian LLM yang terbuka, lintas platform, dan sangat efisien," ujarnya.
"Kepemimpinan Red Hat dalam open source, ditambah dengan pilihan model open source yang efisien, seperti IBM Granite dan penawaran dari Neural Magic untuk meningkatkan AI di berbagai platform, memberdayakan bisnis dengan kontrol dan fleksibilitas yang mereka butuhkan untuk menerapkan AI di seluruh perusahaan," kata Dario Gil, Senior Vice President dan Director of Research, IBM.
Baca juga: Red Hat: Modernisasi Aplikasi Sebagai Langkah Awal Adopsi & Inovasi AI
| Penulis | : | Liana Threestayanti |
| Editor | : | Liana Threestayanti |
KOMENTAR