Popularitas generative artificial intelligence (AI) atau AI generatif terus menanjak. Berbagai organisasi pun akan mengintensifkan upaya pemanfaatannya dengan fokus pada data, menurut prediksi Cloudera.
Dua belas bulan yang lalu, “Generative Design AI” baru saja muncul di ujung hype cycle Gartner untuk teknologi baru (emerging technologies). Namun saat ini, Gartner meyakini jika AI generatif (Gen AI) sudah mendekati fase “peak of inflated expectations.”
Hal ini tentu tak lepas dari manfaat AI generatif yang kian dirasakan dan berdampak pada berbagai sektor industri. Laporan McKinsey tahun 2023 menyatakan bahwa Gen AI dan teknologi lainnya berpotensi mengotomatisasi aktivitas kerja yang menghabiskan 60 hingga 70 persen dari waktu kerja karyawan. Sementara menurut riset IDC, dua pertiga organisasi di Asia Pasifik mengeksplorasi atau berinvestasi pada Gen AI di tahun 2023.
Melihat berbagai tren tersebut, Cloudera memberikan beberapa prediksi terkait intensifikasi operasionalisasi dan peningkatan penggunaan AI generatif oleh berbagai organisasi di dunia. Organisasi dan perusahaan juga diperkirakan akan menyesuaikan pendekatannya dalam mengelola data di berbagai lingkungan, terutama cloud.
#1 MLOPS dan integrasi data untuk mendukung operasionalisasi AI generatif
Privasi data menjadi salah satu tantangan signifikan bagi organsasi dalam memanfaatkan ChatGPT dan model bahasa besar (LLM) berbasis SaaS. Dalam banyak kasus, pertanyaan, jawaban, dan data kontekstual mungkin bersifat sensitif.
Beruntung, LLM berbasis open source, seperti Llama-v2, berkembang tak kalah pesat dan menjadi alternatif yang layak. Namun kendalanya adalah model Gen AI sulit untuk dipindahkan dari laboratorium ke produksi dengan cara yang terukur dan andal. Model ini juga biasanya digunakan bersama di antara beberapa aplikasi, sehingga menimbulkan tantangan integrasi data yang lebih besar dibandingkan dengan model machine learning tradisional.
"Di tahun 2024, kami berharap organisasi akan terus fokus pada pengembangan MLOps dan kemampuan integrasi data yang kuat," ujar Daniel Hand, Field Chief Technology Officer for APJ, Cloudera.
#2 RAG dan pendekatan fine-tuning untuk optimalkan LLM
Ada beberapa pendekatan untuk mengoptimalkan kinerja LLM, seperti Prompt Engineering, Retrieval Augmented Generation (RAG), dan Fine-Tuning.
RAG menggunakan konten dari basis pengetahuan untuk memperkaya prompt dan memberikan konteks yang diperlukan. Komponen kunci dari arsitektur RAG adalah database konten basis pengetahuan yang diindeks dengan cara khusus.
Menurut Cloudera, RAG terbukti menjadi pendekatan yang efektif untuk mengadopsi LLM karena tidak memerlukan pelatihan atau penyesuaian LLM, dan tetap memberikan hasil yang baik. Namun, hal ini memerlukan jalur rekayasa data untuk memelihara repositori basis pengetahuan, dan database vektor khusus untuk menyimpan data yang diindeks.