Popularitas generative artificial intelligence (AI) atau AI generatif terus menanjak. Berbagai organisasi pun akan mengintensifkan upaya pemanfaatannya dengan fokus pada data, menurut prediksi Cloudera.
Dua belas bulan yang lalu, “Generative Design AI” baru saja muncul di ujung hype cycle Gartner untuk teknologi baru (emerging technologies). Namun saat ini, Gartner meyakini jika AI generatif (Gen AI) sudah mendekati fase “peak of inflated expectations.”
Hal ini tentu tak lepas dari manfaat AI generatif yang kian dirasakan dan berdampak pada berbagai sektor industri. Laporan McKinsey tahun 2023 menyatakan bahwa Gen AI dan teknologi lainnya berpotensi mengotomatisasi aktivitas kerja yang menghabiskan 60 hingga 70 persen dari waktu kerja karyawan. Sementara menurut riset IDC, dua pertiga organisasi di Asia Pasifik mengeksplorasi atau berinvestasi pada Gen AI di tahun 2023.
Melihat berbagai tren tersebut, Cloudera memberikan beberapa prediksi terkait intensifikasi operasionalisasi dan peningkatan penggunaan AI generatif oleh berbagai organisasi di dunia. Organisasi dan perusahaan juga diperkirakan akan menyesuaikan pendekatannya dalam mengelola data di berbagai lingkungan, terutama cloud.
#1 MLOPS dan integrasi data untuk mendukung operasionalisasi AI generatif
Privasi data menjadi salah satu tantangan signifikan bagi organsasi dalam memanfaatkan ChatGPT dan model bahasa besar (LLM) berbasis SaaS. Dalam banyak kasus, pertanyaan, jawaban, dan data kontekstual mungkin bersifat sensitif.
Beruntung, LLM berbasis open source, seperti Llama-v2, berkembang tak kalah pesat dan menjadi alternatif yang layak. Namun kendalanya adalah model Gen AI sulit untuk dipindahkan dari laboratorium ke produksi dengan cara yang terukur dan andal. Model ini juga biasanya digunakan bersama di antara beberapa aplikasi, sehingga menimbulkan tantangan integrasi data yang lebih besar dibandingkan dengan model machine learning tradisional.
"Di tahun 2024, kami berharap organisasi akan terus fokus pada pengembangan MLOps dan kemampuan integrasi data yang kuat," ujar Daniel Hand, Field Chief Technology Officer for APJ, Cloudera.
#2 RAG dan pendekatan fine-tuning untuk optimalkan LLM
Ada beberapa pendekatan untuk mengoptimalkan kinerja LLM, seperti Prompt Engineering, Retrieval Augmented Generation (RAG), dan Fine-Tuning.
RAG menggunakan konten dari basis pengetahuan untuk memperkaya prompt dan memberikan konteks yang diperlukan. Komponen kunci dari arsitektur RAG adalah database konten basis pengetahuan yang diindeks dengan cara khusus.
Menurut Cloudera, RAG terbukti menjadi pendekatan yang efektif untuk mengadopsi LLM karena tidak memerlukan pelatihan atau penyesuaian LLM, dan tetap memberikan hasil yang baik. Namun, hal ini memerlukan jalur rekayasa data untuk memelihara repositori basis pengetahuan, dan database vektor khusus untuk menyimpan data yang diindeks.
Daniel Hand memprediksi, RAG akan terus menjadi pendekatan Gen AI yang dapat diakses oleh banyak organisasi pada tahun 2024.
Sementara itu, pendekatan fine tuning yang banyak diminati pada tahun 2023 adalah Performance Efficient Fine Tuning (PEFT). PEFT melatih neural network kecil dengan data domain tertentu dan bersanding dengan general purpose LLM. Cara ini menghasilkan banyak manfaat performa dari melatih ulang LLM yang lebih besar, tapi dengan biaya dan data pelatihan yang lebih sedikit.
Meskipun penyempurnaan LLM membutuhkan kemampuan machine learning yang lebih besar, tapi hasilnya adalah efisiensi dan explainability yang lebih baik, dan hasil yang lebih akurat, terutama ketika data pelatihan terbatas.
"Di tahun 2024 ini, saya perkirakan bahwa pendekatan fine-tuning, seperti PEFT, akan semakin banyak digunakan oleh organisasi, baik untuk proyek baru maupun menggantikan beberapa arsitektur RAG sebelumnya. kami berharap pendekatan ini terbanyak akan datang dari organisasi yang memilik tim data science yang lebih besar dan mumpuni," jelas Daniel Hand.
#3 Beralih dari cloud-first ke cloud-considered
Cloud computing diprediksi Cloudera masih akan terus menjadi teknologi transformatif yang penting dalam strategi data organisasi di tahun ini.
Tahun lalu, Cloudera melihat beberapa organisasi melakukan penyesuaian terhadap strategi cloud dari pendekatan cloud-first menjadi cloud-considered
Pada tahun 2023, beberapa bisnis menyesuaikan strategi cloud mereka. Mereka beralih dari pendekatan cloud first ke sikap yang lebih penuh pertimbangan dan seimbang. Langkah ini didorong oleh beberapa faktor, seperti cloud economics untuk workload analitik yang terprediksi, peraturan manajemen data, dan kebijakan fiskal keekonomian cloud untuk banyak beban kerja analitis yang dapat diprediksi, peraturan manajemen data, dan kebijakan fiskal organisasi.
Struktur data yang dihasilkan di cloud publik dan privat memberikan landasan bagi pendekatan manajemen data yang cerdas, otomatis, dan berbasis kebijakan.
#4 Otomatisasi dan demokratisasi data, serta zero-trust security tetap menjadi prioritas teratas
Kebutuhan akan automasi dan manajemen platform data yang cerdas akan terus meningkat seiring melonjaknya volume data dan akuisisi data. Cloudera memperkirakan peran observability terhadap infrastruktur, platform, dan workload akan semakin penting di tahun ini.
Selain itu, para praktisi data juga akan semakin mendorong praktik-praktik demokratisasi data dan opsi-opsi self-service.Hal ini selaras dengan salah satu prinsip terpenting paradigma Data Mesh. Organisasi-organisasi yang inovatif akan memberdayakan tim data dan analis bisnis untuk memperoleh wawasan yang lebih luas tanpa harus melalui “penjaga” gerbang data.
Organisasi dan para penyedia teknologi juga akan fokus pada meniadakan hambatan di setiap tahapan data lifecycle dan meningkatkan akses ke data real time.
Sementara itu, arsitektur hybrid cloud native, adopsi layanan SaaS dan platform-as-a-service (PaaS) pihak ketiga, serta penguatan keamanan siber terus mendorong fokus pada keamanan data, zero-trust, dan pemisahan tanggung jawab yang jelas dalam pengelolaan data.
"Di tahun 2024, kami berhadap teknologi akan semakin menyederhanakan penerapan dan penegakan zero-trust baik di dalam organisasi maupun seluruh organisasi, seiring dengan meningkatnya perhatian terhadap data federation," kata Daniel Hand.
#5 Migrasi ke arsitektur open data lakehouse
Di tahun 2022, terjadi inovasi signifikan pada implementasi data lakehouse. Saat itu, Apache Iceberg didaulat oleh para penyedia solusi data manajemen terkemuka sebagai format de facto. Adopsi cepat Iceberg ini pun mempengaruhi beberapa penyedia solusi data manajemen untuk mengubah strategi open source-nya dan membangun suppor pada produk mereka.
Daniel Hand memprediksi, di tahun ini migrasi data dan workload ke arsitektur open data lakehouse masih akan terus terjadi, baik di lingkungan public cloud maupun private cloud.
Baca juga: Bantu Klien Manfaatkan AI, Alibaba Cloud Luncurkan Solusi Nirserver
Baca juga: Serangan Siber Berbasis AI Naik di 2024, Makin Murah & Sulit Dideteksi
| Penulis | : | Liana Threestayanti |
| Editor | : | Liana Threestayanti |
KOMENTAR