Find Us On Social Media :

Mengenal Data Streaming, Fondasi Bagi Inovasi AI & Teknologi Terkini

By Liana Threestayanti, Senin, 14 Oktober 2024 | 20:26 WIB

Di lingkungan bisnis modern, teknologi data streaming kini menjadi semakin penting untuk memastikan AI berfungsi secara optimal. (Foto: Rully Moulany, Area Vice President Asia, Confluent)

“Padahal hal itu sangat mungkin dilakukan karena teknologinya sudah sangat mature, sudah sangat mumpuni. Kemungkinan-kemungkinan yang dibuka apabila perusahaan mengadopsi Kafka sebagai pusat syaraf data mereka itu menjadi sangat terbuka luas. Salah satunya adalah AI,” tandasnya. 

Rully menambahkan bahwa ada banyak use case selain AI yang bisa memberikan nilai tambah jika perusahaan mengadopsi data streaming secara holistik dan integratif. Ia mengambil contoh super app perbankan yang kini makin marak di Indonesia. Data streaming menjadi sangat penting bagi super app karena memastikan bahwa semua transaksi, informasi, dan layanan dari ekosistem super app tersebut dapat terintegrasi secara real-time, sehingga memenuhi ekspektasi nasabah yang semakin tinggi.

Meski begitu, AI dinilai Rully bisa berperan sebagai “lokomotif” dalam inisiatif pembenahan infrastruktur data di satu perusahaan yang pada umumnya tidak mudah dilakukan. 

“Tapi seperti saya sampaikan tadi, sebelum kita bicara AI pun, kalau misalnya satu perusahaan seperti bank meluncurkan super app, itu bisa jadi lokomotif, dan fondasi terhadap data streaming-nya ikut terbentuk yang kemudian bisa di-leverage oleh unit bisnis lain di luar super app,” katanya.

Empat Aspek Pertimbangan

Ada beberapa aspek yang perlu dipertimbangkan perusahaan saat mengadopsi dan mengimplementasikan solusi data streaming dalam ekosistem teknologinya. Aspek pertama terkait kompleksitas dan sumber daya yang dapat berujung pada pemikiran bahwa data streaming itu “mahal.” Namun Rully mengingatkan bahwa konteks mahal di sini tidak hanya dalam hal finansial, tetapi juga dalam hal sumber daya manusia, waktu, dan fokus. 

“Yang kedua adalah skillset. Kafka memang adopsinya di Indonesia sudah sangat tinggi. Namun berdasarkan yang kami lihat, skill Kafka specialist di Indonesia masih perlu ditingkatkan, baik dari sisi jumlah maupun kualitas,” jelas Rully Moulany.

Ia juga menggarisbawahi kekhawatiran terkait keamanan dan risiko yang datang dengan adopsi teknologi baru. Meskipun banyak perusahaan di Indonesia telah melakukan verifikasi dan pengujian keamanan informasi, masih ada kebutuhan untuk meyakinkan pengguna bahwa data mereka aman di atas platform data streaming.

Tantangan utama lainnya, menurut Rully, adalah keterbatasan sistem lama (legacy systems). Meskipun data streaming dapat menambah nilai dengan menghubungkan berbagai data, sistem lama sering kali sulit untuk diintegrasikan, yang memerlukan teknik khusus dan dapat memakan biaya.

“Tapi sekarang ini sudah banyak vendor yang membuat connector, semacam converter, jembatan, middleware yang bisa menjembatani sistem lama itu ke dunia yang lebih baru yang bisa dimanage oleh Confluent dan Kafka,” imbuhnya.

Untuk mendukung perusahaan dalam mengadopsi dan mengimplementasikan data streaming, Confluent menawarkan dua tipe produk. Pertama, ada Confluent Platform, yang merupakan model lisensi tradisional. Pelanggan membeli perangkat lunak dan mengelolanya sendiri, termasuk instalasi, penyebaran, dan operasional. Model ini memerlukan keterampilan dan sumber daya yang lebih besar, serta perusahaan harus menyediakan infrastruktur dan perangkat keras yang diperlukan. 

Opsi kedua adalah Confluent Cloud, yang merupakan layanan Software as a Service (SaaS) sehingga pelanggan dapat langsung menggunakan layanan tanpa perlu mengelola infrastruktur, pemeliharaan, atau operasi, karena semua aspek tersebut ditangani oleh Confluent. 

"Dalam model ini, customer hanya perlu tahu endpoint-nya saja, apa yang mereka mesti connect dan meng-create aplikasinya di atas Confluent," Rully menjelaskan kemudahan yang ditawarkan Confluent Cloud.

Di samping itu, Rully Moulany juga menjelaskan keunggulan solusi Confluent Cloud jika dibandingkan dengan solusi komunikasi dan pertukaran data antaraplikasi terdistribusi yang lebih dulu ada: message oriented middleware (MOM). 

Salah satu kelebihan utama Confluent adalah kemampuannya untuk menyimpan data. Berbeda dengan message-oriented middleware (MOM), di mana data hilang setelah dikonsumsi. "Kalau di Confluent tidak seperti itu, sistemnya adalah data yang dipublish ke dalam data streamingnya Confluent itu akan tetap ada sampai customernya memutuskan untuk menghilangkan data itu meskipun data itu sudah diambil oleh sistem yang lain," jelas Rully.

Solusi Confluent juga menawarkan kemampuan stream processing: Confluent tidak hanya memindahkan data dari satu titik ke titik lain, tetapi juga mendukung data stream processing) yang memungkinkan pemrosesan data secara real time, seperti penghilangan atau penambahan header, serta penggabungan atau agregasi data. Selain itu, solusi Confluent dan Kafka yang hadir di era cloud dirancang dengan arsitektur terdistribusi yang membuatnya lebih robust dan mampu melakukan scaling secara horizontal.

Dalam dunia bisnis yang terus berubah, kemampuan untuk mengintegrasikan dan memanfaatkan data secara optimal menjadi sangat krusial, terutama dalam mendukung inisiatif artificial intelligence. Oleh karena itu, adopsi teknologi data streaming seperti Confluent akan menjadi kunci dalam membangun fondasi yang kuat untuk inovasi dan pertumbuhan perusahaan di masa depan.

Baca juga: Tingkatkan Keamanan, Confluent Cloud Tawarkan Jaringan Privat Flink 

Baca juga: Solusi Data Streaming Confluent Percepat Adopsi AI di Indonesia