Di tengah dinamika bisnis dan maraknya pemanfaatan artificial intelligence (AI) atau kecerdasan buatan, teknologi seperti data streaming analytics pun kian menjadi prioritas perusahaan.
Fortune Business Insight memproyeksikan pasar streaming analytics global akan tumbuh dari US$27,84 miliar pada tahun 2024 menjadi US$185,08 miliar pada 2032 (CAGR of 26,7%). Pertumbuhan ini didorong oleh perkembangan teknologi-teknologi seperti artificial intelligence (AI), machine learning, dan big data.
COVID-19 juga menjadi salah satu faktor di balik tumbuhnya permintaan akan solusi streaming analytics. Pasalnya, di masa pandemi, organisasi dan perusahaan membutuhkan insight berdasarkan data real time guna beradaptasi dengan situasi dan kondisi saat itu yang kerap berubah dengan cepat.
Tantangan Paradigma Baru
Namun, adopsi teknologi ini bukannya tanpa tantangan. Global Field Chief Technology Officer (CTO), Confluent, Kai Waehner mengungkapkan bahwa salah satu tantangan utamanya adalah data streaming dan streaming analytics sebagai sebuah paradigma baru.
Menurutnya, pemahaman organisasi terkait data masih berkutat seputar API dan database. “Karena itulah yang digunakan selama 20 tahun terakhir,” ujar Kai kepada InfoKomputer dalam sesi wawancara khusus di ajang Kafka Summit Bangalore 2024 di India, beberapa waktu lalu. Beberapa pertanyaan yang kerap ia hadapi sebagai seorang Field CTO, seperti kapan harus menggunakan dan apa manfaat teknologi data streaming & analytics, seperti Apache Kafka dan Flink.
Tantangan selanjutnya, menurut pria yang memulai kariernya di Confluent sebagai Technology Evangelist ini, adalah implementasi. “Inilah alasan sebagian pelanggan menerapkan strategi cloud-first (terhadap data streaming), jika memungkinkan, karena mereka dapat menggunakannya sebagai as a service dan (mereka) hanya perlu membangun aplikasi atau integrasi di seputar teknologi itu,” jelasnya.
Bahkan perusahaan dan organisasi yang sudah “ngoprek” Apache Kafka versi open source pun kerap datang kepada perusahaan seperti Confluent karena mereka membutuhkan dukungan teknis yang andal bagi sistem-sistem kritis yang terintegrasi dengan data streaming.
“Yang juga penting, bukan hanya (memastikan sistem) berjalan 24-7, tetapi juga mendapatkan bantuan jika ada masalah. Dan jika itu adalah sistem kritis, Anda membutuhkan bantuan dalam hitungan menit bukan dalam hitungan hari,” tegas Kai.
Selain dukungan teknis, perusahaan dan organisasi memilih menggandeng vendor karena biaya. “Kami melihat ada banyak use case dan kami juga melakukan kalkulasi total cost of ownership. Bahkan kami memiliki tim bisnis di seluruh dunia yang khusus didedikasikan untuk membantu pelanggan mengkalkulasi TCO,” jelas Kai Waehner.
Sebagai informasi, jumlah pengguna Apache Kafka mencapai 100.000 organisasi di seluruh dunia. “Kalau diibaratkan, Apache Kafka adalah mesin mobil. Kami di Confluent juga menggunakan mesin itu, kami juga berkontribusi terhadap open source network,” jelas Kai seraya menambahkan bahwa Kafka adalah “mesin mobil” yang bagus, stabil, berfungsi dengan baik, dan telah diuji di lapangan selama bertahun-tahun.
“Tapi Apache Kafka (versi open source) hanyalah mesin mobil. Sementara untuk mengaplikasikan data streaming di lingkungan perusahaan, Anda perlu memiliki mobil lengkap. Apakah itu mobil yang Anda bangun sendiri atau Anda beli,” ujarnya.
Dan kebanyakan orang tidak ingin membuat mobil sendiri karena tidak memiliki sumber daya dan keahlian untuk itu. “Dan di Confluent, kami menjual mobil lengkap yang aman, terjamin keamanannya, terhubung, memiliki dukungan (support), dan sebagainya,” imbuh Kai Waehner.
Tawarkan Tiga Keunggulan
Pada bulan Desember 2023, firma riset Forrester untuk pertama kalinya merilis “The Forrester Wave™: Streaming Data Platforms, Q4 2023“. Dalam laporan ini, posisi Leader ditempati oleh Microsoft, Google, dan Confluent, serta diikuti oleh Oracle, Amazon, Cloudera, dan beberapa vendor lainnya. Dirilisnya laporan ini menandai bahwa data streaming merupakan kategori software baru.
Menurut Kai, adalah sesuatu yang bagus ketika data streaming diakui sebagai sebuah kategori baru di dunia software dan semakin banyak vendor yang menawarkan solusi data streaming berbasis Kafka. Namun menurutnya ada tiga hal yang membedakan Confluent dari vendor-vendor lainnya. “Pertama, Confluent menyediakan platform lengkap. Seperti yang saya jelaskan tadi, mesin mobil versus mobil lengkap. Atau di awan, bahkan itu mobil yang bisa mengemudi sendiri karena tidak menggunakan server (serverless,” jelasnya.
Saat ini Confluent mengerahkan sekitar 3.000 orang di tim teknis untuk melayani para pelanggannya di seluruh dunia. Menurut Kai, sebagian besar memang berada di Amerika Serikat. “Tapi APAC sedang berkembang pesat sehingga sekitar 20% karyawan kami ada di kawasan ini, dan banyak di antaranya berada di India,”jelasnya.
Kedua adalah elastisitas, fleksibilitas, dan skalabilitas platform karena Confluent Kafka bersifat cloud-native. Kai mencontohkan pelanggan Confluent di India, seperti Swiggy dan Misu. “Mereka perlu meningkatkan skala secara cepat untuk menghadapi permintaan yang fluktuatif, seperti saat banyak orang memesan makanan atau taksi. Model on-premises tidak efisien karena memerlukan infrastruktur tetap untuk menjaga puncak permintaan. Pendekatan cloud-native memungkinkan penyesuaian skala secara otomatis sesuai kebutuhan, menghindari pemborosan infrastruktur,” jelasnya.
Hal lain yang digadang-gadang sebagai keunggulan Confluent adalah ketersediaan di mana saja karena platform ini dapat bekerja di lingkungan on-premises, cloud, dan di edge. Selain menggandeng AWS, Google Cloud, dan Microsoft. Confluent juga menggandeng Alibaba Cloud untuk melayani pelanggan di daratan Tiongkok.
Dua Strategi AI
Sementara itu, dalam lanskap teknologi modern, kecerdasan buatan atau artificial intelligence (AI) dan machine learning tidak hanya menjadi tren, tetapi juga pendorong utama adopsi solusi streaming data di berbagai sektor industri.
Kai Waehner menyebutkan bahwa banyak penyedia platform AI, seperti OpenAI, menggunakan Confluent di bawahnya untuk integrasi, streaming, dan pengolahan data dalam pelatihan dan penerapan model AI.
Di sisi lain, end user, seperti perusahaan ritel atau bank, juga semakin banyak mengembangkan aplikasi artificial intelligence yang memerlukan data-data yang akurat untuk analitik di data lake dan untuk prediksi real-time. “Dan inilah yang menjadi kelebihan dari platform data streaming,” ujar Kai.
Selain itu, seringkali AI dan machine learning bukan merupakan proyek tersendiri, tetapi lebih merupakan pelengkap dari proses bisnis yang sudah ada. “Banyak use case yang sudah ada sebelumnya, seperti condition monitoring dan predictive maintenance di sektor manufaktur, atau upselling dan cross-selling di ritel, atau fraud detection di perbankan. Kasus-kasus penggunaan itu sudah ada sejak 20-30 tahun lalu,” ujarnya. Kai menambahkan, dengan mengintegrasikan AI ke sistem-sistem itu, organisasi dan perusahaan membuat proses bisnis yang lebih baik dan meningkatkan nilai bisnis.
Kai juga membahas inisiatif perusahaan untuk memanfaatkan kemampuan AI guna meningkatkan pengalaman pengguna dan fungsionalitas produk. Salah satu inisiatif tersebut adalah pengembangan chatbot yang dirancang khusus untuk melakukan fungsi pencarian dokumentasi Confluent sehingga akan mempermudah proses akses informasi yang relevan bagi para pengembang.
Selain itu, Confluent memperkenalkan "Confluent AI” untuk prediksi model dan menjadi salah satu fitur pada platform streaming analytics, Apache Flink. Fitur ini memungkinkan inferensi model secara real-time dalam aplikasi pemrosesan streaming. Contoh penerapannya adalah pada real-time scoring.
“Artificial intelligence ini telah terintegrasi secara langsung ke dalam produk kami, sehingga pengguna tidak perlu lagi pergi ke data lake lain untuk melakukan prediksi model. Selain itu, model analitik juga menjadi bagian utama dari platform ini, memungkinkan pengguna untuk melakukan prediksi model secara langsung dengan menggunakan Confluent tanpa perlu platform AI lain,” pungkasnya.
Baca juga: Confluent Hadirkan Fitur Permudah Integrasi Model AI dan Data
Baca juga: Confluent Rilis Tableflow Guna Permudah Konversi Data Streaming