Data adalah fondasi utama bagi sistem atau aplikasi artificial intelligence (AI). Namun memiliki data saja ternyata tidak cukup, terutama dalam memastikan AI dapat merespons dengan cepat dan tepat di tengah lingkungan bisnis yang terus berubah.
Di lingkungan bisnis modern, teknologi data streaming kini menjadi semakin penting untuk memastikan AI berfungsi secara optimal. Data streaming sendiri merupakan proses mengirimkan dan memproses data secara kontinu dan real-time dari berbagai sumber ke sistem atau aplikasi yang membutuhkannya.
Dari definisi tersebut tergambar persoalan pada data yang ingin dijawab oleh teknologi data streaming. Ketika aplikasi yang digunakan oleh perusahaan semakin banyak dan beragam, muncul persoalan penyebaran (sprawl) database, di setiap aplikasi memiliki database yang berbeda dan terpisah.
Kondisi ini berpotensi menimbulkan tantangan dalam integrasi data antara berbagai sistem. Di sektor perbankan, misalnya, diperlukan integrasi data antara sistem core banking, kartu kredit, pinjaman, dan layanan perbankan lainnya. Ketika sistem-sistem ini tidak dapat berkomunikasi satu sama lain, data yang diakses dapat menjadi tidak terupdate atau tidak sinkron, sehingga menimbulkan masalah bagi pengguna. Di sektor perbankan, hal ini dapat berdampak pada kepercayaan nasabah dan reputasi bank.
Cara Kafka Atasi Penyebaran Database
Masalah fundamental inilah yang kemudian coba dipecahkan oleh Confluent, sebuah perusahaan pengembang platform data streaming berbasis teknologi Apache Kafka. Awalnya teknologi ini dikembangkan di LinkedIn oleh Jay Kreps, Neha Narkhede, dan Jun Rao pada tahun 2010 untuk menangani kebutuhan pipeline data real-time dan event streaming yang semakin meningkat di LinkedIn. Tujuan utamanya adalah membangun platform yang mampu memroses aliran data terdistribusi dengan throughput tinggi secara efisien.
Pada tahun 2011, LinkedIn merilis Kafka sebagai software open source di bawah naungan Apache Software Foundation, sehingga dapat digunakan oleh komunitas teknologi yang lebih luas. Para penciptanya, yaitu Jay Kreps, Neha Narkhede, dan Jun Rao kemudian meninggalkan LinkedIn dan mendirikan Confluent pada tahun 2014 untuk menyediakan dukungan dan pengembangan lebih lanjut bagi Kafka, memperluas fiturnya, dan membuatnya lebih mudah diimplementasikan dalam skala besar di berbagai industri.
Nah, bagaimana Apache Kafka memecahkan tantangan penyebaran database dan berbagai implikasinya? "Cara Kafka atau data streaming memecahkan masalah itu adalah dengan satu cara yang menurut kami sangat sangat elegan” jelas Rully Moulany, Area Vice President Asia, Confluent dalam sesi wawancara khusus dengan InfoKomputer beberapa waktu lalu.
Rully memaparkan ada dua aspek utama dalam teknologi Kafka. Pertama adalah Kafka memiliki kemampuan real-time processing sehingga Kafka memungkinkan semua komunikasi dan pertukaran data antara aplikasi terjadi secara real-time. Hal ini memastikan bahwa data dapat diakses dan diproses secepat mungkin tanpa penundaan.
Aspek kedua adalah asynchronous communication. Kafka memungkinkan komunikasi asinkron antara aplikasi. Artinya, ketika satu aplikasi meminta data, aplikasi tersebut tidak perlu menunggu respons dari aplikasi tujuan untuk melanjutkan proses lainnya. Menurut Rully, kemampuan ini sangat bermanfaat ketika ada banyak aplikasi yang saling bergantung. Bayangkan ketika digunakan sistem sinkron, komunikasi bisa menjadi "blocking" atau terhambat jika harus menunggu aplikasi lain selesai memroses.
“Jadi hal itu sebenarnya yang secara fundamental coba dipecahkan oleh Kafka, bagaimana cara semua data repository, semua sistem, bisa ngobrol satu sama lain secara real time dengan cara yang non blocking, atau bahasa kerennya asynchronous,” jelasnya.