Aiven, platform cloud data berbasis open source, hari ini (14/12) memperkenalkan ekosistem platform event streaming berbasis open source yang komprehensif untuk Apache Kafka®.
Aiven melengkapi ekosistem Apache Kafka-nya dengan menghadirkan stream processing framework, Aiven for Apache Flink® dalam versi beta, dan Klaw, sebuah tool pengelolaan data untuk Apache Kafka.
Klaw sendiri ditawarkan pada September 2022 menyusul akusisi Aiven terhadap Kafkawize, tool tata kelola data mandiri yang berbasis open source untuk Apache Kafka. Dengan akuisisi Klaw, Aiven mengeklaim memiliki portofolio komprehensif untuk solusi dan layanan seputar Apache Kafka yang memungkinkan konsumen memindahkan, mengelola, memproses, mengoperasikan dan secara efisien mengelola streaming data organisasi secara real time.
“Sebagai pemimpin di komunitas open source, Aiven memiliki misi untuk mengelola software yang membuat kehidupan para developer lebih mudah – dan dengan ekosistem teknologi streaming berbasis open source yang lengkap untuk Apache Kafka di sekitar Aiven, kami bisa melakukan hal tersebut dan lebih banyak lagi untuk pengguna kami,” ucap Oskari Saarenmaa, CEO dan Co-Founder Aiven.
Peran Apache Kafka sendiri boleh dibilang semakin penting di tengah maraknya transformasi digital karena kemampuannya dalam menangani, memroses, dan menganalisis big data secara real time. Selain skalabilitas, kinerja, fault tolerance, dan fleksibilitas menjadi alasan bagi pelaku bisnis untuk memanfaatkan platform data/event streaming ini.
Meningkatnya adopsi microservices juga membuat Apache Kafka semakin dibutuhkan. Platform ini sering dimanfaatkan sebagai messaging system pada microservices, yang merupakan pendekatan arsitektur dalam pengembangan aplikasi modern, dan juga pengembangan hybrid cloud dan multi cloud.
Pieter Harianto, Partner Sales Manager, Aiven, menjelaskan bahwa Aiven adalah perusahaan pertama yang menawarkan Apache Kafka secara terkelola di cloud sejak 2016.
Sementara itu, salah satu pengguna Apache Kafka di platform Aiven adalah GoTo Financial. Platform di balik superapps Gojek dan Tokopedia ini memanfaatkan platform Aiven untuk mendukung pelayanan dan pengelolaan sistem throughput-nya yang masif.
“Platform Aiven, bersama dengan Kubernetes Operator dan penyedia Terraform dari Aiven telah menyederhanakan tugas pemeliharaan sehari-hari kami dan mengkonsolidasikan seluruh pengelolaan dalam ekosistem yang sama dengan infrastruktur existing kami,” jelas Anand Rajhans, Head of Site Reliability Engineer dari GoTo Financial.
Menurut Anand, dukungan Aiven for Apache Kafka memudahkan GoTo Financial melakukan skalabilitas, terlepas dari ukuran layanan, memungkinkan peningkatan yang seamless dan andal bagi lebih dari 270 juta konsumen dan 11 juta merchant di seluruh Asia Tenggara.
Sedangkan Everactive, penyedia platform IoT berbasis perangkat sensor dengan daya sendiri dan komunikasi nirkabel rendah daya, memanfaatkan berbagai solusi dari Aiven untuk kebutuhan event streaming, seperti Aiven for Apache Kafka dan Aiven for Apache Kafka Connect.
“Kombinasi antara Kafka dari Aiven, API-nya dan penyedia Terraform dari Aiven, telah memungkinkan kami untuk mengotomatisasi hampir semuanya: konfigurasi, pengimplementasian, dan pemeliharaan,” ucap Carlos Olmos, Senior Principal Software Engineer, Everactive.
Dalam virtual media briefing hari ini, Budi Kusuma, Senior Solutions Architect, Presales, Aiven, menjelaskan, ada beberapa use case untuk Aiven for Apache Kafka, seperti activity tracking (user clicks, registrasi, likes,dan sebagainya); real time data processing (transaksi finansial, data metrics IoT, autonomous mobile device, supply chain tracking), event messaging (komunikasi antaraplikasi microservices), operational metrics (monitoring, statistik data secara real time), dan logging (monitoring log dari aplikasi secara real time).
Apa saja komponen yang ada dalam ekosistem streaming berbasis open source Aiven for Apache Kafka?
- Aiven for Apache Kafka sebagai core event streaming framework yang memungkinkan data real time ditransportasikan kepada organisasi mana saja.
- Aiven for Apache Kafka Connect,yaitu sebuah layanan yang sepenuhnya terkelola, sepenuhnya open source, dan terdistribusi untuk memungkinkan para pelanggan mengintegrasikan sumber data yang sudah ada dan melakukan sink secara mulus dengan Aiven for Apache Kafka.
- Aiven for Apache Kafka MirrorMaker2, yaitu layanan replikasi data yang terkelola sepenuhnya, open source, dan terdistribusi, untuk replikasi data cluster to cluster, pemulihan bencana dan geographic proximity di berbagai wilayah dan para penyedia cloud.
- Aiven for Apache Flink (beta), merupakan engine SQL yang terkelola sepenuhnya, open source streaming sepenuhnya, untuk pemrosesan aliran yang tersimpan pada aliran data.
- Karapace, yaitu Kafka Schema Registry yang sepenuhnya open source, yang bisa diakses oleh aplikasi untuk melakukan serialisasi dan deserialisasi pesan dengan format populer seperti AVRO, Protobuf, dan JSON.
- Klaw: tool untuk tata kelola data berbasis open source yang membantu enterprise melatih topik Apache Kafka® dan skema pengelolaan secara mandiri.