Alibaba Cloud, tulang punggung teknologi digital dan kecerdasan dari Alibaba Group, memperkenalkan fitur-fitur inovatif Apache Flink 2.0 dalam acara Flink Forward Asia hari ini di Jakarta.
Acara ini menjadi konferensi pertama di Asia Tenggara yang membahas Apache Flink, sebuah framework open-source yang dirancang untuk memadukan stream-processing dan batch-processing oleh Apache Software Foundation. Sebagai pendukung utama jangka panjang, Alibaba Cloud telah berperan penting dalam mengembangkan komunitas Apache Flink, khususnya di Asia.
Feng Wang (Head of Open Data Platform at Alibaba Cloud Intelligence) mengatakankebutuhan akan data sangat penting dan memiliki pemrosesan data yang efisien, scalable, dan terintegrasi. Peluncuran Flink 2.0 yang akan datang adalah perkembangan besar sejak teknologi ini diperkenalkan pada 2016, sekaligus menandai sepuluh tahun keberhasilannya sebagai layanan unggulan Apache.
"Kami berkomitmen untuk terus mendukung komunitas Apache Flink dan akan mengeksplorasi integrasi kemampuan canggih Flink 2.0 ke dalam solusi cloud kami untuk pelanggan global dalam waktu dekat," katanya.
Fitur-fitur Baru Apache Flink 2.0 untuk Era Komputasi Baru
Dijadwalkan rilis pada awal 2025, Apache Flink 2.0 menandai evolusi besar dalam teknologi pemrosesan data, dengan penekanan pada kemajuan signifikan menuju arsitektur terpadu untuk pemrosesan batch dan stream.
Pendekatan ini menyederhanakan komputasi di era cloud-native, sekaligus menjadi landasan untuk menangani beban kerja hybrid yang penting di era GenAI, di mana kemampuan pemrosesan data yang canggih sangat diperlukan untuk aplikasi AI baru.
Kontribusi utama Alibaba Cloud dalam Apache Flink 2.0 mencakup:
· Disaggregated State Storage and Management:
Untuk mendukung teknologi cloud modern Flink, Alibaba Cloud memperkenalkan fitur baru di Flin 2.0 yang disebut Disaggregated State Storage and Management. Fitur ini memungkinkan penggunaan penyimpanan jarak jauh sebagai pengganti disk lokal, sehingga pengguna dapat mengelola data berukuran besar dengan lebih mudah. Arsitektur baru ini memungkinkan pengguna menangani kumpulan data besar tanpa terkendala kapasitas disk lokal, rescale pekerjaan dengan lebih cepat dan lebih efisien, mengurangi lonjakan sumber daya, serta mencapai checkpoint yang ringan dan cepat secara native.
· Materialized Table:
Fitur ini dirancang untuk lebih menyederhanakan pemrosesan data batch dan streaming sekaligus memberikan pengalaman pengembangan yang terintegrasi. Dalam rilis Flink 2.0 mendatang, Alibaba Cloud meningkatkan dukungan operasional untuk Materialized Tables, termasuk integrasi konektor dengan format lake terkini dan scheduler yang siap guna.
· Adaptive Batch Execution: Dengan mengoptimalkan rencana pengolahan data secara dinamis disesuaikan dengan logis dan fisik berdasarkan insight dari eksekusi, Flink 2.0 meningkatkan efisiensi dan kinerja pemrosesan batch dan analisis data secara real-time Online Analytical Processing (OLAP).
· Arsitektur Streaming Lakehouse: Dengan pemrosesan stream-batch yang terpadu, arsitektur ini mendukung analitik data real-time dengan lebih baik melalui pemanfaatan penyimpanan data yang terintegrasi, open format, dan efisiensi biaya dalam paradigma Lakehouse. Dengan demikian, pengguna dapat menangani pembaruan data yang dinamis dan kueri dengan tingkat ketepatan data yang bervariasi, sehinga memenuhi berbagaikebutuhan analitik.
Transformasi Bisnis dengan Apache Flink
Mekari, perusahaan penyedia software-as-a-service (SaaS) terkemuka di Indonesia, memanfaatkan kemampuan pemrosesan stream Flink 1.0 untuk mengatasi tantangan dalam pengolahan dan integrasi data secara real-time.
Dengan Flink, Mekari berhasil menangkap data secara real-time dari berbagai sumber dan mengintegrasikannya dengan mulus ke dalam MaxCompute, platform pemrosesan data skala besar milik Alibaba.
Integrasi ini tidak hanya mengurangi waktu pemrosesan, tetapi juga meningkatkan kecepatan dan kualitas pengambilan keputusan melalui proses streaming data yang andal, sehingga mendorong efisiensi operasional dan memberikan wawasan yang tepat waktu dan akurat kepada para pemangku kepentingan.
"Apache Flink 2.0 menghadirkan masa depan pemrosesan data dan potensi dampaknya pada industri cloud+AI. Dengan memodernisasi komponennya, mengadopsi lebih banyak inovasi AI, dan meningkatkan integrasi dengan proyek-proyek Apache lainnya, Apache Flink telah menetapkan standar baru untuk industri. Kami berharap dapat terus terlibat dengan komunitas Apache Flink untuk memaksimalkan potensi teknologi revolusioner ini, ujarnya.
Dalam acara tersebut, Alibaba Cloud juga mengumumkan telah membuka akses open-source untuk Fluss (Flink Unified Streaming Storage) di GitHub, sebuah solusi penyimpanan streaming yang dirancang untuk analitik real-time dan berfungsi sebagai lapisan data real-time pada arsitektur Lakehouse.
Fluss menjembatani kesenjangan antara data streaming dan data Lakehouse, memfasilitasi pengumpulan dan pemrosesan data dengan latensi rendah dan throughput tinggi. Solusi ini terintegrasi secara mulus dengan mesin komputasi terkemuka, termasuk Apache Flink, untuk meningkatkan utilitas dan efisiensinya dalam pengelolaan data.
Alibaba Cloud terus berkontribusi pada pengembangan komunitas open-source Apache Flink, mengoptimalkan lapisan SQL dan Runtime Flink, serta mengintegrasikan Flink dengan proyek ekosistem lainnya. Inovasi-inovasi ini telah sangat mendorong kemajuan mekanisme Flink secara keseluruhan untuk meningkatkan skalabilitas, keandalan, stabilitas, dan kinerja.
Baca Juga: Ini Keunggulan dan Cara Mudah Download Lagu dengan MP3 Juice
| Penulis | : | Adam Rizal |
| Editor | : | Adam Rizal |
KOMENTAR