Di ajang Kafka Summit Bangalore 2024, India, Confluent Inc. memperkenalkan kemampuan baru yang akan menyederhanakan integrasi artificial intelligence (AI) dan memperluas akses stream processing terhadap aneka beban kerja.
Permudah Integrasi Data dan AI
Confluent akan segera menghadirkan AI Inference Model melalui Confluent Cloud for Apache Flink. Fitur ini bertujuan menjawab tantangan integrasi mesin AI dan data pipeline. Masalah yang kerap dihadapi dalam menerapkan AI, khususnya AI generatif, adalah kebutuhan pasokan data terbaru dan kaya akan konteks.
Namun para developer sering kali harus menggunakan lebih dari satu tool dan bahasa pemrograman ketika bekerja dengan model AI dan jalur pemrosesan data. Akibatnya beban kerja semakin kompleks dan terfragmentasi.
Di sinilah AI Model Inference berperan dalam menyederhanakan pengembangan dan deployment aplikasi AI. Dengan menggunakan SQL statement yang simpel pada Apache Flink, para pengembang dapat melakukan panggilan ke AI engine, seperti OpenAI, AWS SageMaker, GCP Vertex, dan Microsoft Azure. Dengan cara ini, menurut Confluent, perusahaan dapat mengorkestrasi pekerjaan data cleaning dan data processing di satu platform.
Shaun Clowes, Chief Product Officer di Confluent, menjelaskan bahwa AI Model Inference akan mengatasi kerumitan dalam penggunaan data streaming untuk pengembangan AI sehingga organisasi dapat berinovasi lebih cepat dan memberikan pengalaman pelanggan yang lebih baik.
Ia juga menekankan peran Apache Kafka dan Flink, yang juga disediakan Confluent, sebagai penghubung kunci untuk mendorong pengembangan aplikasi AI dan machine learning melalui data yang tersedia tepat waktu dan akurat.
Beberapa manfaat yang ditawarkan fitur AI Model Inference seperti menyederhanakan pengembangan AI karena pengembang dapat berinteraksi dengan model AI menggunakan SQL syntax yang lebih mereka pahami.
Koordinasi yang lebih lancar antara pemrosesan data dan workflow AI juga diharapkan akan meningkatkan efisiensi dan mengurai kompleksitas operasional.
Sementara aliran data yang lebih banyak, terbaru, dan kontekstual akan memungkinkan model-model AI generatif memberikan respons, jawaban yang lebih akurat.
Stream Processing di Lingkungan Hybrid
Masih di ajang Kafka Summit yang dihadiri lebih 3000 peserta itu, Confluent juga menghadirkan Confluent Platform for Apache Link yang dijanjikan tersedia akhir tahun ini. Penawaran terbaru ini berupa layanan managed service yang memungkinkan stream processing oleh distribusi Flink dilakukan di lingkungan on-premises atau hybrid.
Pelanggan Confluent Cloud tidak hanya bisa mengalirkan (streaming) data dari satu sistem ke sistem lain secara real-time, tetapi juga dapat memodifikasi dan memroses data tersebut saat data dalam perjalanan.
Misalnya, perusahaan dapat memfilter data, seperti log pembelian, yang mungkin mengandung informasi yang salah, saat data tersebut dipindahkan dari sistem on-premises ke cloud.
Layanan ini juga mendukung penggabungan beberapa data stream menjadi satu stream, sehingga perusahaan dapat memanfaatkan kemampuan tersebut untuk memperkaya informasi dengan data-data eksternal.
Auto Scaling untuk Workload Latensi Rendah
Confluent juga mengumumkan ketersediaan klaster auto-scaling baru, Freight Cluster, sebagai solusi yang lebih efektif biaya untuk menangani data-data bervolume besar tapi tidak terlalu sensitif terhadap latensi.
Misalnya data-data telemetri dan data di log yang throughput-nya tinggi tapi tidak membutuhkan latensi tinggi karena jenis aliran data ini biasanya disimpan ke dalam indexing atau batch aggregation engine.
Klaster auto scaling ini menggunakan CKU (Confluent Unit for Kafka) elastis, yang menentukan ingress, egress, koneksi, dan permintaan (request) maksimum untuk didukung oleh satu klaster.
Dengan cara ini, Freight Cluster secara otomatis menyesuaikan skala berdasarkan permintaan tanpa perlu perencanaan ukuran atau kapasitas secara manual, sehingga memungkinkan perusahaan meminimalkan biaya operasional dan mengoptimalkan biaya dengan hanya membayar sumber daya yang digunakan saat dibutuhkan.
Klaster auto-scaling ini sudah tersedia sebagai early access di region-region tertentu Amazon Web Services dengan mendaftar melalui tautan ini.
Baca juga: Confluent Kenalkan Accelerate with Confluent untuk Sistem Integrator
Baca juga: Confluent Hadirkan Confluent Cloud untuk Apache Flink, Ini Fiturnya