Confluent, Inc, pionir di data streaming, dan Databricks, perusahaan Data dan AI, hari ini mengumumkan perluasan besar dalam kemitraan mereka yang menyatukan Platform Data Streaming lengkap milik Confluent dan Platform Intelijen Data milik Databricks untuk memberdayakan perusahaan dengan data real-time guna pengambilan keputusan berbasis AI. Integrasi baru antara Tableflow Confluent dan Databricks Unity Catalog akan mengatur data di seluruh sistem operasional dan analitik dengan lancar, sehingga perusahaan dapat membangun aplikasi AI dengan lebih efisien.
Mengatasi Tantangan Data AI
Perusahaan dengan cepat membangun aplikasi AI yang membutuhkan data real-time yang handal untuk keputusan dan pengalaman pelanggan yang lebih baik. Namun, hanya 22 persen perusahaan yang yakin bahwa infrastruktur TI mereka saat ini mampu mendukung aplikasi AI yang baru ini. Salah satu rintangan utama yang masih harus mereka atasi adalah kesenjangan antara sistem operasional di mana data dihasilkan dan sistem analitik di mana data tersebut diubah menjadi wawasan. Karena alat-alat ini berada dalam silo yang terpisah, tim, alat, dan proses yang berbeda diterapkan di antara keduanya. Hasilnya adalah perusahaan tidak dapat menggabungkan data real-time dengan sistem lain dengan cara yang berarti, dan inovasi AI pada kasus penggunaan tingkat lanjut menjadi tidak mungkin.
“Agar perusahaan dapat memaksimalkan keuntungan dari investasi AI mereka, mereka membutuhkan data, AI, analitik, dan tata kelola di satu tempat,” ujar Ali Ghodsi, Co-founder dan CEO Databricks.
“Saat kami membantu lebih banyak organisasi membangun kecerdasan data, data perusahaan tepercaya berada di pusatnya. Kami sangat senang bahwa Confluent telah menggunakan Unity Catalog dan Delta Lake sebagai solusi tata kelola dan penyimpanan terbuka pilihannya dan kami berharap kedepannya dapat bekerja sama untuk memberikan nilai jangka panjang bagi para pelanggan kami, " ujarnya.
“Data real-time adalah bahan bakar untuk AI,” ujar Jay Kreps, Co-founder dan CEO Confluent.
“Namun terlalu sering, perusahaan terhambat oleh sistem yang tidak terhubung yang gagal memberikan data yang mereka butuhkan, dalam format yang mereka butuhkan, pada saat mereka membutuhkannya. Bersama Databricks, kami memastikan perusahaan dapat memanfaatkan kekuatan data real-time untuk membangun aplikasi berbasis AI yang canggih untuk kasus-kasus penggunaan yang paling penting, " pungkasnya.
Data Real-Time, Siap untuk AI
Untuk menjembatani kesenjangan ini, Confluent dan Databricks mengumumkan integrasi baru untuk memastikan interoperabilitas real-time dan memberdayakan tim di seluruh bisnis agar dapat berkolaborasi dengan baik. Integrasi dua arah antara Tableflow dari Confluent dengan Delta Lake dan Unity Catalog dari Databricks, solusi tata kelola terpadu dan terbuka untuk data dan AI, akan memberikan data real-time yang konsisten di seluruh sistem operasional dan analitik yang dapat ditemukan, aman, dan dapat dipercaya.
Delta Lake, lapisan penyimpanan format terbuka yang dipelopori oleh Databricks, pada awalnya dikembangkan untuk kasus penggunaan streaming dengan penulisan yang cepat. Ini telah menjadi format lakehouse yang paling banyak diadopsi, terbukti dalam skala besar - memproses lebih dari 10 exabyte data setiap hari.
Kini, Tableflow dengan Delta Lake membuat data operasional tersedia langsung ke ekosistem Delta Lake yang lebih besar. Pelanggan Confluent dan Databricks akan dapat membawa mesin atau alat AI apa pun seperti Apache Spark, Trino, Polar, DuckDB, dan Daft ke data mereka di Unity Catalog.
Lebih lanjut, integrasi khusus antara Tableflow dan Unity Catalog Databricks akan memastikan metadata - enabler penting untuk aplikasi AI yang secara otomatis diterapkan pada data yang dipertukarkan antar platform. Hal ini membuat data operasional dapat ditemukan dan ditindaklanjuti oleh para ilmuwan dan analis data yang bekerja di Databricks sekaligus memastikan data analitik dapat diakses dan berguna bagi para pengembang aplikasi dan teknisi streaming di Confluent.
Selain itu, rangkaian Stream Governance Confluent akan menyediakan tata kelola hulu dan metadata untuk meningkatkan tata kelola yang mulus, end-to-end stream lineage dan pemantauan kualitas data otomatis di Unity Catalog.
“Memanfaatkan pendekatan dengan sumber pembangkitan adalah kunci utama yang tidak hanya pada sektor energi, tetapi juga di bidang data,” kata Dr. Dora Simroth, Head of Data and AI Engineering, E.ON Digital Technology.
“Confluent dan Databricks merupakan teknologi yang sangat penting dalam Data dan AI kami. Integrasi ini akan memungkinkan para praktisi kami untuk bekerja dengan satu sumber data yang terdefinisi dengan baik dan tepat waktu baik untuk bidang operasional maupun analitik. Dengan bermitra, Confluent dan Databricks membuka jalur yang lebih cepat bagi kami untuk membangun solusi digital yang berpusat pada data dan model, " ucapnya.
Dengan kemampuan baru ini, data operasional dari Confluent menjadi partner kelas satu di Databricks dan data Databricks dapat diakses dengan mudah oleh prosesor mana pun di perusahaan.
Topik data streaming yang dikonsumsi aplikasi AI dan tabel yang digunakan analis data sekarang akan memiliki tampilan yang konsisten dari data real-time yang sama, sehingga memungkinkan pengambilan keputusan berbasis AI yang lebih cepat dan lebih cerdas di seluruh organisasi. Integrasi tanpa batas antara aplikasi perusahaan, analitik, dan tata kelola ini sangat penting untuk inovasi AI dalam skala besar.
| Penulis | : | Adam Rizal |
| Editor | : | Adam Rizal |
