Penulis: Robert Eve (Senior Data Management Strategist, Thought Leadership & Digital Content Executive, TIBCO Software)
Data sangat penting bagi keberhasilan bisnis, tetapi kualitasnya tetap sulit dipahami karena definisi, sintaksis, struktur, sumber, serta penggunaan yang berkembang berkonspirasi untuk membatasi keampuhannya. Banyaknya data yang tersedia untuk organisasi serta kompleksitasnya seringkali terasa berlebihan. Namun, kemajuan manajemen data generasi mendatang, yang digunakan bersama dengan pendekatan yang lebih pragmatis, dapat membantu meringankan kekhawatiran ini sambil meningkatkan kualitas data.
Namun, untuk memastikan kualitas data, umumnya tidak dapat dilakukan menggunakan aplikasi mandiri. Sebaliknya, hal itu memerlukan kombinasi beberapa aplikasi yang mencakup manajemen metadata, manajemen data master, manajemen data referensi, katalog data, tata kelola data, serta integrasi data.
Secara tradisional, sistem-sistem tersebut independen dan membutuhkan metadata serta koordinasi data pada berbagai perangkat yang berbeda. Selain itu, penawaran manajemen data generasi pertama dirancang dengan mempertimbangkan pengguna teknis yang tidak memiliki keahlian bisnis yang diperlukan untuk memastikan keberhasilan usaha untuk memastikan kualitas data.
Oleh karena itu, perusahaan memerlukan solusi manajemen data generasi mendatang yang mampu mengintegrasikan komponen yang sedianya terpisah-pisah dalam suatu lingkungan. Dengan tersedia secara terintigrasi pada suatu lingkungan, para pakar bisnis dan teknologi dapat berkolaborasi di seluruh siklus hidup kualitas data pelanggan.
Virtualisasi Data untuk Berhenti Membuat Begitu Banyak Salinan Data
Menurut IDC (International Data Corporation), data perusahaan berlipat ganda setiap tiga tahun. Volume ini menambah kompleksitas dalam memastikan kualitas data; 85% dari data ini dapat dianggap sebagai salinan dari data asli.
Ini dapat dikaitkan dengan cara kerja integrasi berbasis data warehouse tradisional. Data asli dari sistem transaksional disalin ke tampilan, dan kemudian disalin lagi ke tempat penyimpanan. Data mart berdasarkan tempat penyimpanan menghasilkan banyak salinan. Menambahkan data reservoir ke dalam gabungan, membuat proliferasi salinan makin buruk lagi.
Dengan begitu banyak salinan yang tersebar di lokasi-lokasi yang berbeda, mempertahankan akurasi serta konsistensi data menjadi tantangan besar. Alhasil kualitas data dikorbankan.
Jawaban langsungnya adalah agar perusahaan berhenti membuat begitu banyak salinan data. Salah satu caranya adalah menggunakan virtualisasi data untuk mengakses data hulu langsung dari sumber aslinya. Dengan menggunakan virtualisasi data seperti itu, suatu organisasi dapat menarik banyak data mart untuk meningkatkan kualitas, sambil menekan biaya. Hal ini juga akan menghasilkan semua pengguna hulu berbagi definisi data umum serta mendapatkan pandangan yang konsisten dalam hal kualitas dan sumber data.
AI untuk Mengidentifikasi dan Menyelesaikan Masalah Kualitas Secara Otomatis
Selain mengadopsi solusi manajemen data terintegrasi serta membuat salinan data penampil, perusahaan juga harus mempertimbangkan untuk menggunakan AI (artificial Intelligence) dalam mengidentifikasi dan menyelesaikan masalah kualitas secara otomatis.
IDC telah mengidentifikasi bagaimana lima model AI yang tersedia saat ini, serta kemampuan ML (machine learning) dari vendor manajemen data, dapat meningkatkan kualitas data. Ini termasuk diolah oleh manusia, diolah manusia dan didukung mesin, diolah oleh mesin dan didukung oleh manusia, diolah mesin dan diperintah manusia, serta diolah mesin dan diperintah mesin.
Dengan perusahaan riset pasar menemukan bahwa lebih dari 65% organisasi yang disurvei sekarang menggunakan AI untuk secara otomatis menyoroti masalah kualitas data, dan 55% dari mereka yang menerapkan koreksi yang direkomendasikan AI, teknologi telah memberikan kemajuan praktis yang diperlukan untuk meningkatkan kualitas data. Mungkin yang lebih jelas adalah bahwa kepercayaan perusahaan terhadap rekomendasi AI dinilai lebih dari 90%, dengan sekitar 35% rekomendasi tersebut hampir selalu diterima.
Jadilah Pragmatis dan Pecahkan Masalah Kualitas Data yang Ada
Bagian terakhir dari teka-teki ini adalah mendekati kualitas data dari perspektif masalah yang perusahaan coba pecahkan. Jadi, meskipun mencapai kualitas data yang sempurna adalah pengejaran yang mulia, seringkali memiliki kualitas data yang cukup baik untuk memenuhi kebutuhan bisnis sudah cukup.
Misalnya, jika organisasi berusaha meningkatkan pengalaman pelanggan, perusahaan ingin mengetahui segala sesuatu tentang bagaimana perusahaan terlibat dengan mereka. Biasanya, ini akan mencakup data pelanggan dari beberapa sistem yang memungkinkan untuk pengidentifikasi yang berbeda, seperti:
- Steve Smith dalam sistem otomasi tenaga penjualan
- S Smith dalam sistem manajemen pelayanan
- S.E. Smith dalam sistem pemasaran
- Steven Smith dalam sistem entri pesanan dan penagihan
Kunci primer yang tidak cocok ini membuat sulit untuk mencocokkan catatan dan membangun pandangan lengkap akan pelanggan. Kualitas data dari sudut pandang integrasi tidak cukup sesuai untuk masalah yang dihadapi. Hal ini melampaui pengidentifikasian pelanggan. Tantangan integrasi mengenai setiap entitas data master utama terdapat di seluruh pemasok, mitra, produk, lokasi, dan lainnya.
Diperlukan sistem manajemen data master yang lebih cerdas yang dapat secara otomatis mendeteksi serta menyelesaikan ketidaksesuaian ini untuk menjadikannya lebih mudah bagi perusahaan untuk memiliki catatan "emas" yang menyelesaikan anomali kunci utama tersebut. Dengan penanganan ini, virtualisasi data dapat menanyakan semua detail dan memberikan pandangan pelanggan yang diperlukan secara 360 derajat untuk meningkatkan pengalaman mereka.
Selain itu, bisnis mungkin mencari untuk meningkatkan peluang pendapatan cross-sell mereka. Dalam hal ini, seorang ilmuwan data mungkin berusaha membangun mesin rekomendasi penawaran terbaik berikutnya berdasarkan data historis penjualan dengan harapan menemukan kombinasi produk populer.
Ketika ilmuwan data mulai memeriksa data penjualan dan distribusinya, beberapa di antaranya mungkin berkorelasi dengan baik. Namun, kemungkinan akan ada anomali juga.
Jika bisnis baru memulai model, kemungkinan akan fokus pada data yang mewakili sebagian besar pelanggan serta produk dengan pendapatan tertinggi. Tanpa repot dengan data pencilan, ia dapat membangun dan mengimplementasikan model lebih cepat dan menyadari manfaatnya lebih cepat. Nantinya, ilmuwan data dapat kembali dan menyelidiki serta mencoba untuk memahami anomali.
Atau, perusahaan mungkin memutuskan bahwa penggunaan yang lebih baik dari seorang ilmuwan data adalah fokus pada mayoritas pelanggan dan produk dengan pendapatan tertinggi. Ini akan menghasilkan pemurnian berkelanjutan dan meningkatkan model asli sambil membiarkan anomali tidak terselesaikan.
Pada akhirnya, ini mengarah ke bisnis; tetap fokus pada peningkatan kualitas datanya untuk menempatkannya dalam posisi dalam mengambil keputusan yang lebih tepat yang akan membantu mendorong keberhasilan perusahaan.