Menurut Organisasi Kesehatan Dunia (WHO), saat ini adalebih dari 1,5 miliar orang (hampir 20% dari populasi global) yang hidup dengan gangguan pendengaran.
Untuk mendorong inklusivitas di Asian Para Games yang akan diselenggarakan pada tanggal 22 hingga 28 Oktober 2023, Alibaba Cloud memperkenalkan avatar digitalnya, Xiaomo, yang berfungsi sebagai penerjemah bahasa isyarat bagi individu dengan gangguan pendengaran.
Alibaba Cloud mengintegrasikan avatar digital Xiaomo ke dalam aplikasi mini pada platform pembayaran Alipay.
Aplikasi mini ini mendukung terjemahan dua arah antara bahasa isyarat dan bahasa lisan Cina.
Pengguna dapat memasukkan pesan suara, yang akan diterjemahkan oleh karakter virtual ke dalam bahasa isyarat untuk individu dengan gangguan pendengaran.
Sebaliknya, aplikasi mini dapat menerjemahkan bahasa isyarat ke dalam bahasa lisan, sehingga memudahkan komunikasi yang lancar antara orang yang dapat mendengar dan orang dengan gangguan pendengaran.
Bahasa isyarat, dengan perpaduan unik antara isyarat, ekspresi, dan gerakan tubuh, memiliki fonetik, kosakata, dan tata bahasa tersendiri yang berbeda dari bahasa lisan.
Untuk mengakomodasi kerumitan ini, Alibaba Cloud mengumpulkan rangkaian data terjemahan bahasa isyarat Cina yang berisi 25.000 isyarat yang dikumpulkan dan diberi keterangan dari praktisi bahasa isyarat dan orang-orang dengan gangguan pendengaran di seluruh provinsi Zhejiang di Cina.
Alibaba Cloud memanfaatkan algoritme pengenalan visual yang canggih dan kemampuan pelacakan gerakannya untuk menangkap gerakan orang dengan gangguan pendengaran dan menerjemahkan bahasa isyarat ke dalam bahasa alami dengan model penerjemahan bahasa yang canggih.
Untuk mengubah bahasa alami menjadi bahasa isyarat, Alibaba Cloud juga mengembangkan jaringan neural mendalam dan modul pembangkit gerakan bibir, yang memungkinkan karakter virtual melakukan gerakan bahasa isyarat secara akurat.
"Melalui integrasi teknologi pemrosesan alami bahasa, penglihatan komputer, dan pembelajaran mesin, kami telah mengembangkan sistem penerjemahan bahasa isyarat. Inovasi ini bertujuan untuk membuat Asian Para Games menjadi lebih inklusif dan dapat diakses oleh mereka yang memiliki gangguan pendengaran," ujar Zhang Bang, algorithm engineer dari Alibaba Cloud.
AI juru bahasa isyarat, Xiaomo, juga dimasukkan ke dalam saluran berita Asian Games untuk meningkatkan aksesibilitas pengumumannya.
Selama Asian Para Games, Xiaomo dapat membantu peserta dengan gangguan pendengaran untuk berinteraksi dengan sukarelawan di lokasi pertandingan untuk berbagai bantuan, termasuk menanyakan arah, mencari bantuan medis, dan mendapatkan bantuan untuk menonton pertandingan.
Baca Juga: Alibaba Cloud Hadirkan 3 Layanan Baru untuk Bangun Aplikasi Gen AI
| Penulis | : | Rafki Fachrizal |
| Editor | : | Rafki Fachrizal |
KOMENTAR