Beberapa waktu lalu, marak beredar berita soal kecurangan yang dilakukan vendor ponsel Huawei dan Oppo pada perangkatnya saat melakukan uji kinerja lewat aplikasi benchmark.
Beberapa model smartphone bikinan kedua pabrikan secara otomatis menaikkan kinerja saat mendeteksi aplikasi benchmark sedang berjalan. Masalahnya, peningkatan kinerja ini hanya terjadi dalam benchmark sehingga diduga merupakan upaya mencurangi skor.
Dalam perkembangan terbaru, UL Benchmarks selaku pemilik 3D Mark memutuskan untuk menghapus skor ponsel Oppo Find X dan F7 dari papan nilai aplikasi benchmark game populer tersebut.
Alasannya berkaitan dengan dugaan kecurangan tadi. UL Benchmarks menjalankan uji sendiri dan menemukan indikasi cheating dari Oppo Find X yang mirip dengan laporan sebelumnya.
"Setelah menguji perangkat-perangkat dimaksud di dalam lab dan memastikan bahwa mereka melanggar ketentuan benchmark, kami memutuskan untuk menghapus skornya dan mengeluarkan mereka dari ranking performa," ujar UL Benchmark dalam sebuah pernyataan.
Perangkat yang skornya dihapus (delist) dari 3D Mark ditempatkan di urutan terbawah daftar smartphone terbaik lansiran UL Benchmark. Namanya juga hanya ditampilkan tanpa urutan ranking atau skor kinerja.
Skor tiga smartphone dari Huawei, yakni P20 Pro, Nova 3, dan Honor Play telah lebih dulu dihapus dari 3D Mark karena terindikasi melakukan kecurangan serupa.
Beda nama, beda skor UL Benchmarks mereplikasi pengujian yang sudah dilakukan oleh sejumlah media untuk mengendus kecurangan di model-model smartphone terkait, yakni dengan memakai dua versi aplikasi 3D Mark besutannya sendiri yang berbeda nama.
Aplikasi pertama adalah 3D Mark versi publik yang tersedia dari toko Android Google Play Store. Yang kedua, 3D Mark versi private yang ditujukan bagi developer. Kedua aplikasi benchmark sebenarnya sama persis, hanya namanya saja yang beda.
Namun, perbedaan nama tersebut ternyata berujung pada perbedaaan skor yang jauh antara 3D Mark publik dan 3D Mark private. Skor Oppo Find X dan F7 lebih tinggi di 3D Mark publik ketimbang private.
"Kami menemukan bahwa skor-skor untuk 3D Mark publik bisa lebih besar hingga 47 persen dibandingkan skor versi private. Padahal pengujiannya identik," sebut UL Benchmarks.
Kenapa hal tersebut bisa terjadi? Ponsel-ponsel terkait disinyalir mendeteksi nama aplikasi tertentu (misalnya benchmark) yang sedang berjalan. Apabila ada benchmark maka ponsel akan mengaktifkan semacam "Performance Mode" tersembunyi.