Beberapa waktu lalu, marak beredar berita soal kecurangan yang dilakukan vendor ponsel Huawei dan Oppo pada perangkatnya saat melakukan uji kinerja lewat aplikasi benchmark.
Beberapa model smartphone bikinan kedua pabrikan secara otomatis menaikkan kinerja saat mendeteksi aplikasi benchmark sedang berjalan. Masalahnya, peningkatan kinerja ini hanya terjadi dalam benchmark sehingga diduga merupakan upaya mencurangi skor.
Dalam perkembangan terbaru, UL Benchmarks selaku pemilik 3D Mark memutuskan untuk menghapus skor ponsel Oppo Find X dan F7 dari papan nilai aplikasi benchmark game populer tersebut.
Alasannya berkaitan dengan dugaan kecurangan tadi. UL Benchmarks menjalankan uji sendiri dan menemukan indikasi cheating dari Oppo Find X yang mirip dengan laporan sebelumnya.
"Setelah menguji perangkat-perangkat dimaksud di dalam lab dan memastikan bahwa mereka melanggar ketentuan benchmark, kami memutuskan untuk menghapus skornya dan mengeluarkan mereka dari ranking performa," ujar UL Benchmark dalam sebuah pernyataan.
Perangkat yang skornya dihapus (delist) dari 3D Mark ditempatkan di urutan terbawah daftar smartphone terbaik lansiran UL Benchmark. Namanya juga hanya ditampilkan tanpa urutan ranking atau skor kinerja.
Skor tiga smartphone dari Huawei, yakni P20 Pro, Nova 3, dan Honor Play telah lebih dulu dihapus dari 3D Mark karena terindikasi melakukan kecurangan serupa.
Beda nama, beda skor UL Benchmarks mereplikasi pengujian yang sudah dilakukan oleh sejumlah media untuk mengendus kecurangan di model-model smartphone terkait, yakni dengan memakai dua versi aplikasi 3D Mark besutannya sendiri yang berbeda nama.
Aplikasi pertama adalah 3D Mark versi publik yang tersedia dari toko Android Google Play Store. Yang kedua, 3D Mark versi private yang ditujukan bagi developer. Kedua aplikasi benchmark sebenarnya sama persis, hanya namanya saja yang beda.
Namun, perbedaan nama tersebut ternyata berujung pada perbedaaan skor yang jauh antara 3D Mark publik dan 3D Mark private. Skor Oppo Find X dan F7 lebih tinggi di 3D Mark publik ketimbang private.
"Kami menemukan bahwa skor-skor untuk 3D Mark publik bisa lebih besar hingga 47 persen dibandingkan skor versi private. Padahal pengujiannya identik," sebut UL Benchmarks.
Kenapa hal tersebut bisa terjadi? Ponsel-ponsel terkait disinyalir mendeteksi nama aplikasi tertentu (misalnya benchmark) yang sedang berjalan. Apabila ada benchmark maka ponsel akan mengaktifkan semacam "Performance Mode" tersembunyi.
Konon itulah sebabnya mengapa skor 3D Mark versi private lebih rendah. Karena menganggap tidak ada benchmark yang berjalan (karena namanya beda), ponsel pun adem ayem saja seperti biasanya.
Selain menghasilkan skor benchmark yang menyesatkan, tindakan menaikkan kinerja secara selektif macam ini berpotensi merugikan pengguna karena suhu perangkat ikut naik saat kinerjanya dipompa lebih cepat di luar batas normal.
Komentar Oppo dan Huawei
Oppo dan Huawei selaku pemilik perangkat yang dituding melakukan kecurangan. Menurut Oppo, ketika ponselnya mendeteksi pengguna sedang menjalankan aplikasi seperti game atau 3D benchmark yang membutuhkan kinerja tingggi, ponsel akan membebaskan SoC untuk bekerja dengan kecepatan tertinggi.
Namun jika ketika pengguna menjalankan aplikasi tak dikenal, maka sistem akan membatasi kinerja perangkat hingga 70 persen sampai 80 persen dari kinerja maksimal. Hal inilah, menurut Oppo, yang terjadi saat Find X diuji menggunakan 3DMark versi private dengan skor jauh lebih tinggi dari 3D Mark publik.
"Jadi, di aplikasi 3D Mark versi private, skor yang didapatkan oleh Find X akan berkurang drastis karena perangkat menggunakan mode pengoptimalan daya standar," tulis Oppo dalam keterangan resminya.
"Oppo tidak akan melebih-lebihkan skor benchmark dari setiap produk kami, apalagi mempromosikannya dalam keynote atau rilis resmi kami," imbuh mereka.
Senada dengan Oppo, Huawei pun mengatakan bahwa hasil tersebut didapatkan karena perangkat Huawei hanya akan mengalokasikan sumberdaya yang diperlukan ketika menjalankan aplikasi yang membutuhkan performa.
Melalui keterangan resmi, Huawei meyakini bahwa tidak ada hubungan langsung antara benchmark smartphone dan pengalaman pengguna.
"Untuk aplikasi-aplikasi yang tidak memerlukan daya yang intensif seperti web browsing, perangkat Huawei hanya akan mengalokasikan sumberdaya yang diperlukan untuk memberikan performa yang dibutuhkan," tulis pihak Huawei.
"Dalam skenario-skenario benchmarking normal, ketika software Huawei mendetekasi aplikasi benchmarking, software tersebut akan menyesuikan ke 'Performance Mode' dan memberikan performa optimal," imbuh mereka.
Artikel ini telah tayang di Kompas.com dengan judul "Pembuat 3D Mark Hapus Skor Oppo Find X dan F7, Ada Apa?".