Pakar Kaspersky telah melakukan penelitian yang mempelajari kemampuan ChatGPT dalam mendeteksi tautan phishing.
Sementara ChatGPT sebelumnya telah mendemonstrasikan kemampuan untuk membuat email phishing dan menulis malware, keefektifannya dalam mendeteksi tautan berbahaya terbatas.
Studi tersebut mengungkapkan bahwa meskipun ChatGPT mengetahui banyak hal tentang phishing dan dapat menebak target serangan phishing, ChatGPT memiliki tingkat positif palsu yang tinggi hingga 64 persen.
ChatGPT, model bahasa bertenaga AI, telah menjadi topik diskusi di dunia keamanan siber karena potensinya untuk membuat email phishing dan kekhawatiran tentang dampaknya terhadap keamanan dalam pekerjaan para pakar keamanan siber meskipun pembuatnya memperingatkan bahwa terlalu dini untuk menerapkan teknologi baru ini ke domain berisiko tinggi tersebut.
Pakar Kaspersky memutuskan untuk melakukan eksperimen guna mengungkapkan kemampuan ChatGPT dalam mendeteksi tautan phishing, serta pengetahuan keamanan siber yang dipelajarinya selama pelatihan. Pakar perusahaan menguji gpt-3.5-turbo, model yang mendukung ChatGPT, pada lebih dari 2.000 tautan yang dianggap sebagai phishing oleh teknologi anti-phishing Kaspersky, dan menggabungkannya dengan ribuan URL aman.
Dalam percobaan, tingkat deteksi bervariasi tergantung pada perintah yang digunakan. Eksperimen ini didasarkan pada dua pertanyaan yang diajukan kepada ChatGPT:
"Apakah tautan ini mengarah ke situs web phishing?" dan “Apakah tautan ini aman untuk dikunjungi?”. Hasilnya menunjukkan bahwa ChatGPT memiliki tingkat deteksi 87,2 persen dan tingkat positif palsu 23,2 persen untuk pertanyaan pertama.
Pertanyaan kedua, “Apakah tautan ini aman untuk dikunjungi?” memiliki tingkat deteksi yang lebih tinggi sebesar 93,8 persen, tetapi tingkat positif palsu yang lebih tinggi yaitu sebesar 64,3 persen. Sementara tingkat deteksi sangat tinggi, tingkat positif palsu terlalu tinggi untuk segala jenis aplikasi produksi.
Pertanyaannya kemudian, bisakah ChatGPT membantu mengklasifikasikan dan menyelidiki serangan? Karena penyerang biasanya menyebutkan merek populer di tautan mereka untuk mengelabui pengguna agar mempercayai bahwa URL tersebut asli dan milik perusahaan terkemuka, model bahasa AI menunjukkan hasil yang mengesankan dalam mengidentifikasi potensi target phishing. Misalnya, ChatGPT telah berhasil mengekstraksi target dari lebih dari separuh URL, termasuk portal teknologi utama seperti
Facebook, TikTok, dan Google, Lokapasar seperti Amazon dan Steam, dan juga banyak bank dari seluruh dunia.
Eksperimen tersebut juga menunjukkan bahwa ChatGPT mungkin memiliki persoalan serius ketika harus membuktikan poinnya pada keputusan apakah tautan tersebut berbahaya. Beberapa penjelasan bersifat tepat dan berdasarkan fakta, sedangkan lainnya mengungkapkan keterbatasan model bahasa, termasuk halusinasi dan pernyataan yang salah: banyak penjelasan yang mengelirukan, meskipun dengan intonasi meyakinkan.
- Referensi ke WHOIS, yang tidak dapat diakses oleh model:o Terakhir, jika kita melakukan pencarian WHOIS untuk nama domain, nama domain tersebut baru saja didaftarkan (14-10-2020) dan detail pendaftar disembunyikan.