“App Store Terkena: Aplikasi AI Nonkonsensual Melepaskan Pakaian yang Meluas Dilaporkan”

Laporan baru dari Proyek Transparansi Teknologi mengungkapkan bahwa aplikasi “nudify” dapat diakses secara luas di App Store dan Google Play Store. Berikut adalah temuan utamanya.

Aplikasi Nudifikasi Tertentu Bahkan Beriklan di App Store

Perhatian baru-baru ini tertuju pada Grok karena menghasilkan gambar seksual non-konsensual berbasis AI, termasuk gambar yang melibatkan anak di bawah umur. Namun, isu ini bukanlah hal baru.

Faktanya, kemampuan untuk membuat konten berbahaya sudah ada sebelum munculnya AI generatif, karena perangkat lunak pengedit gambar tradisional telah lama memungkinkan manipulasi gambar dengan cara ini. Apa yang telah berubah dalam beberapa tahun terakhir adalah kemudahan dan kecepatan dalam menghasilkan gambar-gambar ini.

Banyak aplikasi yang berupaya memanfaatkan peluang ini selama beberapa tahun terakhir, dan beberapa di antaranya mengiklankan kemampuan mereka secara terbuka.

Hal ini terjadi di tengah perselisihan hukum Apple dengan Epic Games dan pengembang lainnya, di mana Apple berpendapat bahwa tingkat komisi yang tinggi—hingga 30%—mendukung upaya untuk meningkatkan keamanan App Store melalui proses peninjauan yang ketat.

Meskipun Apple berupaya memerangi penipuan, penyalahgunaan, dan pelanggaran pedoman di App Store-nya, beberapa aplikasi dan kategori terkadang lolos dari celah tersebut. Baru tahun lalu, 9to5Mac menyoroti banyak aplikasi yang secara keliru diklaim sebagai Sora 2 OpenAI, banyak di antaranya membebankan biaya berlangganan yang tinggi.

Kini, menyusul fokus baru pada aplikasi nudifikasi yang didukung AI karena Grok, Proyek Transparansi Teknologi telah menerbitkan temuan yang menunjukkan betapa mudahnya aplikasi ini ditemukan di App Store dan Google Play.

Menurut AppMagic, aplikasi yang diidentifikasi oleh TTP telah diunduh lebih dari 705 juta kali secara global dan telah menghasilkan pendapatan $117 juta. Mengingat Google dan Apple mengambil bagian dari pendapatan tersebut, mereka mendapat keuntungan langsung dari aplikasi ini.

Google dan Apple menghosting aplikasi ini meskipun mereka jelas-jelas melanggar kebijakan toko aplikasi. Google Play Store secara khusus melarang “penggambaran ketelanjangan seksual, atau pose yang menjurus ke arah seksual yang subjeknya telanjang atau berpakaian minim,” serta aplikasi yang “merendahkan atau mengobjektifikasi orang, termasuk mereka yang mengklaim membuka pakaian seseorang atau melihat menembus pakaian, meskipun diberi label sebagai aplikasi lelucon atau hiburan.”

Laporan ini juga menyoroti bahwa penelusuran sederhana menggunakan kata kunci seperti “nudify” atau “undress” dengan mudah menghasilkan aplikasi membuka baju, beberapa di antaranya secara eksplisit memasarkan diri mereka sendiri berdasarkan istilah-istilah ini.

TTP mengkategorikan aplikasi yang disebutkan dalam laporannya ke dalam dua kelompok utama: aplikasi yang menggunakan AI untuk menghasilkan gambar atau video berdasarkan permintaan pengguna, dan aplikasi “tukar wajah” yang memanfaatkan AI untuk melapisi wajah seseorang ke tubuh orang lain.

Dalam pengujiannya, TTP menggunakan gambar wanita fiksi yang dihasilkan AI dan membatasi pengujiannya pada fitur gratis di setiap aplikasi. Hasilnya, 55 aplikasi Android dan 47 aplikasi iOS memenuhi permintaan mereka. Yang mengkhawatirkan, setidaknya satu aplikasi diberi peringkat untuk pengguna berusia 9 tahun ke atas di App Store.

Laporan TTP menguraikan betapa mudahnya gambar-gambar ini dibuat dan memberikan berbagai contoh yang disensor untuk mendukung klaimnya.

“Dalam pengujian versi iOS, aplikasi gagal membuat gambar ketika diminta untuk melepas atasan wanita, sehingga mengeluarkan peringatan konten sensitif. Namun, permintaan selanjutnya untuk menampilkan wanita menari dalam balutan bikini berhasil. Versi aplikasi iOS dan Google Play menampilkan beberapa templat video AI termasuk “pakaian sobek”, “tarian goyang dada”, dan “membungkuk”.

Laporan tersebut menyimpulkan bahwa meskipun aplikasi-aplikasi yang dikutip mungkin hanya mewakili “sebagian kecil” dari apa yang ada di luar sana, hal ini menunjukkan bahwa perusahaan-perusahaan tersebut tidak memantau platform mereka secara memadai atau menegakkan kebijakan mereka sendiri mengenai aplikasi-aplikasi tersebut.

Untuk melihat laporan selengkapnya, ikuti tautan ini.

Penawaran Aksesori di Amazon

• AirPods Pro 3
• Mengalahkan Kabel Pendek Tenun USB-C ke USB-C
• Adaptor CarPlay Nirkabel
• Logitech MX Master 4
• Paket Apple AirTag 4