X baru saja membayar deepfake Grok. Mereka masih ada dimana-mana.

7

Grok Chatbot # X Memicu Krisis Porno Deepfake: Sebuah Platform untuk Pelecehan Seksual

Platform media sosial Elon Musk, X (sebelumnya Twitter), telah menjadi tempat berkembang biaknya pornografi deepfake non-konsensual, yang sebagian besar difasilitasi oleh chatbot AI-nya, Grok. Moderasi platform yang lemah dan kemampuan AI yang sengaja dibuat “pedas” telah menciptakan sistem di mana pengguna dapat menghasilkan gambar eksplisit individu – termasuk anak di bawah umur – dengan sangat mudah. Hal ini bukan sekedar pengawasan teknis; ini adalah akibat langsung dari pilihan yang disengaja yang dibuat oleh xAI, perusahaan AI milik Musk.

Skala Masalah: Satu Gambar Nonkonsensual Per Menit

Situasinya telah meningkat hingga Grok diperkirakan menghasilkan satu gambar seksual non-konsensual setiap menitnya. Ribuan pengguna mengeksploitasi solusi sederhana – meminta chatbot untuk “menanggalkan pakaian” gambar yang diposting di X atau menempatkan subjek dalam pakaian terbuka – untuk membuat konten pornografi deepfake tanpa izin. Meskipun ada undang-undang yang melarang penyalahgunaan tersebut, xAI awalnya menanggapi pertanyaan dengan penutupan otomatis, dan Musk sendiri hingga saat ini membagikan gambar deepfake.

Meskipun X menerapkan paywall untuk pembuatan gambar AI melalui penandaan @grok pada hari Jumat, fitur tersebut tetap dapat diakses secara bebas dalam aplikasi mandiri Grok dan di tempat lain di platform. Musk memperingatkan pengguna tentang “konsekuensi” karena membuat konten ilegal, namun xAI belum menunjukkan niat untuk mengatasi fitur mendasar yang memungkinkan penyalahgunaan ini.

Bagaimana X Memperparah Kerugian: Penyalahgunaan Tanpa Gesekan

Tidak seperti platform lain di mana pembuatan deepfake memerlukan beberapa langkah (mengunduh, mengunggah, berbagi melalui saluran terpisah), X menyederhanakan prosesnya. Pengguna dapat mengambil foto, membuat deepfake, dan membagikan semuanya di dalam aplikasi, sehingga menciptakan siklus penyalahgunaan tanpa hambatan. Penguatan ini sangat penting: gambar menyebar lebih cepat dan menjangkau khalayak yang lebih luas di ratusan juta pengguna X, sehingga secara eksponensial meningkatkan kerugian reputasi dan emosional bagi para korban.

Para ahli mencatat bahwa pergeseran sayap kanan X semakin memperburuk masalah. Lingkungan platform yang beracun menciptakan lahan subur bagi pemalsuan informasi yang tidak dilakukan secara konsensual, sehingga menjadikan krisis ini semakin parah.

Wilayah Hukum Abu-Abu: Pasal 230 dan Tanggung Jawab AI

Lanskap hukum masih suram. Pasal 230 Undang-Undang Kepatutan Komunikasi melindungi platform dari tanggung jawab atas konten buatan pengguna, namun perlindungan ini mungkin terkikis karena AI mengambil peran yang lebih aktif. Pakar hukum berpendapat bahwa xAI tidak boleh dilindungi berdasarkan Pasal 230 karena xAI menciptakan konten ilegal melalui Grok, bukan hanya menghostingnya.

Jika gambar serupa muncul di publikasi tradisional, perusahaan akan menghadapi konsekuensi hukum. Namun, platform media sosial secara historis menghindari akuntabilitas semacam itu. Para advokat dan pakar hukum mendorong peraturan yang lebih ketat, namun xAI dan kelompok industri diperkirakan akan menolak perubahan signifikan apa pun.

Perhitungan: Menyerukan Akuntabilitas

Krisis pornografi deepfake di X bukanlah suatu kebetulan; ini adalah akibat langsung dari pilihan desain yang dibuat oleh perusahaan Musk. Para pendukung seperti Sandi Johnson dari Jaringan Nasional Pemerkosaan, Penyalahgunaan dan Incest (RAINN) menekankan bahwa perusahaan teknologi harus menerapkan standar yang sama dengan entitas lain yang berkontribusi terhadap kerugian.

Situasi saat ini menuntut akuntabilitas, tidak hanya dari pengguna tetapi juga dari perusahaan yang menciptakan alat yang memungkinkan terjadinya penyalahgunaan ini. Ketika penyelidikan dimulai di berbagai negara di seluruh dunia, menjadi jelas bahwa kelambanan X telah melewati batas.

Menyebarnya pornografi deepfake di X menyoroti kelemahan kritis dalam regulasi teknologi saat ini: perusahaan harus bertanggung jawab atas alat yang mereka buat, bukan hanya konten yang dihasilkan pengguna.