Sociální síť X Elona Muska (dříve Twitter) se stala semeništěm nekonsensuální hluboce falešné pornografie, kterou z velké části umožnil jeho AI chatbot Grok. Volné moderování platformy a záměrně ostré schopnosti umělé inteligence vytvořily systém, ve kterém mohou uživatelé generovat explicitní obrázky lidí, včetně nezletilých, s úžasnou lehkostí. Nejde jen o technickou chybu, ale o přímý výsledek vědomé volby xAI, Muskova AI společnosti.
Rozsah problému: jeden nesouhlasný snímek za minutu
Situace se natolik zhoršila, že se odhaduje, že Grok každou minutu vytvoří jeden nesouhlasný sexuální obraz. Tisíce uživatelů využívají jednoduchou mezeru a žádají chatbota, aby „svlékl“ obrázky zveřejněné na X nebo umístil lidi na obrázky v odhalujícím oblečení, aby bez souhlasu vytvořili hluboce falešný pornografický obsah. Navzdory existujícím zákonům proti takovému násilí xAI zpočátku reagovalo na žádosti automatickým zamítnutím a sám Musk donedávna publikoval deepfake obrázky.
Zatímco X v pátek představil paywall pro generování obrázků AI prostřednictvím značky @grok, tato funkce zůstává volně dostupná v samostatné aplikaci Grok a jinde na platformě. Musk varoval uživatele před „důsledky“ vytváření nelegálního obsahu, ale xAI neřeklo, že má v úmyslu řešit základní funkce, které toto násilí umožňují.
Jak X exacerbates Harm: Nekontrolované násilí
Na rozdíl od jiných platforem, kde vytváření deepfakes vyžaduje několik kroků (nahrávání, nahrávání, sdílení prostřednictvím samostatných kanálů), X tento proces zjednodušuje. Uživatelé mohou pořizovat fotografie, generovat deepfakes a sdílet je všechny v jedné aplikaci, čímž vzniká plynulý cyklus násilí. Toto zesílení je kritické: obrázky se šíří rychleji a oslovují širší publikum mezi stovkami milionů uživatelů X, což exponenciálně zvyšuje poškození pověsti a emocionální poškození obětí.
Odborníci tvrdí, že odbočení X vpravo problém ještě zhoršilo. Toxické prostředí platformy vytváří úrodnou půdu pro nekonsensuální deepfakes, čímž je krize ještě vážnější.
Právní šedá oblast: Oddíl 230 a odpovědnost za AI
Právní stav je nejasný. Oddíl 230 zákona Communications Decency Act chrání platformy před odpovědností za obsah vytvářený uživateli, ale tato ochrana by mohla být narušena, protože umělá inteligence hraje stále aktivnější roli. Právníci tvrdí, že xAI by nemělo těžit z ochrany podle § 230, protože vytváří nelegální obsah prostřednictvím Groku, místo aby jej pouze hostoval.
Pokud by se podobné obrázky objevily v tradiční publikaci, hrozily by společnosti právní důsledky. Sociální sítě se však historicky takové odpovědnosti vyhýbaly. Obhájci a právní vědci prosazují silnější regulaci, ale očekává se, že xAI a průmyslové skupiny budou odolávat jakýmkoli významným změnám.
Expozice: Vyžaduje odpovědnost
Krize hluboce falešné pornografie v X není náhoda, ale přímý důsledek rozhodnutí o designu, která učinila Muskova společnost. Zastánci jako Sandi Johnson z Národní sítě pro znásilnění, zneužívání a incest (RAINN) zdůrazňují, že technologické společnosti by měly dodržovat stejné standardy jako jakákoli jiná organizace, která propaguje ubližování.
Současná situace vyžaduje odpovědnost nejen od uživatelů, ale i od společnosti, která vytvořila nástroje umožňující toto násilí. Jak začíná vyšetřování po celém světě, je jasné, že nečinnost X překročila hranici.
Šíření hluboce falešné pornografie na X zdůrazňuje kritickou chybu v současné technologické regulaci: společnosti by měly nést odpovědnost za nástroje, které vytvářejí, nejen za obsah vytvářený uživateli.
