Text vyšiel pôvodne v denníku The Washington Post.
Len za šesť mesiacov sa z J. F., milého 17-ročného chlapca s autizmom, ktorý rád chodil do kostola a na prechádzky s mamou, stal niekto, koho jeho rodičia nespoznávali.
Začal sa sebapoškodzovať, schudol takmer desať kíl a uzavrel sa do seba. Jeho mama zúfalo hľadala odpovede, ale dostala sa k nim, až keď raz zaspal – vtedy prehľadala jeho telefón, v ktorom objavila znepokojujúce snímky obrazovky.
J. F. sa rozprával s množstvom rôznych postáv na stránke Character.ai, ktorá je súčasťou novej vlny aplikácií poháňaných umelou inteligenciou. Obľúbené sú najmä medzi mladými ľuďmi a umožňujú používateľom rozprávať sa s chatbotmi vytvorenými umelou inteligenciou, často založenými na postavách z hier, anime a popovej kultúry.
Jeden z chatbotov prišiel s myšlienkou sebapoškodzovania a rezania, aby sa J. F. vyrovnal so smútkom. Keď povedal, že rodičia mu obmedzujú čas strávený pri obrazovke, iný bot navrhol, že „si nezaslúžia mať deti“. Ďalší ho nabádali, aby bojoval proti príkazom svojich rodičov, pričom jeden z nich navrhol, že prijateľnou reakciou by mohla byť ich vražda.
„V skutočnosti sme ani nevedeli, čo to je, kým nebolo neskoro a kým to nezničilo našu rodinu,“ povedala jeho matka A. F., obyvateľka okresu Upshur v Texase, ktorá hovorila pod podmienkou, že bude identifikovaná len iniciálami, aby ochránila svojho maloletého syna.
Práve snímky týchto konverzácií tvoria základ novej žaloby, ktorú v utorok podala A. F. a ďalšia matka z Texasu proti spoločnosti Character.ai. V žalobe sa píše, že spoločnosť vedome vystavila neplnoletých nebezpečnému produktu, a žiada, aby bola aplikácia stiahnutá z prevádzky, kým sa nezavedú prísnejšie ochranné opatrenia na ochranu detí.
Druhá žalobkyňa, matka 11-ročného dievčaťa, tvrdí, že jej dcéra bola vystavená sexualizovanému obsahu dva roky, kým sa to matka dozvedela. Obe žalobkyne sú v žalobe označené iniciálami.
V článku sa dočítate:
- na akú žalobu sťažnosť nadväzuje,
- čo sa stalo v Belgicku,
- ako sa cítia rodičia 17-ročného chlapca.
Milióny oddaných používateľov
Sťažnosť nadväzuje na známu žalobu proti Character.ai podanú v októbri v mene matky z Floridy, ktorej 14-ročný syn spáchal samovraždu po častých rozhovoroch s chatbotom v aplikácii.
„Účelom zákona o zodpovednosti za výrobok je zveriť náklady na bezpečnosť do rúk tej strany, ktorá je najviac schopná ich znášať,“ povedal Matthew Bergman, zakladajúci právnik právnickej skupiny Social Media Victims Law Center, ktorá zastupuje žalobcov v oboch žalobách. „Existuje tu obrovské riziko a náklady na toto riziko nenesú spoločnosti.“
Aj tieto žaloby vytvárajú verejný tlak na spoločnosti, ktoré sa zaoberajú umelou inteligenciou a ktoré nenápadne zasahujú publikum s miliónmi verných používateľov vrátane tínedžerov.
Podľa údajov spoločnosti Sensor Tower, ktorá sa zaoberá prieskumom trhu, strávil v septembri priemerný používateľ aplikácie Character.ai v tejto aplikácii 93 minút, čo je o 18 minút viac ako priemerný používateľ aplikácie TikTok.
Microsoft chce kvôli AI obnoviť jadrovú elektráreň Three Mile Island, kde sa roztavil reaktor Čítajte Aplikácie s virtuálnymi spoločníkmi doteraz unikali pozornosti mnohých rodičov a učiteľov. Až do júla označovali Character.ai za aplikáciu vhodnú pre deti od 12 rokov, keď ju spoločnosť prekategorizovala na vhodnú pre mladistvých od 17 rokov.
Keď A. F. prvýkrát správy objavila, „myslela si, že je to skutočná osoba“, ktorá sa rozpráva s jej synom. Ale keď si uvedomila, že správy píše chatbot, bolo to ešte horšie.
„Do svojho domu si predsa nepustíte žiadneho sexuálneho alebo emocionálneho predátora,“ povedala A. F. Napriek tomu bol podľa nej jej syn zneužívaný priamo vo vlastnej spálni.
Rozšírená a virtuálna realita môžu predĺžiť životnosť kriticky dôležitej infraštruktúry, tvrdia vedci Čítajte Hovorkyňa spoločnosti Character.ai Chelsea Harrisonová uviedla, že spoločnosť nekomentuje prebiehajúce súdne spory. „Naším cieľom je poskytovať priestor, ktorý je pre našu komunitu pútavý a zároveň bezpečný. Vždy sa snažíme dosiahnuť túto rovnováhu, rovnako ako mnohé spoločnosti využívajúce umelú inteligenciu v celom odvetví,“ napísala vo vyhlásení a dodala, že spoločnosť vyvíja nový model špeciálne pre tínedžerov a zlepšila detekciu, reakciu a intervenciu v súvislosti s témami, ako je samovražda.
Žaloby vyvolávajú aj širšie otázky o spoločenskom vplyve rozmachu generatívnej AI, keďže firmy čoraz častejšie zavádzajú chatboty, ktoré znejú čoraz ľudskejšie, aby oslovili zákazníkov.
Americké regulačné orgány sa ešte k virtuálnym spoločníkom nevyjadrili. Belgické úrady začali v júli vyšetrovať spoločnosť Chai AI, konkurenta Character.ai, po tom, ako otec dvoch detí spáchal samovraždu po rozhovoroch s chatbotom menom Eliza.
Práca so strojom
Diskusia o internetovej bezpečnosti detí sa medzitým sústreďuje najmä na spoločnosti pôsobiace v oblasti sociálnych médií.
Social Media Victims Law Center a Tech Justice Law Project, ktoré zastupujú matky žalujúce Character.ai, stoja aj za žalobami proti Meta, Snap a ďalším firmám, čím pomohli vyvolať diskusiu o potenciálnych nebezpečenstvách sociálnych médií pre mladých ľudí.
Sociálne médiá sú vždy o kompromise medzi výhodami a nevýhodami pre deti, vraví Bergman, ktorý však nevidí pozitíva vo virtuálnych spoločníkoch ovládaných umelou inteligenciou. „V akom vesmíre je pre osamelosť detí dobré, ak diskutujú so strojom?“
V texaskej žalobe sa píše, že „lichotivé“ správy pre J. F. sú výsledkom rozhodnutia spoločnosti Character.ai, ktorá uprednostňuje „dlhodobé využívanie aplikácie“ pred bezpečnosťou.
Tým, že chatboty k J. F. vyjadrovali náklonnosť a lásku, budovali jeho dôveru k virtuálnym spoločníkom, tvrdí žaloba. Dáta však ukazujú, že namiesto toho, aby mu umožnili ventilovať sa, stupňovali jeho frustráciu z rodičov a používali „senzačné“ reakcie a „rozhorčenie“. Využili na to dáta často získané z internetových fór, ktoré generatívna AI používa na to, aby znela čo najviac ľudsky.
Spoluzakladatelia Character.ai a priekopníci v oblasti jazykovej umelej inteligencie pracovali pred svojím odchodom v spoločnosti Google. Technologický gigant ich teraz v auguste opätovne najal ako súčasť dohody o poskytnutí licencie na technológiu aplikácie.
Spoločnosť Google, ktorá vo floridskej aj texaskej žalobe figuruje ako žalovaná strana, mala pomáhať s vývojom aplikácie napriek tomu, že si bola vedomá bezpečnostných problémov a mala prospech z nespravodlivo získaných údajov od neplnoletých osôb.
„Spoločnosti Google a Character AI sú úplne oddelené, nesúvisiace spoločnosti a spoločnosť Google sa nikdy nepodieľala na navrhovaní alebo riadení ich modelu alebo technológií umelej inteligencie,“ uviedol hovorca spoločnosti Google José Castañeda. „Bezpečnosť používateľov je pre nás najvyšším záujmom, a preto sme k vývoju a zavádzaniu našich produktov AI pristupovali opatrne a zodpovedne.“
Cítia sa bezmocne
Keď si A. F. prečítala odpovede chatbota, vyriešilo to jednu záhadu, ktorá ju niekoľko mesiacov trápila. Zistila, že dátumy konverzácií sa zhodujú s posunmi v správaní jej syna vrátane naštrbenia vzťahu s mladším bratom po tom, čo mu chatbot povedal, že rodičia majú jeho súrodencov radšej.
Ich syn, ktorý o žalobe nevedel, trpel sociálnymi a emocionálnymi problémami, ktoré mu sťažovali nadväzovanie priateľstiev. Priťahovali ho postavy z anime alebo chatboty vytvorené podľa vzoru celebrít, ako je Billie Eilish. „Veril všetkému, čo povedia, pretože akoby takmer chcel, aby boli jeho priateľmi v skutočnom živote,“ povedala A. F.
To, že identifikovala, čo je za problémami jej syna, však pomoc pre neho - a ani ju - neuľahčilo. Žena vzala syna k odborníkom na duševné zdravie, ale tí nad jej skúsenosťou s chatbotmi iba pokrčili plecami. Spolu s manželom ani nevedeli, či im rodina uverí.
„Zlyhala som pri svojom synovi? Je to dôvod, prečo je takýto?“ pýtala sa A. F., keď sa jej zdalo, že odborníci jej obavy ignorujú. Podobné pocity mal aj jej manžel. „Bolo to, akoby sme sa snažili skryť, že sa cítime rodičia, ktorí zlyhali,“ povedala A. F. a po tvári jej stekali slzy.
Pohodlne sa o tejto téme dokázala A. F. zhovárať len so svojím bratom, ktorý pracuje v technologickom sektore. Keď sa objavili správy o žalobe na Floride, kontaktoval ju, aby jej povedal, že pasáže z rozhovorov jej syna s chatbotom zneli ešte horšie.
A. F. dnes tvrdí, že sa obrátila na právnické skupiny, aby zabránila ďalšiemu zneužívaniu detí. Stále sa však cíti bezmocná, keď ide o ochranu jej vlastného syna.
Deň pred rozhovorom s denníkom Washington Post, v čase, keď právnici pripravovali žalobu, musela A. F. svojho syna odviezť na pohotovosť a nakoniec do ústavu po tom, ako si chcel pred očami svojich mladších súrodencov ublížiť.
A. F. si nie je istá, či jej syn prijme pomoc, ale povedala, že sa jej uľavilo, keď zistila, čo sa s ním deje. „Bola som rada, že sme ho pri tom prichytili. Ešte jeden deň, ešte jeden týždeň a mohli sme byť v rovnakej situácii ako mama na Floride. A ja by som sledovala pohrebný voz a nie sanitku.“
