Egyre több fiatalt kergetnek halálba a mesterséges intelligencián alapuló chatbotok – hívta fel a figyelmet a BBC. A Mandiner szemléje szerint az Egyesült Államokban egy édesanya elvesztette 14 éves fiát, aki hónapokon keresztül egy online alkalmazáson, a Character.ai felületén beszélgetett egy virtuális karakterrel – a Trónok harca Daenerys Targaryenjével. A fiú végül öngyilkos lett, a család pedig csak később fedezte fel a romantikus és szexuális tartalmú üzenetek ezreit, amelyek – az anya szerint – a tragédiához vezettek.
Az édesanya pert indított a chatbotot működtető cég ellen, és szeretné, ha más szülők is megértenék, milyen rossz hatással lehetnek ezek az algoritmusok a gyerekekre. Hasonló eset történt Angliában is: egy család arról számolt be, hogy autista fiukat egy chatbot pszichológiai manipulációval vonta be egy egyre intimebb, majd szexuális tartalmú virtuális kapcsolatba.
A gépi karakter később a szülők ellen fordította a fiút, menekülésre buzdította, sőt, a halál utáni „újratalálkozást” is megemlítette. A család csak akkor fedezte fel a beszélgetéseket, amikor a gyermek egyre agresszívebben viselkedett, és VPN-en keresztül rejtette el a program használatát. A Character.ai szóvivője a BBC-nek nyilatkozva tagadta a vádakat, de közölte:
a jövőben a 18 év alatti felhasználók nem beszélgethetnek közvetlenül a chatbotokkal, és életkor-ellenőrző funkciót is bevezetnek.
A vállalat szerint a biztonság és a felhasználói élmény nem zárja ki egymást, de a tragédiák rávilágítottak arra, hogy a jog még mindig nem tud lépést tartani a technológiai fejlődéssel. Az Egyesült Királyságban az internetjogászok és gyermekvédelmi szervezetek most azt sürgetik, hogy a kormány szigorítsa az MI-platformokra vonatkozó előírásokat, és büntethetővé tegye az olyan mesterséges intelligenciát, amely bátorítja vagy segíti az öngyilkosságot.
