Ellentmondásos kísérlet során mesterséges intelligencia segítségével nyújtottak mentális egészségtámogatást mintegy négyezer embernek – ám csodák csodájára, miután kiderült, hogy az üzeneteket egy géptől kapták, a teszt nem működött. A „chatbotpszichológust” súlyos kritikák is érték az interneten a beleegyezés feletti aggodalmak miatt, miután Rob Morris, a Koko közösségimédia-alkalmazás társalapítója bejelentette a cége által a GPT–3 használatával végzett kísérlet eredményeit. A Koko lehetővé teszi az embereknek, hogy önként jelezzék problémáikat más felhasználóknak, akik aztán megpróbálnak segíteni nekik „újragondolni” a helyzetet, amit a kognitív viselkedésterápia egy formájához hasonlítanak. A felhasználók megválaszthatták, hogy egy MI-segéd írjon válaszokat az embereknek, amelyeket aztán felhasználhatnak, vagy szükség esetén módosíthatnak, de le is cserélhetnek.
A mesterséges intelligencia által írt és emberek által felügyelt üzeneteket szignifikánsan magasabbra értékelték, mint az önmagukban írottakat. A válaszidő 50%-kal, jóval kevesebb, mint egy percre csökkent
– írta Morris a Twitteren. „Mégis… elég gyorsan levettük a platformról. Miért?” – folytatta. „Miután az emberek megtudták, hogy az üzeneteket egy géppel közösen hozták létre, nem működött. A szimulált empátia fura, üres érzés.” Nahát, tényleg? Ezután felvetette, hogy ennek az az oka, hogy a nyelvi modellek nem rendelkeznek ember által megélt tapasztalattal, és így válaszaik nem hitelesek, sokan viszont az orra alá dörgölték, hogy a résztvevők nem biztos, hogy a beleegyezésüket adták ilyesmihez. Később Morris hangsúlyozta, hogy nem a tudtuk nélkül párosítottak embereket, hogy csevegjenek a GPT–3-mal, ám sokan rámutattak, hogy nem világos, hogy mindenki tudott a funkcióról, és ugyebár a „miután az emberek megtudták, hogy az üzeneteket egy gép írta, az nem működött” kijelentés sem éppen azt sugallja, hogy tiszta volt minden, hanem pont az ellenkezőjét. Az ötletgazda később azzal próbálta védeni magát, hogy a kísérlet nem jelentett további kockázatot a felhasználók számára, nem okozott megtévesztést, és nem gyűjtöttek semmilyen személyazonosításra alkalmas vagy személyes, egészségügyi információt, az azonban nem világos, hogy a mért adatokat közzéteszik-e.