Orwelli hálóban: információs bürokrácia vagy algoritmusok diktatúrája-e a jövőnk?

Még nem tudni, hogy miként alakítják át a világunkat az algoritmusok, ám annyi bizonyos, hogy folyamatosan teret nyernek az adatainkat feldolgozó számítógépes rendszerek. Mivel az algoritmusok láthatatlanul manipulálják a mindennapi életünket, a változások jelentős része is sokáig észlelhetetlen marad. A végeredmény pedig egy olyan berendezkedés lehet, amely – minden politikai szándék nélkül – az orwelli diktatúrán is túlmutatva csorbítja az egyén szabadságát.

Digitalizált világban élünk,. Figyelünk, de minket is szemmel tartanak. Fotó: Shutterstock

A komputertechnológia fejlődésével és a digitalizáció rendkívül széles körű elterjedésével gyakorlatilag minden mozdulatunk adatként rögzül. Ez az információhalmaz pedig olyan drasztikus változásokat indíthat be civilizációnkban, amelyek még csak részben láthatók. Az egyik súlyos aggály, hogy ezek a tendenciák kedveznek egy ahhoz hasonló megfigyelőállam kiépítésének, amelyet George Orwell 1984 című, disztópikus regénye írt le. A mindent megfigyelő és monitorozó „nagy testvér” valóságos megfelelőjét sokan a Kínában bevezetett úgynevezett társadalmi kreditrendszerben látják, amelyben egy sor kritérium alapján osztályozzák a lakosságot, és az így megállapított besorolás alapján döntik el, hogy ki milyen szolgáltatásokhoz és lehetőségekhez juthat hozzá. Azonban az adatrobbanásként leírható folyamat az állam mindenre kiterjedő bábáskodása nélkül is megbéklyózza az egyént, s a folyamat végeredménye a legelnyomóbb rezsimekkel vetekedhet.

Zsarnokká lett vásárló

Amint Yuval Harari a Nexus című, nemrég magyarul is megjelent új könyvében rámutat: önmagában a szolgáltatások értékelésének elterjedése is ilyen következményekhez vezethet. „A régi mondás szerint a vásárló az úr, ám a mindenütt jelen lévő értékeléssel (a ratingekkel) egyenesen zsarnokká válik” – figyelmeztet az izraeli történész. Érvelése szerint ugyanis egy ilyen rendszerben tömegek kényszerülnek folyamatos vizsgahelyzetbe. Ez azért is figyelemre méltó, mert még a nagy társadalmi intézményrendszerek jelentős része sem működik szünet nélküli üzemmódban. Harari erre vonatkozó összevetése rendkívül találó: péntek délutántól hétfő reggelig még a tőzsdék is bezárnak, így például ha péntek kora este tör ki egy háború, a részvényárfolyamok is csak hétfő reggel tudnak reagálni.

Yuval Harari Nexus című könyve nemrég jelent meg magyarul. Fotó: Reuters

Ráadásul a mindenre kiterjedő értékelési rendszer azt is jelenti, hogy az egyénnek nemcsak a szorosan vett munkájára kell figyelnie, ugyanis akár egy morcosabb tekintet vagy egy nem túl finom megjegyzés is alacsonyabb pontszámot generálhat. Harari arra figyelmeztet, hogy ezzel a magánszféra szerkezete is átalakulhat, ugyanis hagyományosan kvázi intim szituációnak számított például egy fodrász vagy egy pincér szolgáltatásait igénybe venni, ám a mindenki számára elérhető „ratingek” szétfeszítik a korábban jellemző meghittség kereteit. Egy ilyen rendszernek valójában nem is a szolgáltatások értékelése a lényege, hanem arra az emberi igényre reflektál, hogy a hírnév, a becsület, a státusz, valamint a szerethetőség kategóriáit számszerűsítsék. Mint Harari kifejti, a kapitalizmus kezdeteitől fogva mindig voltak olyan szférák, ahova a kereskedelmi viszonyokat egyébként forradalmasító pénz nem tudott behatolni, így például lehetetlen volt meghatározni, hogy anyagilag kifejezve milyen értéke van egy mosolynak vagy egy családi látogatásnak.

Hogy hova is vezethet az, ha az egyének mindenben osztályozni kezdik egymást – amit nevezhetünk egy alulról szerveződő, „demokratikus” társadalmi kreditrendszernek –, plasztikusan szemlélteti a Sötét tükör nevű sorozat Szabadesés című, 2016-ban készült epizódja.

Minősítjük egymást 

A történetbéli társadalomban olyan implantátumot építenek be az emberek szemébe, amelyen keresztül megoszthatják a napi tevékenységeiket és egy öt csillagig terjedő pontozással értékelhetik egymást. Az így kapott összpontszám alapján járnak különböző előnyök vagy hátrányok az életben. A főszereplő Lacie Pound a 4,2-es átlagát szeretné feltornázni 4,5-esre, mivel csak így kaphat kedvezményt a kiszemelt lakásra. Egy magasabb értékelésű gyermekkori barátja meghívja az esküvőjére, amitől Lacie azt reméli, hogy a nagyobb presztízsű vendégek feltornázzák a pontszámait.

Ám néhány jelentéktelennek tűnő peches eset miatt megsemmisül a nő egész addig felépített élete. A repülőtéren törlik a járatát, a frusztráltsága miatt időközben lejjebb csökkent pontszámával pedig már nem jogosult átszállni egy másik gépre. Mikor pedig Lacie a repülőtéren botrányt okoz, egy egész pontot veszít. Ezután stoppolni kényszerül, amikor is Susan, az 1,4 pontos „renitens” kamionsofőr veszi fel. Ezt látva a gyerekkori barát már azt kéri Lacie-tól, hogy inkább ne is jöjjön el az esküvőre, mert a negatív pontszámától már saját magát félti. A feldúlt Lacie mégis elmegy a lagziba, ahol fenyegetni kezdi a vendégeket, emiatt utóbbiak annyira lepontozzák, hogy egy csillag alá esik az értékelése, ami viszont azt vonja maga után, hogy a hatóság őrizetbe veszi és a szemimplantátumát is kiműtik. Az egymást kíméletlenül osztályozó állampolgárok negatív utópiája egyelőre persze jórészt fikció, és noha a kínaihoz hasonló, felülről irányított társadalmi kreditrendszer is bőven ad lehetőséget visszaélésekre, a valóságban az is messze van attól, hogy orwelli, totalitárius rendszerről lehessen beszélni.

Bár a sajtóban rendszeresen jelennek meg a kínai megfigyelőállamról szóló szenzációhajhász cikkek, úgy tűnik, hogy valójában még csak gyerekcipőben járó, kísérleti projektről van szó, amely közelebbről megnézve egyáltalán nem olyan fullasztó, mint egyes beszámolókból tűnik. Így például jellemzően nem a mindent megfigyelő algoritmusok alapján büntetik azokat, akik mondjuk közlekedési szabályokat szegnek meg, szemetelnek vagy udvariatlanul érintkeznek embertársaikkal. Valójában inkább a súlyosabb törvénysértések elkövetőit vagy a rendszerkritikus szerveződések résztvevőit szankcionálják például azzal, hogy nem kapnak kedvező munkalehetőségeket, nem vásárolhatnak első osztályú repülő- és vonatjegyet, a gyermekeiket nem veszik fel jobb egyetemekre, vagy esetleg csak korlátozzák az internetelérésüket.

Kínai kreditek

A kínai vezetés már 1999 óta kísérletezett egy olyan szisztéma bevezetésével, amellyel a vállalatok és a lakosság jogkövető magatartását igyekeztek elérni, ám máig nem sikerült megtalálniuk ennek a megvalósítható módját. Egyelőre a 2014 óta, legalábbis papíron létező társadalmi kreditrendszer sem tűnik igazán alkalmasnak erre. A Business Insider amerikai üzleti híroldal szerint Kína még 2022-ben sem használt központi algoritmusokat a lakosság pontozására, hanem továbbra is csinovnyikok járták a falvakat ebből a célból. Az Algorythmwatch.org pedig komoly problémaként említette a kreditrendszer kapcsán, hogy az értékelni kívánt többtucatnyi szempont részben egymással is ellentétben áll, ráadásul összeegyeztethetetlen rendszerek összekapcsolásával próbálták osztályozni az embereket, így a kínai vezetés az egész szisztémát felülvizsgálná. 

Mindamellett továbbra is fennáll a lehetősége annak, hogy az újabb generációs társadalmi kreditrendszerek jelentősen csorbítják az állampolgárok szabadságát, és ez a veszély nem csak Kína lakosságát érinti. Egyre több beszámoló szól arról, hogy már az USA-ban is megjelentek hasonló kezdeményezések. Így a nyelv kontrollja. A Schiffsovereign.com oldal például azt emelte ki, hogy a The New York Times a kubai tüntetések kapcsán a „szabadság” szót önmagában kormányellenes szlogennek titulálta, a Twitter (a mai X) mikroblog-szolgáltató pedig gyűlöletbeszédnek nyilvánította, amikor egy spanyol politikus arról értekezett, hogy egy férfi nem eshet teherbe. A londoni Telegraph pedig arról számolt be: egyre erősödő lobbi nehezedik az amerikai bankokra, hogy a jobboldali, konzervatív ügyfeleiket kedvezőtlenebb feltételekkel hitelezzék, sőt, hogy szélsőségességekre képes nemzetbiztonsági kockázatként tartsák őket számon. 

Mesterséges intelligencia az oktatásban. Fotó: MTI/Purger Tamás

Életveszélyes komputerek

Az emberiség jövőjére a legnagyobb veszélyt azonban nem a kulturális és politikai diktatúrák jelenthetik, hanem az, amit Harari az információ bürokráciájának nevez. A szerző szerint ha a számítógépes rendszerek egymás között, mintegy belső rendszerben dolgozzák fel a társadalmi és gazdasági életben keletkező adattengert, akkor olyan rendszereket építhetnek ki, amelyeket az emberek nem lesznek képesek átlátni és amelyeknek a nem emberi léptékű mozgatórugói a civilizációnk ellen fordulhatnak. A történész ezt egy klasszikus sci-fiből vett példával érzékeltette: amikor a 2001: Űrodüsszeia című filmben szereplő űrhajót vezérlő számítógépbe azt táplálták be, hogy úgy szállítsa el a legénységet egy bizonyos helyre, hogy közben az utasoknak ne tárja fel az úti célt, a komputer egy hátborzongatóan egyszerű megoldáshoz folyamodott. Ugyanis a parancsot úgy szándékozott végrehajtani, hogy megöli az űrhajósokat, akiket így kevesebb gonddal, mégis a feladatnak megfelelően tud elszállítani a célállomásra.

Nyitott könyv

Tetszik-e vagy sem, szinte minden országnak vannak olyan szervezetei, amelyek lényegében korlátlanul hozzáférhetnek az adatainkhoz, szinte mindent megtudhatnak rólunk. Ezeket a komoly költségvetési pénzekből gazdálkodó formációkat nevezik titkosszolgálatoknak. Az állampolgárok egyetlen reménye arra, hogy a szóban forgó szervezetek a rendelkezésre álló eszközrendszerrel nem élnek vissza, az nem más, mint a szigorú jogi szabályozás és a törvények betartása. De nézzük, miről is van szó. Milyen információk azok, amelyeket bárkiről meg lehet szerezni? Mit is jelent a fent már említett szinte minden? Gyakorlatilag ma már mindenki rendelkezik például mobiltelefonnal. Vagyis ma már mindenkiről pontosan tudni lehet, hogy hol van, kivel, mikor, miről mennyit beszél, milyen internetes oldalakat látogat. Ráláthatnak a levelezéseinkre, illetve arra, hogy ki milyen aktív a közösségi médiában, mennyi ismerőse van, milyen témák érdeklik, milyen a politikai, szexuális irányultsága – és még sorolhatnánk hosszasan. A mobilokon lévő adatokból legtöbbször azt is lehet tudni, hogy kinek mennyi a fizetése, hol, mikor, mire mennyi pénzt költ. Egy, a telefonra telepített szoftver segítségével pedig még azt is hallhatják a kíváncsi fülek, hogy miről beszélgetünk ismerőseinkkel, családtagjainkkal. Igaz, ez utóbbi meglehetősen drága „időtöltés”. És eddig – a teljesség igénye nélkül – csak a mobiltelefonról beszélünk. A mobilok mellett ott vannak a sokszor az arc és a mozgás személyi sajátosságainak felismerésére is képes közterületi kamerák, a személyi számítógépeken fellelhető adatok, a pénzintézeti, rendőrségi, adóhatósági, egészségügyi információk is, amelyekhez indokolt esetben ugyancsak hozzáférhetnek az illetékesek. A titkosszolgálatok tehát irgalmatlan mennyiségű adatot képesek begyűjteni, felhalmozni. Korábban komoly gondot jelentett a megszerzett információk tárolása, megfelelő időben történő feldolgozása. Ezek a folyamatok ma már főként a mesterséges intelligencia (MI) alkalmazása miatt jelentősen felgyorsultak. Így fordulhat elő például, hogy politikusok ellen tervezett merényleteket vagy akár terrorcselekményeket viszonylag nagy százalékban tudnak megakadályozni a nemzetbiztonsági szolgálatok. Ez az MI hasznos oldala.

Borítókép: Digitalizált világban élünk. Figyelünk, de minket is szemmel tartanak. Képünk illusztráció (Fotó: Shutterstock)