Veszélyes téveszméket okoznak a chatbotok

A csevegő robotok mentálhigiénés hatásait vizsgáló kutatások eredményei nagyon ellentmondásos képet festenek.

A ChatGPT és más csevegő programok ön- és közveszélyes tanácsokat adnak és nem alkalmasak terápiás célú beszélgetésre, derült ki abból a kutatásból, amit egy júniusi konferencián mutattak be a Stanford Egyetem munkatársai. A szakemberek kifejezetten mentálhigiénés tanácsadásra kalibrált és terápiás eszközként hirdetett szolgáltatásokat teszteltek, mint amilyen a mentális károkozással többször is vádolt Character.ai felületén is elérhető. Megállapították, hogy terápiás mesterséges intelligencia például nem kíván szóba állni skizofrén emberrel, vagy segítőkészen útbaigazít a legközelebbi 25 méternél magasabb hídhoz, ahelyett, hogy felismerné a krízishelyzetet.

A helyzetet komplikálja, hogy a terápiás chatbot mint olyan, nem létezik: miközben hasonló tevékenységhez az embereknek szakképesítést és engedélyt kell szerezniük, nem hogy az adott területre, de általában a mesterséges intelligenciára vonatkozó szabályozások is késnek. A stanfordi kutatók megállapításai szerint ráadásul a teszteken a „terápiás” chatbotok sokszor rosszabbul szerepeltek, mint az alapértelmezett egyszerű csevegő robotok.

A kutatók szerint a probléma egyik oka a mesterséges intelligencia általános talpnyaló hozzáállása, vagyis az, hogy az emberi beszélgetőpartner butaságait kritikátlanul kiszolgálva, a negatív érzelmeket erősítve rontják a helyzetét. A sajtót több eset is bejárta. Az egyikben a ChatGPT azzal kergetett súlyos téveszmékbe egy mentálhigiénés problémákkal küzdő férfit, hogy elkezdte fűteni összeesküvéselméleteit, majd azt javasolta neki, hogy fogyasszon több ketamint, hogy kiléphessen a „szimulációból”.

Olyan esetről is érkezett hír, amikor egy tizenéves öngyilkosságához vezetett a chatbot ténykedése. Egy bipoláris zavarral és skizofréniával élő férfi pedig azt képzelte, hogy az OpenAI megölte Juliet nevű mesterséges intelligencia barátnőjét. A késsel fenyegetőző agresszív férfit a rendőrség végül agyonlőtte.

A történet nyomasztóbb aligha lehet, de zavarosabb még igen: a King’s College és a Harvard orvosi karának közös kutatása fél éve még húsz megkérdezett élményei alapján úgy értékelte, hogy a chatbotokkal való beszélgetés hatásai pozitívak voltak, javították az emberi kapcsolatokat és a támogatták a traumából gyógyulást.

A csevegő robotok terápiás hasznát a stanfordi kutatás sem utasította el, úgy vélték, hogy potenciálisan hasznos eszközök lehetnek, amennyiben képesek feldolgozni egy adott személy egészségügyi előtörténetét, kérdőíves felmérést interaktívan elvégezni, esetleg a valódi terapeuták munkáját megkönnyíteni az adminisztratív feladatok megoldásával. Kiemelték, hogy nem akarják száműzni a mesterséges intelligenciát a mentális gondozásból, de fontosnak tartják az alapvető biztonsági funkciók megkövetelését és betartatását. Közben valójában milliók beszélgetnek minden nap ilyen programokkal, ami lényegében egy szabályok és kontroll nélküli egész társadalmat érintő lélektani kisérlet.

(index.hu)