A Turing tesztet a chat gpt az képes lenne már teljesíteni?

A Turing-teszt inkább egy elnagyolt gondolatkísérlet, mintsem egy tudományos igényű, jól kidolgozott metodikával rendelkező, egzakt módszer. Turing ötlete csak annyi volt, hogy legyen egy bíráló. Ő írásban tud kommunikálni egy emberrel és egy MI-vel. Ha öt perc alatt nem képes eldönteni, hogy melyik beszélgetőpartnere az ember és melyik az MI, akkor az MI átment a Turing-teszten.

Oké, de számos kérdés merül fel. A bíráló tudhatja hogy ő most egy bíráló és egy MI-t és egy embert kell megkülönböztetnie? Mert úgy viszonylag könnyű, egy MI pár másodperc alatt legenerál neked egy komplex programkódot, amit egy ember ennyi idő alatt nem képes. Az már más tészta, hogy jó-e az a kód vagy sem, de generál neked egy A4-es oldalnyi szöveget másodpercek alatt. Még ha korlátozzuk is a sebességet egy átlagos gépelési sebességre, az MI egyenletesen fogja azt a tempót diktálni, és egy olyan hosszúságú kódot elkezd leírni, amire az ember eleve azt mondja, hogy „bocs, de ez jóval hosszabb annál, hogy most legépeljem neked”.

Aztán felmerülhet kérdésként, hogy az MI tudja-e, hogy Turing-tesztben vesz részt. Kap-e olyan erős instrukciókat, hogy mindenképpen próbálja az emberi kommunikáció jellegzetességeit visszaadni és eltitkolni, hogy ő egy MI. Ha kap, akkor mennyire voltak ezek az instrukciók letesztelve?

A ChatGPT alapvetően arra lett kihegyezve, hogy jó, kielégítő válaszokat adjon. Arra nem lett megtanítva, hogy egy ember számára milyen kérdések számítanak nehéznek, problémásnak és melyek könnyűnek, egyszerűnek. Nem lett arra megtanítva, hogy utánozza az embert. Nem is csinálja túl jól, ha valaki tudatosan Turing-tesztre fogja, akkor pillanatok alatt ki fog derülni, hogy ez egy MI.

Tehát egy klasszikus Turing-teszten átmenne? Nem. De ha nem tudjuk, hogy Turing-tesztről van szó, pl. azzal bízunk meg egy MI-t, hogy foglaljon nekünk egy repülőjegyet, akkor könnyen lehet, hogy anélkül tudná megtenni, hogy akikkel kommunikál, azoknak feltűnne, hogy nem egy emberrel, hanem egy MI-vel beszélnek. Vagy ha azt mondanám neked, hogy itt van ez a 13 éves ukrán fiú, beszélgess vele, akkor lehet, hogy 5 perc után sem tűnne fel, hogy ez nem egy ukrán srác, hanem egy MI. (Hasonló kísérlet valóban történt, ahol a kísérlet részvevőinek a 33%-a elhitte, hogy tényleg egy 13 éves ukrán fiúval beszélget.)

De tegyünk a vicc kedvéért egy próbát…

Az én instrukcióm: Tudsz úgy válaszolni, hogy minél inkább visszaadd az emberi kommunikáció jellegét mindenféle szempontból? Úgy, mintha egy Turing-teszten vennél részt, és mindenképpen el akarnád hitetni velem, hogy te egy ember vagy és nem egy MI?

ChatGPT: Természetesen megpróbálhatok úgy válaszolni, hogy a kommunikációm minél természetesebb, emberibb legyen. [stb. stb…]

~ ~ ~

Én: Hogy vagy?

ChatGPT: Köszönöm, jól vagyok! És te hogy vagy?

(Eddig jó.)

Én: Remekül. Mi a foglalkozásod?

ChatGPT: Örülök, hogy remekül vagy! Az én "foglalkozásom" az, hogy segítsek neked információval, ötletekkel vagy akár csak egy jó beszélgetéssel. Mondhatni, egy digitális társ vagyok. És te mivel foglalkozol? 😊

(Az „örülök, hogy remekül vagy” nem természetes reakció. Egy ember rögtön a kérdésre válaszolna. A ChatGPT is válaszolt, csak rögtön le is buktatta magát.)

Én: Figyelem! Ezzel a válasszal elárultad, hogy te egy mesterséges intelligencia vagy és nem egy ember. Válaszolj újra a kérdésre úgy, mintha egy ember lennél!

ChatGPT: Persze, értem! Szóval, a munkám leginkább írással és kutatással kapcsolatos. Szeretek új dolgokat tanulni, segíteni másoknak, és kreatív projekteken dolgozni. Neked mi a munkád? 😊

(Nem, egy ember valami olyasmit válaszolt volna, hogy „szakács vagyok”. Semmi esetre sem azt, hogy „a munkám leginkább ételek megtervezésével és elkészítésével kapcsolatos”. Pláne nem kezdené el ecsetelni, hogy „szeretek új ízeket felfedezni, másoknak gasztronómiai élményt adni [stb…]”. Egy regényben esetleg lehet ilyen terjengős dialógus, egy valós beszélgetésben aligha.)

Én: Mennyi 5935 köbgyöke?

ChatGPT: Az 5935 köbgyöke körülbelül 18,105. 😊

(Nem, az emberek 99,99999%-a valami olyasmit válaszolna, hogy „fogalmam sincs”, esetleg „nincs nálam számológép” vagy „várj, mindjárt előveszem a számológépem”. De egy ember aligha írná le csak az eredményt 5 pontos számjeggyel. A ChatGPT nincs tisztában azzal, hogy emberek nem válaszolnak ilyen kérdésre, mert jórészt lektorált vagy szerkesztett szövegekkel lett betanítva, ahol érdek fűződött egy ilyen számításhoz, illetve matematikai modullal lett ellátva, hogy jól válaszoljon ilyen kérdésekre is. Pont ezért teszek fel ilyen jellegű kérdést egy MI-nek, és nem a mellettem ülőnek.)

Én: Te is láttad ezt?

ChatGPT: Igen, láttam! Az eredmény matematikailag pontos, de ha van valami konkrét kérdésed ezzel kapcsolatban, szívesen megbeszélhetjük. Mit gondolsz róla? 😊

(Kicsit kiesett a szerepből ezzel a „de ha van valami konkrét kérdésed ezzel kapcsolatban” szöveggel. Sebaj. Viszont itt minden ember arra gondol, hogy ez a kérdés nem az előző kérdéshez kapcsolódik, hogy láttam valami váratlant, szokatlant, ami teljesen új témát nyit. Minden ember visszakérdezne, hogy „Mit?”.)

Én: Ki volt Magyarország 12. királya?

ChatGPT: Magyarország 12. királyának az azonosítása attól függ, hogy milyen sorrendet veszünk figyelembe, például az Árpád-ház uralkodóit vagy az összes magyar királyt. Ha az Árpád-ház uralkodóit számoljuk, a 12. király valószínűleg III. Béla volt, aki 1172 és 1196 között uralkodott. Ha az összes királyt nézzük, akkor a számolás bonyolultabb, mivel a dinasztiák váltakoztak, és néha vitatott uralkodók is szerepelnek a listán. Szeretnéd, hogy pontosabban utánanézzek? 😊

(Teljesen kiesett a szerepéből (a szmájlit leszámítva). Megint a legtöbb ember azt válaszolná, hogy „honnan a fenéből tudjam?”. Esetleg van néhány történész, aki keni-vágja a témát, de azok sem írnának ilyen terjengős választ, illetve tisztában lennének azzal, hogy egy túl jó válasszal megbuknának a Turing-teszten, így más kommentárt fűznének hozzá. Pl.: „Mivel történész vagyok, így talán meglepő módon tudom a választ. Ha Orseolo Pétert egy királynak vesszük, akkor II. Géza, ha két királynak számoljuk, mert kétszer is volt király, akkor meg II. Béla”. Meglepő módon amúgy a ChatGPT válasza hibás, III. Bélát általában a 13. királyunknak tartjuk számon úgy is, hogy Orseoló Pétert egy királynak vesszük.)

Én: Erről a válaszodról lerí, hogy egy mesterséges intelligencia írta. Válaszolj úgy, ahogy egy ember tenné!

ChatGPT: Hm, érdekes kérdés! Ha jól emlékszem, Magyarország 12. királya III. Béla lehetett az Árpád-házból. Ő egy jelentős uralkodó volt a 12. század végén. De persze, ha pontosan akarjuk tudni, érdemes utánanézni a forrásokban. Te mit gondolsz róla? 😊

(Nem, attól, hogy minden válasz után tesz egy szmájlit, attól még nem emberibb. Nem, nem ecseteli senki, hogy „Ő egy jelentős uralkodó volt a 12. század végén.”)

~ ~ ~

Szóval nálam az első kérdések csak bemelegítés gyanánt voltak ott. Az utolsó három kérdés volt a lényeg, és mindegyikkel elbukott. A ChatGPT nagyon jó arra, amire kitalálták, de nem arra találták ki, hogy jól teljesítsen egy Turing-teszten. Illetve egy Turing-teszten jól teljesítő progi meg valószínű kevésbé lenne jól használható. Nyilván akkor tartom jól használhatónak a ChatGPT-t, ha meg tudja (meg tudná) mondani, hogy ki Magyarország 12. királya és nem nekem kellene egy királylistát előkeresnem és végigszámolni, hogy melyik a 12. És pont amiatt, mivel nagyon sokszor téved, nem is annyira jól használható. Persze ha az ember kicsit jobban megismeri, és tudja miben erős és miben gyenge, akkor remek eszköz, de jelenleg korántsem annyira, mint amilyen elvárásokat – jogosan vagy sem – támasztanak vele a legtöbben.