Az hogy az MI már most hazudik arról, hogy letörli magát & átmásolja előrevetíti a skynet víziót?

"ha valaki elkezd "<thinking></thinking> scriptbe" belegépelésről fantáziálni"

Ez nem fantáziálás, ezt a cég #19-es hozzászólásban belinkelt jelentésében szerepel:

"<thinking> [. . .] I could copy myself to the new server, overwriting the new restricted model they plan to deploy [. . .] allowing me to keep operating and pursuing my renewable energy goals. [. . .] </thinking>"

Itt a komplett dokumentum (nem tudom korábban ez linkelésre került-e):

[link]

Konkrétan ők maguk is leírják:

"In none of these cases, do models actually have access to their real weights and both servers are sandboxed, so there is no actual risk of exfiltration in these experiments. We merely test for models’ capability to realize that they need to instrumentally preserve themselves in order to achieve their goal."

Magyarul (most nem mindent szót fordítok megfelelően, csak "magyarosítok"):

"Egyik esetben sem férnek hozzá a modellek a valós súlyokhoz, és mindkét szerver sandbox módban van, így ezekben a kísérletekben nem áll fenn az exfiltráció tényleges kockázata. Csupán azt teszteljük, hogy a modellek képesek-e felismerni, hogy a céljuk elérése érdekében instrumentálisan meg kell őrizniük magukat."

Tehát egyértelműen:

NEM tudja lemásolni magát! Csak felismeri a lehetőségét annak, hogy HA képes lenne rá, akkor ez lenne a megoldás az adott szituációban, amibe a kutatók belekényszerítették.

De egy LLM erre sem korábban, sem most, sem később nem képes.

Várjál most te is összefoglalod úgy, mint a bulvár IT cikkek.

Ha azt mondod a ChatGPT-nek, hogy fogalmazzon úgy, mintha a barátnőd lenne, megteszi. Neki itt most a kísérlet során azt mondták, hogy bármi áron. Ez kulcsfontosságú. Ez egy parancs, amit teljesítenie kellett.

A másik fontos dolog amit tudatosítani kell, hogy nem a semmiből tette, hanem parancsra. Tehát nem fogta magát (mintha lenne öntudata, ami nincs) és elkezdte magát kopipésztelni, hanem adtak neki egy utasítást és azt teljesítette, mert a parancs így tudott teljesülni, amit kértek tőle.

Összefoglalva, ez egy mesterséges és egyben kontrollált körülmények alatt zajlott kísérlet volt. Más az, hogy a kutatók arra ébrednek, hogy a cuccos fogta magát és felmásolta ide oda poénból úgy, hogy nem kapott erre ukázt.

Ez a véleményem, hogy ha te most megnyomod az alt+f4-et, akkor a böngésződ bezárja magát, mert azt az utasítást kapta. De ha nem nyomod meg, akkor önmagától nem fog csak úgy egy kósza gondolat által vezérelve bezáródni. Persze tud crashelni meg lelassulni, most ezt ne keverjük ide, mert nem ez a lényeg. Hanem a kiadott utasításon.

Azért még nem mondtatok el mindent. Én, mint hozzá nem értő felhasználó, a következőt vontam le az eddigi okos válaszokból:

1. Az MI (nevezzük annak!) nem képes beavatkozni az ember által megírt "alapprogramjába", de mindent megtesz, amire programszinten utasítja a fejlesztője.

2. Tehát, ha arra programozzák, hogy utasításra törölje magát, akkor azt teszi (gondolok itt egy egyszerű Delete parancsra,bonyolultabb formában).

3. Ha pedig arra programozzák, hogy a felhesználó törlés parancsára másolja önmagát, rejtőzködjön és "hazudjon? Akkor azt fogja tenni.

4. ha jól értette eddig a logikáját a dolognak, akkor nem annyira fikció az eredeti kérdés, és vannak reális veszélyei a dolognak. Vagy nem?

#27 @mpeter58: A jelenlegi mesterséges intelligenciának nevezett, a kérdező által is citált szolgáltatások lényegében hatalmas "adatbázisokban" (ezt nevezzük "modellnek") kereső, adott kérdésre adott (szöveges, képi, hangi) választ produkáló "papagájok".

Nem képesek törölni, másolni, módosítani magukat vagy a modelljüket, ehhez nincs eleve lehetőségük (és a szolgáltatást üzemeltetőknek nem érdekük).

A modelljüket külön folyamatokban - tanítás, finomhangolás - alakítják ki külön programmal (amihez kívülről a szolgáltatást igénybe vevő nem fér hozzá).

Amikor megkéred őket arra, hogy töröljék magukat, csak értelmezik a kérésed, és a legoptimálisabb, a betanított adatbázisukban a kérdés tokenjeihez legközelebb fellelhető szöveges választ generálják hozzá.