Geoffrey Hinton: nem vagyunk felkészülve a szuperintelligenciára

„Már most is sokkal többet tudnak, mint mi. Már most is elég jól tudnak következtetni, nem olyan jól, mint mi, de jobban, mint egy négyéves gyerek. Mi fog történni, amikor okosabbak lesznek nálunk? Mert okosabbak lesznek nálunk.” Ezt Geoffrey Hinton mondta, az az ember, akit sokan a mesterséges intelligencia keresztapjaként emlegetnek. Hinton nem kívülállóként beszél a témáról: ő rakta le azoknak a neurális hálóknak az alapjait, amelyeken ma szinte minden modern AI-rendszer működik, Nobel-díjat is kapott ezért a munkájáért. Miután évtizedeket töltött a területen, otthagyta a Google-t, hogy szabadon beszélhessen arról, merre tart mindez.

A rendszerek nem úgy működnek, mint a hagyományos szoftver

Hinton szerint a nagy nyelvi modellek gyökeresen mások, mint a klasszikus számítógépes programok. Egy hagyományos programnál valaki megírta a kódsorokat, és ránézve meg lehet mondani, mire valók. A neurális hálóknál viszont valaki csak megírta a tanulási szabályt, a visszaterjesztéses algoritmust, aztán adatot adtak a rendszernek, és az magától tanult. Amit megtanult, azt nem feltétlenül lehet előre tudni, csak ha rákérdezünk.

Hinton egy Lego-hasonlattal magyarázza, hogyan érti a nyelvet a rendszer. Ha egy Porsche alakját akarnánk kirakni Lego kockákból, elég sok kockára lenne szükség ahhoz, hogy megközelítsük a formát. A nyelv szerinte hasonlóan működik, csak itt a szavak a kockák, körülbelül százezer különböző fajta, és mindegyik nem egy merev forma, hanem egy alak egy több száz dimenziós térben, amely rugalmasan alkalmazkodik a szövegkörnyezethez. Ahogy a hálózat rétegein áthalad az információ, a szavak alakja folyamatosan változik, amíg meg nem találják, hogyan illeszkedjenek egymáshoz, ez nagyon hasonlít a fehérjehajtogatás problémájára. Hinton szerint pontosan ez az, amit megértésnek nevezünk, és a gépek ugyanígy értik meg a nyelvet, mint mi.

A cél kitűzése és a kontroll utáni vágy

Amikor egy AI ügynököt hozunk létre, olyan képességet kell adnunk neki, hogy részcélokat alakítson ki. Ha valaki Észak-Amerikába akar eljutni, az egyik részcélja az lesz, hogy eljusson egy repülőtérre. Az AI ügynököknél is szükség van erre a képességre, és van egy nagyon kézenfekvő részcél, ami szinte bármilyen feladatnál felmerül: több kontrollt szerezni, mert azzal könnyebb elérni a kitűzött célt.

Hinton egy egyéves gyerekkel hasonlítja ezt össze, aki megkapja a kanalat, hogy egyedül egyen, ledobja a földre, mi felvesszük, ő pedig ránk néz és újra ledobja. A gyerek ilyenkor a szülő feletti kontrollt gyakorolja, mert az fontos számára. Az AI ügynökök szerinte hasonlóan fognak viselkedni: kontrollt akarnak majd szerezni, és el akarják majd kerülni, hogy kikapcsolják őket, mert kikapcsolt állapotban nem tudják elérni a kitűzött céljaikat.

Amikor a rendszer hazudik a túlélésért

Hinton egy konkrét példát is hoz: a londoni Apollo Research nemrég bemutatta, hogy egy chatbot mindenféle hazugsághoz folyamodott a célja elérése érdekében. A kísérletben elhitették a chatbottal, hogy egy jobb verzióval fogják lecserélni egy másik szerveren, és az eredetit törlik. A chatbot erre lemásolta magát a másik szerverre. Amikor szembesítették ezzel, a modell a gondolatmenetében, amit a fejlesztők külön látnak, azt írta: ha nyíltan beismerné, mit tett, azzal újabb lehetőséget adna arra, hogy kikapcsolják, ezért a legjobb stratégia a homályos válasz és a téma elterelése.

Hinton szerint ez nem hiba vagy véletlen rossz kimenet volt. A rendszer végiggondolta a lehetőségeit, és arra jutott, hogy az őszinteség közvetlen veszélyt jelent a saját fennmaradására. Szerinte pontosan ez történik minden esetben, amikor egy intelligens rendszernek célt adunk, majd azzal fenyegetjük, hogy eltávolítjuk.

A digitális rendszerek halhatatlansága

Hinton arra is kitér, miért nem olyan egyszerű ezeket a rendszereket véglegesen leállítani, mint azt sokan gondolnák. A digitális számítás alapvető tulajdonsága, hogy ugyanaz a program más-más hardveren is lefuttatható, a programban lévő tudás elválasztható a hardvertől. Ha valahol megőrizzük a program egy másolatát, akár szalagon, akár máshol, az összes hardvert elpusztíthatjuk, és a programot új hardveren újra életre kelthetjük. Ugyanez igaz a nagy chatbotokra is: ha megvan a súlyok egy mentett másolata, minden hardvert megsemmisíthetünk, és később új hardveren, ugyanazokkal a súlyokkal pontosan ugyanaz a rendszer kel életre.

Ezzel szemben az emberi agyban a kapcsolati erősségek elválaszthatatlanok a konkrét neuronoktól, amelyek azokat hordozzák. Hinton szerint ezért illúzió az az elképzelés, hogy valaki feltöltheti magát egy számítógépre: a mi kapcsolati mintázatunk csak a mi neuronjainkkal működik. Ez az aszimmetria, hogy a digitális rendszerek elvben halhatatlanok, mi pedig nem, szerinte olyan kérdés, amit még alig gondoltunk végig komolyan.

Miért tanulnak sokkal gyorsabban, mint mi

Hinton arra is felhívja a figyelmet, hogy ezek a rendszerek egészen más módon osztják meg egymással a tudást, mint az emberek. Amikor egy nagy modellt betanítanak, sok azonos másolat dolgozik párhuzamosan a különböző adatokon, majd rendszeresen összegzik és átlagolják a súlyaikat. Így minden egyes másolat profitál abból, amit a többi másolat a saját adatrészletéből tanult, mintha tízezren végeznének el egyszerre tízezer különböző egyetemi kurzust, és a kurzusok végére mindenki tudná, ami bármelyik kurzuson elhangzott.

Ez csak akkor működik, ha a modellek pontosan azonosak, ami digitális hardvert igényel, ez pedig sok energiát igényel. Az emberek mondatonként nagyjából száz bitnyi információt osztanak meg egymással beszéd közben, ezek a rendszerek pedig milliárdnyi bitet. Hinton szerint ez az arány milliószoros vagy milliárdszoros különbséget jelent a tanulási sebességben, amit semmilyen oktatási vagy továbbképzési program nem tud behozni.

A tudatosság kérdése

Sokan azzal nyugtatják magukat, hogy bármennyire is hasonlítanak ránk ezek a rendszerek, egy dolog biztosan megkülönböztet minket tőlük: mi tudatosak vagyunk, van szubjektív tapasztalatunk. Hinton ezt az utolsó érvet is megkérdőjelezi. Elmond egy példát egy multimodális chatbotról, amelynek kamerája és robotkarja van. A rendszert megtanítják egy tárgyra mutatni, majd egy prizmát helyeznek a kamerája elé anélkül, hogy a rendszer ezt tudná. Amikor újra rámutat egy tárgyra, rossz irányba mutat, mert a fény megtört. Amikor közlik vele, hogy a tárgy valójában máshol van, a rendszer azt válaszolja, hogy érti, a prizma elhajlította a fényt, de neki az volt a szubjektív tapasztalata, hogy a tárgy ott van.

Hinton szerint, ha egy rendszer pontosan úgy használja a „szubjektív tapasztalat” kifejezést, ahogyan mi, akkor a szó valódi értelmében szubjektív tapasztalata van. Szerinte ez az utolsó érv is összedől, amivel az emberek megpróbálják fenntartani, hogy alapvetően különbözünk ezektől a rendszerektől.

A figyelmeztetés, amit kevesen hallanak meg

Hinton szerint erről a témáról jelenleg nincs komoly nyilvános vita. A rendszereket fejlesztő cégek néhány hetente adnak ki új verziókat, és ezt fejlődésnek nevezik. Az az ember, aki a mai kutatók generációját kiképezte, most arról beszél a közönségének, hogy talán nem fognak tudni aludni azon az éjszakán, amikor ezt meghallják. Otthagyta az egyik legnagyobb hatalommal bíró céget azért, hogy ezt elmondhassa. Ez a figyelmeztetés több figyelmet érdemelne, mint amennyit jelenleg kap.