-....Az MI chipek utasításkészlete milyen lesz?...-

"milyen lesz" helytelen, inkább amilyen jelenleg van. Amúgy nem kell nagyon beleképzelni, mert az AI algoritmusok eleinte a GPU-t hasznosították.

Nyilván ilyen téren az nVidia-nak volt előnye, így persze GPU az elődje az AI chippek architektúrájának.

De ez is amolyan üzleti titok, mert maga a Intel és AMD se teszi közzé a processzorai architektúráját, de van egy közös pont utasítás készletben.

De az AI chippek nem ilyenek. Azok céleszközök és nem tudok róla, hogy szabványosítottak-e. Mert, ha nem akkor lesz egy domináns szereplő, ahogy most az nVidia és úgy alakítja az utasítás készletét és az architektúráját, ahogy neki tetszik.

Az MI működéséhez szükséges néhány igencsak számításigényes művelet. Pl. a mátrixszorzás. Ilyen műveletek gyors elvégzésére a videokártyák is képesek, ezért remekül használhatók, így használjuk is hozzá. Csakhogy a videókártyák nem az MI-hez szükséges számításokra lettek optimalizálva, így egy csomó olyan képességgel is rendelkeznek, ami az Mi működtetéséhez szükségtelenek, feleslegesen, kihasználatlanul vannak benne, így feleslegesen teszik drágábbá és bonyolultabbá az MI-t működtető hardvereket. Ezért aztán – ha már ekkora igény van MI-k futtatására –, észszerű döntés erre kihegyezett, erre specializált hardvereket készíteni, gyártani, amik pontosan azt tudják, ami az MI-hez kell, és semmi mást nem, ami az MI szempontjából felesleges.

Ugye maga a videokártya is ilyen célhardver. Anno pont amiatt jöttek létre, mert egy processzor kevés volt a grafikus számításokhoz. Tíz vagy száz processzor elég lett volna, csakhogy a processzor egy raklap dolgot tud, ami nem lenne kihasználva, vagy egyáltalán használva, így olcsóbb és célszerűbb volt egy célhardvert megtervezni, gyártani.

~ ~ ~

A memrisztorról.

Ugye van a memória (RAM), aminek óriási előnye, hogy nagyon gyors. A hatalmas hiányossága, hogy az áramtalanítás során elveszíti azokat az adatokat, amiket tárol. Így aztán ha valami meg akarsz őrizni, akkor ki kell írni a háttértárolóra (meg nyilván be kell tölteni, ha újra bekapcsolod a gépet). Vannak a háttértárolók, amiknek pont az az előnye, hogy áramtalanítva is megőrzik a rajtuk tárolt adatokat, cserébe viszont nagyságrendekkel lassabbak.

A memrisztor – az ellenállás, kondenzátor, induktivitás mellett negyedikként – egy elemi passzív áramköri elem. A létezését a 70-es évek elején vetették fel elvi alapon, gyakorlatban létrehozni viszont csak 2007-ben sikerült. Ennek a jellegzetessége, hogy az ellenállása az előző állapotától függ, így kvázi háttértárolóként tud működni, de mivel elemi, passzív áramköri elem, így kis méretben megvalósítható és tud majdnem olyan gyors lenni, mint a RAM.

A memrisztor tehát egyesíteni tudná a memória és a háttértár előnyeit. Anno rá is feküdtek arra, hogy megreformálják az egész informatikát, de olyan szintű paradigmaváltás kellene ehhez – új operációs rendszerekkel, más elvek mentén működő szoftverekkel – hogy aztán nem nagyon lett belőle semmi. Az MI viszont pont ideális területe a memrisztorok használatának.

~ ~ ~

Hogy titkolózás van? Nyilván abban nem lesz titok, hogy mit tudnak, hiszen ezt a programozóknak tudnia kell, ha használni akarja. Hogy pontosan hogyan is van mindez megvalósítva, nyilván arra részben lehet következtetni, meg részben publikus is lesz, de nyilván ennek egy része titok lesz. Nem az lesz a titok, hogy mit tud, hanem hogy hogyan valósítja azt meg az adott célhardver. Pont úgy, ahogy a processzor, a videókártya, de mondjuk egy autó működésének is számos olyan része van, ami titok, nehezen visszafejthető, vagy ha mégis, akkor is időt, energiát kell rá szánni, így piaci előnyt jelent ennek a titokban tartása (legalábbis egy ideig).

Én nem tudom, mi ez a memrisztoros téma, és hogy mi az AI-beli relevanciája, de az év eleji Microsoft berkeiből érkező nagy hype-ot kapott 1.58 bit LLMs preprint alapján pont hogy az AI architektúra egyszerűsödésére tippelnék. Ez alapján gyakorlatilag a legprimitívebb adderekkel (+esetleg bitshiftekkel) kell telezsúfolni minden rendelkezésre álló négyzetnanométert a chipen, a szorzást pedig kerülni kell, mert sokkal többet visz, mint amennyit a konyhára hoz.

[link]