Kóklerisztán esete az AI-val
„Azt kell megérteni, hogy a Chat GPT végső soron egy nagy plagizátor, csak olyat vesz figyelembe, ami már van, semmi újat nem fog kitalálni. (Mérő László, 2024. december 24.)”
Ez az év kicsit a nyelvi modellek, a mesterséges intelligencia éve volt számomra. Először kezdett igazán érdekelni, először gondolkodtam felőle, először töltöttem hosszú órákat a GPT-4-gyel és először (és talán utoljára) írtam egy olyan cikket, amelynek a címében ott volt a „language models”.
Alapvetően fogalmam sincs az egészről. Ha mélyebben belelátnék a transzformerekbe, ami persze elhatározás kérdése, és írogatnék baby- nano- GPT-ket, akkor sem lennék sokkal beljebb. Én még azt sem tudom, hogy mit jelent pontosan az „érteni az AI-hoz”. Arról vannak inkább fogalmaim, hogy mit jelent nem érteni hozzá. Mérő László például ehhez sem ért (nem hazudik, ötven évvel ezelőtt foglalkozott valamivel nem túl nagy sikerrel, de mégis, amit akkor AI-nak neveztek, de az a John Haugeland által „GOFAI”-nak, Good Old Fashioned Artificial Intelligence-nek keresztelt valamicsodaizébigyó volt, aminek gyakorlatilag nulla köze van ahhoz, ami most történik). Most a transzformerek történnek, minden modell, amiről az újságok írnak, kivétel nélkül, transzformer architektúrájú nagy nyelvi modell, amelyek az „All you need is Attention” című cikkből alakultak ki.
Egyelőre nem az a kérdés, hogy lesz-e szuperhumán mesterséges intelligencia, hanem az, hogy a transzformer architektúra, a chain -of-thought buherával kombinálva (Ilya Sutskever és Yann LeCun szerint itt alapvető új gondolatokra lesz szükség, a scaling wall és a peak data valós probléma lehet) jelentősen túlszárnyalhatja-e a GPT-4-t, és eljuthatunk-e ahhoz a bizonyos második lépcsőhöz, amikor nem pár tízmilliárd dollárt költ az emberiség AI-re, hanem megindul az első „trillion dollar clusterek” építése. Az NVIDIA háromezer milliárd dolláros tőzsdei kapitalizációja azt jelenti, hogy erre vár a világ.
Az ezermilliárd dolláros cluster fogalma először egy Leopold Aschenbrenner nevű AI-val foglalkozó fiatalembernél jelent meg, és nem teljesen világos, hogy mit jelent (mármint számomra, lásd fent), de azért nagy vonalakban talán mégis. Ma a hardware alapegység az NVIDIA H100 processzor (GPU), ami 80 milliárd tranzisztort tartalmaz. Ennek az ára mondjuk 25000 dollár. Ebből az NVIDIA most kb. kétmilliót tud legyártani. Ez 50 milliárd dollárnyi H100. Egy óriási datacenter vagy szuperszámítógép, az a 20000 H100 nagyságrend és persze felfele. Elon Musk Colossus szuperszámítógépe esetében 100000 H100-ról beszélnek. Azt írják, hogy egy giga datacenter campus csúcsigénye 1 gigawatt is lehet, ami nagyjából két paksi blokk.
Van egy pont, amikor úgy nagy vonalakban, tényleg csak nagy vonalakban. 1000 milliárd dollárnyi H100-ra lenne szükség, ami 40 millió H100, amit valahol le kell gyártani, amihez építeni kell összességében olyan alapterületet elfoglaló datacentereket és szuperszámítógépeket, amelyekhez képest a BYD gigafactory, ami Magyarországon épül, egy kerti budi.
Magyarországnak ehhez a jelenséghez viszonyulnia kellene, és nem tudom hogyan. Olyan emberekre lenne szükség, akik valóban belelátnak ebbe az egészbe, például azért, mert a legjobb helyeken lettek kiképezve, részük volt ebben, belelátnak. Az AI ököszisztémát, az alkalmazásokkal együtt, a robotikától a cryptoig, legalább jó közelítéssel le kellene fedni valódi agyakkal. Nem kóklerekkel.
Magyarországon a kóklerség egy szakma lett, és mivel nem olyan nagyon nehéz kiképeznie magát valakinek erre a szakmára, és nagy a kereslet, a felhozatal is elég nagy. Erre esetleg rámehet a jövőnk. Nem fogom politikusok nevét beleírni ebbe a cikkbe, de az, hogy mennyire nem érdekli őket (hiszen a népet sem érdekli, tehát akkor a populista politikát sem) megdöbbentő. Trump dilinyós dolgokat hord össze, de ott van mellette Musk (épp most olvastam, hogy ha ezek összebalhéznak, ami esetleg hónapok kérdése, komoly hatással lehet a mesterséges intelligenciára).
Az iparkamara új elnöke finoman megpendítette, hogy a munkaerőintenzív társadalomnak vége, tudásintenzív gazdaságra és társadalomra lenne szükségünk, de, ezt már én teszem hozzá, annak költsége van, óriási elhatározás kellene hozzá, komoly döntések sorozata, és az, hogy az országot a projekt mellé állítják. Sajnos, nincs is olyan, hogy Magyarország, csak oldalak vannak, és semmi máshoz nem tudunk állni, csak oldalakhoz, hideg polgárháborúnk most langyosodik. És most nem általánosságokról van szó, hanem valami nagyon konkrétról, amihez az országunk egyáltalán nem lesz képes viszonyulni.
Most örök időkre lemaradhatunk. Ezt én két éve nem éreztem, most igen. Nem vagyok benne biztos, de ezt érzem. Valamennyit biztos, hogy lépni kellene, és még az a „valamennyi” is olyan bölcsességet, határozottságot és nemzeti összefogást igényelne, amire semmi esélyt nem látok.
<div class='sharedaddy sd-block sd-like jetpack-likes-widget-wrapper jetpack-likes-widget-unloaded' id='like-post-wrapper-192691293-16532030-69e35aeedf1fb' data-src='https://widgets.wp.com/likes/?ver=14.1#blog_id=192691293&post_id=16532030&origin=www.orulunkvincent.hu&obj_id=192691293-16532030-69e35aeedf1fb&n=1' data-name='like-post-frame-192691293-16532030-69e35aeedf1fb' data-title='Like or Reblog'><h3 class="sd-title">Like this:</h3><div class='likes-widget-placeholder post-likes-widget-placeholder' style='height: 55px;'><span class='button'><span>Like</span></span> <span class="loading">Loading...</span></div><span class='sd-text-color'></span><a class='sd-link-color'></a></div>
Az embernek azert van egy olyan erzese, hogy ez az „orokre lemaradunk” egy picit tuldimenzionalt kijelentes, leven a technologia fejlodesebol mi is reszesulni fogunk, meg ha sem alakitoi, sem elsodleges haszonelvezoi nem leszunk (felhasznaloi, azok igen). Plusz ez azt sem jelenti automatice, hogy a kovetkezo vonatra nem tudunk felugrani (leven ki tetszett felejteni, hogy elhatarozas meg odateves mellett az atallashoz ido is kell, a szaguldo AI vilagban pl hany nap, honap, ev olyan embereket kikepezni legalabb minimalis mennyisegben, akik ehhez az altalad elvart szinten ertenenek).
.
Vagy nem tudom, lehet te mas oldalrol kozelited meg, amire en nem latok ra.
@KennyOMG: az, hogy az Orbán-kormányzatot egyáltalán nem érdekli a tudásipar, de 14 éve megállás nélkül nem érdekli, és nyomatja a munkaerőintenzív gazdaságot, az bőven elég ahhoz, hogy a lemaradásunk brutális legyen. és még nem látszik, ami most látszik, az még nem az. de politikáról nem nagyon akartam írni. az, hogy kóklerisztánná váltunk… én ezen sírok. gyakorlatilag szó szerint 🙁
Valójában nem tudom milyen kontextusban mondta amit mondott, de azért érdemes körbenézni IT-s blogokon és fórumokon ahogy az it-sek szivatják a chatgpt-t mindenféle dologgal. Belerángatják a legröhejesebb körbehivatkozásokba, egymásnak ellentmondó kijelentésekbe, stb. (még a kicsi magyar gagyi hup-on is szép gyűjteménye van ezeknek). Igen, lehet, hogy matematikailag itt óriási dolog történik, lehet, hogy ez a hype lesz a végső és az igazi, de ez a majd elválik fázisban van jelenleg. És igen, az a chatgpt amivel ma az átlagember találkozik pont olyan ahogy Mérő mondja. Különösen magyarul nagyon egyszerű megszivatni, mert itt pár elszórt forrásal kapitális kreténségek szajkózására lehet rávenni.
@muaddib00: az IT-sek a gpt kommerciális változatával szórakoznak, GPTo1- professzionális változatával már kevésbe fognak szórakozni, mert az nem rosszabb, mint ők. és ez egészen biztosan fejlődni fog, egészen biztosan, a kérdés csak az, hogy mennyivel lépik túl a GPT4o-t. én azt remélem, hogy a szuperintelligencia még messze van, de erősen azt hiszem, hogy ezzel együtt is van esély a trillion dollar clusterre, arra, hogy hirtelen tízszeresére nő a kereslet a H100-ra.
@muaddib00: ez alapvetően egy autoregresszív language modelre alapul, ergo sok mindenbe bele lehet rángatni, szándékosan a megfelelő irányba promptolva. hát COT-tal már kevésbé. a GPTo3 teszt nem nézett rosszul ki, csak még mocskosul drágán csinálja. nem tudom, hogy mi van akkor, ha nincs felsőhatára a tokenköltségnek, hogy akkor pl. a Grok mire lenne képes. ők a matematikát akarják lenyomni, remélhetőleg taknyukon fognak csúszni, de megesküdni nem mernék rá.
@jotunder: Na de en pont ezt kerdezem, miert pont most maradnank le vegleg es menthetetlenul, miert az AI ugyben? Vagy ez csak veletlen egybeesese a tortenelemnek, hogy most van az AI igazzhy hajnala (ami reszvetelunk hianya miatt igazabol „igazi”), es aki kimarad az lemarad? Az orbanek tudomanyellenessege regen ismert, csak az erdekelne, hogy ez hogy kapcsolodik az AI-hoz (mar azon kivul, hogy abban is ervenyesul).
@jótündér: „Nem fogom politikusok nevét beleírni ebbe a cikkbe, de az, hogy mennyire nem érdekli őket (hiszen a népet sem érdekli, tehát akkor a populista politikát sem) megdöbbentő.”
.
Igen, így megy ez: „Amíg nem láttam tisztán azt, hogy az embereknek ez kell, vagy nem kell, addig nem mondhattam azt a miniszterelnöknek, hogy szükségem lesz 5-10 milliárd amerikai dollárra ahhoz, hogy ezt megfejlesszem, mert az felelőtlenség lett volna” – mondta csütörtökön Lázár János a vasútról a hódmezővásárhelyi Rádió7 műsorában. HVG
Nem tisztem Mérőt semmilyen irányban értékelni (kvalifikálva sem vagyok rá), de én úgy látom, abban mindenképpen érdemei vannak, hogy egy csomó emberben (bár kétségtelen, ezt csupán anekdotális módon tudom alátámasztani) a könyvei ébresztették fel a „gusztust” a matematikával való bármiféle (akár amatőr, akár professzionális) bíbelődéshez, ami szerintem egy komoly tett és talán jótettnek is tekinthető.
@jotunder: Nekem az jött le Mérőtől https://www.penzcentrum.hu/tech/20241224/mero-laszlo-olyan-evek-kovetkeznek-amikor-nem-lehetunk-biztosak-abban-sem-amit-latunk-hallunk-1160784# hogy ő nem hisz a szingularitésban – s hogy kökler-e vagy sem, azt persze nem tudom megítélni.
Viszont az alapján, amit írsz a technikai-pénzügyi feltételekről, van egy kérdésem: vannak-e magyarok ezekben a műhelyekben? Mert ahogy atombombát se tudnánk magunk gyártani, az ő segítségükkel nem-e lehetne-e esetleg-e egy olyan projektet létrehozni, hogy kitalálják, egy ilyen kis ország hogy tudna kapcsolódni a csúcshoz, vannak-e olyan niche-k, amit itthonről a magyarok is tudnának művelni? Vagy mivel olyan nagy a verseny az élen a nagyok közt, elképzelhetetlen, hogy a náluk dolgozó magyaroknak lenne lehetőségük egy ilyesmit támogatni?
Azért Musk pozitív ellenpólusként emlegetve a kóklerséggel, az azért talán erős. Iszonytatóan sok pénze van (ez önmagában a jelenkori kapitalizmus drámai kritikája),, de ettől még mértékadó elemzések szerint nem csupán mások ötleteibe magát bevásárló kókler, hanem kifejezetetten az adófizetők pénzét nagyban megcsapoló képmutató.
DE a poszt lényegéhez: ha az Ai kapitalizációt nézzük, akkor a világ országainak döntő többsége örökre lemarad, nyilván nem lehet ennyi pénz sehol sem csatlakozásra (és akkor még nem nem beszéltünk a tulpenmanie nem eloszlott aggodalmáról). Ha Mo annyit tud, hogy kellő minőségű matematikai/informatika/filozófiai képzést ad kellő mennyiségű fiatalnak és egy-két kisebb ponton szellemi vagy technológiai beszállítója lehet a nagyoknak, akkor már nem vagyunk hátrébb, mint voltunk az ipari forradalom, a rockkorszak vagy a digitalizáció idején és különösen nem, ha a reális európai térképet nézzük. Hogy a jelenlegi antiintellektuális rezsim képes lesz-e ennek a támogatására némi szingapurializálódással, azt én is kételkedve nézem (a káundká schlamperáj okán, amúgy), de ezen egy kormányváltás/átigazodás már rövid távon tud segíteni, úgyhogy az örökrelemaradás sorsszerűségének legfeljebb herderi vízióban van értelmezhetősége (ettől még lehet így, de az nem örökre lesz, hanem folyamatosan, lásd argentín alászállás)
@fortin2: pár hete megalapították a Neumann János adattudományi intézetet, ami mögött az ország történetének legnagyobb kutatási projektje van, CMF+SOTE, Krausz/Merkely. most hagyjuk ki ebből a politikát egy pillanatra, akkor is ha nem könnyű. 2030-ig 75 milliárd forintot kapott a CMF projekt (előtte már 20 milliárdot kaptak, ami azt hiszem a lézerlaborhoz való hozzáférést finanszírozta, ez meg főleg a SOTE-n a mintavételt, az elemzést, elképesztő nagyságrendben). az adattudomány, machine learning vonal egy teljesen legitim lehetőség, éppen ez volt az egyik centrális eleme a Fudan Projektnek, Palkovics pet-projektjének. Hát az meg nincs. Az a baj, hogy tényleg szükség lenne X (és fogalmam sincs X értékéről) elég komoly emberre. Én azt látom, hogy mindenütt megjelennek a kóklerek (most Mérő Lászlót hagyjuk, ő nyilván teljesen ártalmatlan, amint vidéki kultúrházakban roadshow-zik), jogi képviselőnk még kommenteléskor is résen van, és nincs a kormányzat mögött egy ember, aki ezt napirenden tudná tartani. Palkovics egy utálatos figura, tényleg az, de ő mondjuk megpróbálta.
@fortin2: ami a filozófiát illeti… nem tudom mennyi időt töltöttem tavaly ősz óta a filozófia és az AI-hoz erősen kötődő dolgok kapcsolatával, valamennyit, amennyi belefért a matematika mellett. ez a terület egy éve kezdett el fejlődni. nekem az az érzésem, hogy a magyar filozófiát ez nem érdekli. lehet, hogy tévedek. én azért azt sejtem, hogy ebben a pillanatban, magyarországon egyetemen és intézeti szinten jelentős lehet az elmaradás a nyugattól, de akár csehországtól és lengyelországtól is mérhető lehet az különbség. ez viszont tényleg nem az én problémám, és nem is látom át annyira.
@jotunder:](#comment-340389: Palkovics, Krausz, Gulyás Balázs abszolút a csúcselit tudományos-technológiai helyeken dolgoztak, komoly pozíciókban, az sztem nemkérdés, hogy pontosna tudják, merre van az arra és egészen biztos vagyok benne, hogy igen komoly teljesítményt akarnak kihozni a maguk területén. Az más kérdés, hgy ennek a megoldására a magyar viszonyok között akár szívből akár nem, de ezzel a sudribunkó (és ha a jogi képv szt a komment elbírja, akkor: muszkavezető) rezsimmel alkudtak meg. Aminek része, hogy az ő projektjeiknek merőben kétségesnek látszik a hatása a magyar akadémiai szféra egészére. Hogy ezt az egészet ov a nemzetközi tekintély/legitimáció erősítése vagy versenyképességi belátásból támogatja, mindegy is, de végülis ilyesmi a szigapurizáció manapság. A végrehajtáshoz viszont fegyelmezett és alázatos vagy legalábbis alázatban tartott (és nem zsebre játszó) közeg kell, na, az nem tűnik lenni.
@jotunder:: sajnops, azt nem tudom felméri, hogy a matematikia logikusok és eze riányhoz kapcsolódó nyelvészek foglalkoznak-e ezzel, őket már nem tudtam követni, de lehet. Viszont a „hagyományos” filozófusok között az elmefilozófia eléggé dívik és az azért elég közel jár az Ai problémákhoz. A cseheket és lengyeleket persze nem ismerjük eléggé, ahhoz hagyományosan túl pökhendiek vagyunk, a korábbi ismeretek alapján a lengyeleknél esélyes lehet ez az irány – viszontmost volt egy aggasztó élményem, egy lengyel informatikus nagyon nagyágyúval beszélgettem (onnan tudni, hogy az, hogy Horizont grantek sorát nyerte) egy AI előadása után, jeleztem neki néhány filozófiai össezfüggést,ami láthatóan újdonságkétn ahtott rá – no, mivel én nyilván igen nagymérétkű kókler vagyok ebben, ez aggasztó…
@fortin2: nyilván csak a töredékébe olvastam bele a modern elmefilozófiai irodalomba (dennett, chalmers, fodor, dretske, crane, elég sok clark, kevés putnam és searle és haugeland) de konkrét dolgokra vadásztam, nagyon konkrét dolgokra. mindenféle alapok nélkül persze. de nagyon pontosan tudtam, hogy mit keresek. az AI szempontjából ez inkább valamiféle tévút,. vagy, ha akarod az AI tévút az ő szempontjukból. nem tudnak igazán mást elképzelni, mint a reprezentációt, az egész modern elmefilozófia eltekintve egy nagyon vékony sávtól, reprezentacionalista, az antireprezentacionalisták pedig olyanokra hivatkoznak, mint heidegger vagy merleau-ponty, ami erős lesz az AI- embereknek. szerintem a modern AI az a modern elmefilozófia antitézise.
@jotunder:](#comment-340393: „a modern AI az a modern elmefilozófia antitézise.” Fichtevel szólva, annál rosszabb a modern AI-nak…
Én nem ismerem eléggé az elmefilozófiát, inkább részben a teológiai, részben a reaizmust érintp (antikonstruktivizmus) vonatkozásai érdekelnek. Az viszont látszik, hogy pl. Rorty mint antireprezentacionalista (ami azért nem olyan vékony sáv) bejönne Az AIosoknak és jól is olvasható. De nem vagyok benne biztos, hogy az Ai-nak mindenképpen erre lenne szüksége.Akár a test/lélek ügy, akár a szabad ajarat legalább ilyenb kényegesnek tűnik.
De hát a fene tudja, nagyo közel van még ez az egész informatikai rész, amíg kiforrja magát, elég hasznos lehet a régi meccseket elintézni elmefilogiábasn 8ha leeht egyáltalán)
Az a fura Mérő László mondatában, hogy őneki matematikus diplomája van, tudja, hogyan épül fel az axiómarendszerből és a következtetési szabályokból a matek, szóval tudja, hogy definíció szerint nem több a meglévő matek, mint ami már le volt írva az axiómákban, csak kicsit jobban kifejtette azt az emberiség az elmúlt párezer évben. (OK, minimálisan több, mert ugye vannak az axiómarendszertől független állítások, amikről már tudjuk is, hogy függetlenek, de ez talán mindegy.) Hogy két év múlva adjon a Riemann sejtésre egy bizonyítást a ChatGPT, azt semmilyen konkrét vagy intuitív tudásunk a matekról nem zárja ki. És ez lehet, hogy nem fogja azt jelenti, hogy tényleg univerzális mesterséges intelligenciát csináltunk, de azért a „semmi újat nem fog kitalálni” mondatot elég erősen megcáfolná.
@fortin2: https://qubit.hu/2024/12/26/paul-feyerabend-a-tudomany-legadazabb-ellensege? ez a cikk tetszett. megnéztem ki a a szerző. egyszer készítettem magamnak egy listát a magyar filozófiáról, csak viccből, és az illető eléggé az élen volt. érti a fene, hogy működik ez.
@Mister Gumpy: ML nagyon nem buta, sőt alapvetően egy okos fickó, de valamit feladott ötvenpár éve.
odaadtam a subscription GPT-4o-nak az elsőéves valós analízis (sorok konvergenciája) kurzusom feladatgyűjteményének első tíz példáját. tökéletes, hiba nélküli latex filet csinált, azonnal PDF-re lehetett fordítani, de 4 feladatra (a nem igazán könnyűekre) rossz megoldást adott. Azért o1-nek odaadtam az egyiket és tökéletes megoldást adott.
@jotunder:: okos fiú és jó érzékkel ásta bele magát a tudfil érzékeny kérdéseibe, nem igazodik, ami jó, örülök hogy… de ez dicsekvés volna, inkább csak magamnak mondom el 🙂