A matematika esete az AI-val és az Orbán-kormánnyal
….világhírű matematikusaink vannak, a mesterséges intelligencia kutatása terén mégis másutt születnek az áttörések. (A kutatóhálózat vezetőjének indexes interjújából )
Ma nyújtotta be az Orbán-kormány a magyar kutatási hálózat átalakításáról szóló törvényjavaslatot. Pár éve még arról volt szó, hogy felszámolják a kutatóintézetekben az alapkutatást („Nem véletlen, hogy az MTA-ban mindig csábulnak az alapkutatás irányába. (Parragh) ” „“Bár többen kétlik, hogy szükséges önálló matematikai intézet (Palkovics) ”)
Én most kizárólag a mesterséges intelligencia, a matematika és a kormányzat kapcsolatáról szeretnék írni, a poszt nem vicces, és aránylag kevés valóságos politikai tartalom lesz benne, anyázás meg szinte egyáltalán nem.
Magyarországnak van egy ún. Mesterséges Intelligencia Stratégiája, ami egy 31 oldalas dokumentum. Ebből a mai napig hiányzik a nyelvi modell kifejezés. Az AI forradalom mögött olyan 99.5-100 százalékban a nagy nyelvi modellek, leginkább a különböző transzformerarchitektúrák állnak.
A transzformer kifejezés Jakob Uszkoreittől származik, akinek tetszett a szó hangzása. Az eredeti ötlet, az attention mechanizmus Dzmitry Bachdanau, Kyunghyun Cho, Yoshua Bengio egy cikkében jelent meg, ez az egyik legidézettebb cikk a területen 36672 Scholar Google hivatkozás ebben a pillanatban. Bachdanau nem matematikus, machine learninget tanult Montrealban Bengionál, aki ennek az egész AI-s muskulanciának az egyik Alapító Atyja, Hintonnal és LeCunnel együtt. Akik szintén nem matematikusok, a Nobel-díjas Hinton kognitív tudományokkal foglalkozott (eredetileg pszichológiával), LeCunn számítástudományból doktorált (legyen számítástudomány, én a számítógéptudományt preferálnám).
Amit ma AI-forradalomnak neveznek az a híres Attention is All You Need cikk. Ennek van pillanatnyilag 141875 SG hivatkozása, és ez egy 2017-es cikk. Az első szerző az Indiában született Ashish Vaswani, aki akkor a Google Brainnél volt, . A cikk 11 oldal és gyakorlatilag alig van benne matematika, igen, van az a három mátrix a Q, a K és a V, valamennyi logaritmus és skalárszorzat. Azt persze minden mérnök tudja, a lényeg azonban az architektúra és az, hogy azt ki tudták próbálni, mármint a cikkben megjelenő nagy nyelvi modellt, a Transzformert.
Érdemes megnézni a többi szerzőt is, mert ez az ÁTTÖRÉS, amit nem a Reáltanoda utcában értek el. És még sok más utca van a világon, ahol NEM ÉRTÉK EL. A szerzők affiliációja általában a Google Brain.
Van még egy indiai születésű a szerzők közül, egy hölgy, Niki Parmar. Noam Shazeer családja a Szovjetunióból menekült Amerikába (oda meg, ha jól értem a nácik elől). Jakob Uszkoreit édesapja Hans Uszkoreit disszidált az NDK-ból. Illlia Polosukhin Ukrajnában született, Llion Jones Wales-ben, Aidan Gomez Kanadában és az eredetileg matematikát végzett Lukasz Kaiser Lengyelországban. Ő is főleg machine learninggel foglalkozott, de volt pár cikke automatikus struktúrákról, ami a halmazelmélet és a kombinatorika határterülete, nem igazán van köze a machine learninghez, de nagyon szép.
Valóban nincs magyar matematikus az ÁTTÖRÉS szerzői között, de matematika sem igazán. Nagyon, nagyon érdekes, de ez a számítástudomány gyakorlati részéhez tartozik. És egy olyan cégnél csinálták (és ugye nem ott fejlesztették ki a legmenőbb transzformert a GPT-t), amely a világ egyik legnagyobbika, akik le tudták igazolni Hintont, Sutskevert (ő orosz születésű), a fenti Bengio szintén meglehetősen erős testvérét és persze ezeket a fiatalokat, akik összerakták a transzformert. Hány külföldi sztárt tud a kormányzat leszerződtetni? A Fudant Budapestről is lemondtak (ahol külföldi sztárok Magyarországra csábításáról lett volna szó).
Magyarországon nincs olyan környezet, ahol áttörés születhetne az AI-ban, eredmény talán igen, őrült munkával, áttörés nem. Amikor Elon Musk áttörést akart elérni (ez valamikor nyáron volt) a transzformerek terén, akkor megépíttette a Colossust, a világ legnagyobb szuperszámítógépét, ami nagyjából ezerszer lehet gyorsabb, mint a leggyorsabb magyar szuperszámítógép (de ez változni fog, mert egyre gyorsabb a Colossus). Ebben a gépben, ha jól tudom 100000 darab Nvidia H100 GPU van és abból egy nagyjából annyiba kerül, mint egy BME-s adjunktus kétévi bruttója, és ugye tudjuk, hogy kormányzatilag már az is problematikus összeg.
Az elmúlt évben, hobbyszinten foglalkoztam nyelvi modellekkel, amelyeket végtelenül izgalmasnak tartok, nagyon érdekes, de nem primér módon matematika, legalábbis nem a valóságos alkalmazás szintjén. Azt nem állítom, hogy semmit sem lehetne csinálni velük, de az sem úgy megy, hogy az Orbán-kormány kinyilatkoztat. A valódi konzervatív Rishi Sunak kormánya több mint húsz AI centrumot hozott létre az Egyesült Királyságban, és többszáz, talán több, Ph.D-t akarnak kiképezni hét-nyolc év alatt. Volt valamiféle elképzelés a STEM brutális fejlesztéséről az elmúlt tíz évben Magyarországon, lemaradtam valamiről? A miniszterelnök azt mondta, hogy piszkos, olajos kezekre van szüksége a magyar gazdaságnak, soha nem beszélt matematikusokról, machine learningről, számítástudományról, amiről Szingapúrban szoktak beszélni a miniszterelnökök. Itt egyébként van egy erős szingapúrizációs törekvés, és mivel Magyarország is egy 700 négyzetkilométeres városállam félbillió dolláros GDP-vel ez elég sanszosnak is tűnik. Amiről persze eszembe jut az egykori szingapúri miniszterelnök, aki azzal vágott fel, hogy írt egy Sudoku megoldó programot, véletlenül sem azzal, hogy megtöltött félmázsa mangalicakolbácszt.
A Vincent egyik főtémája a Magyar Gloire, a Make Hungary Great Again, ami az én álmom …. nem Orbán Viktoré. Azt a gloire-t már nagyon régen el kellett volna kezdeni építeni, a zseniális fiatal magyarok agyára építve, de itt Orbán Balázs konnektivitása volt annyira fontos.
Amikor az egyik matyi megvádolt minket, hogy mi akadályozzunk a végtelen középszerűségünkkel a magyar gazdaság szárnyalását (ezek annyira tehetségesek, hogy ilyeneket ki tudnak magukból préselni), eszembe jutott pár érdekes jelzős szerkezet, és amúgy sok minden másról is eszembe jut, de minek. Az Orbán-kormány és főleg a névadója, elhiszik, hogy ők pont elég tehetségesek, képzettek és okosak, hogy itt Szingapúr legyen (a szingapúriak híresek arról, hogy teleépítik akkumulátorgyárakkal a kis országukat, miről másról lennének híresek). Orbán el is mondta, hogy nem szereti a szobatudósokat. Mi pedig nagyon gyakran szobában dolgozunk, néha léghajóban, néha a sztyeppén, de főleg szobában.
Ebből semmi jó nem fog kisülni. A jóhoz munka kell, tehetség, végtelen kiképzettség és elszántság. Arról pedig itt nincs szó. Ez egy káosz, aminek persze szép elmélete van, főleg amikor megtalálják benne a rendet. Ebben a káoszban azonban nincs semmiféle rend.
<div class='sharedaddy sd-block sd-like jetpack-likes-widget-wrapper jetpack-likes-widget-unloaded' id='like-post-wrapper-192691293-16531877-6751065963db7' data-src='https://widgets.wp.com/likes/#blog_id=192691293&post_id=16531877&origin=www.orulunkvincent.hu&obj_id=192691293-16531877-6751065963db7' data-name='like-post-frame-192691293-16531877-6751065963db7'><h3 class="sd-title">Like this:</h3><div class='likes-widget-placeholder post-likes-widget-placeholder' style='height: 55px;'><span class='button'><span>Like</span></span> <span class="loading">Loading...</span></div><span class='sd-text-color'></span><a class='sd-link-color'></a></div>
Mindehhez elsősorban az egy választási cikluson túlnyúló perspektívára lenne szükség. A puhosnak 2010-ben, amikor ugye mondva volt, hogy egyszer kell nyerni de akkor nagyon, mert hogy akkor húsz évre mienk a világ, na akkor kellett volna neki azon agyalni, hogy a huszas évek végén milyen eredményekkel akar további húsz évre bizalmat kapni a szavazóktól.
Akkor azzal volt elfoglalva, hogy honnan mennyit tud lopni és hogy mivel lesz ennek dacára 2014-ben is kétharmada. Azóta is mindig a pillanatnak él, hogyan nyeri meg ezt a percet, ezt a napot, ezt az évet.
Jó matematikust, AI áttörést nem lehet egy ciklus alatt előállítani. Akkor meg kár is hozzákezdeni.
Közmondásokban legalább jók vagyunk. Pl. „Zavarosban könnyű halászni.” (Lásd: A káoszelmélet és a magyar közmondások. Akadémiai doktori értekezés, 2035) Merthogy lopni akarnak, a többi csak szokásos összevissza beszéd. Ahonnan meg már lopni sem lehet, az megszüntetendő intézmény. A mesterséges intelligencia annyira érdekli a kicsit, mint az okostelefon. De ha mondjuk szíjártov importálhatja a szuperszámítógépet jó olcsón, akkor érdemes beszélni a dologról…
Tud egy nyelvi modell disznót perzselni kamerák előtt? Nem. Akkor hatalmi szempontból abszolút érdektelen.
Köszönöm a jó AI összefoglalót. Mint totális laikusnak nagyon hasznos.
Orbánéknak kellett egy „szakpolitikai cikk”, és 2026-ig még pár. Ennyi lehet a nagy stratégia.
.
@nyulambator: Azért nem mondanám, hogy nem volt 20 éves tervük. Fel akartak jutni a foci élvonalába.
A másik tervük az ország vallásosítása volt. Egyházi állam.
Egyetemek és gimnáziumok bezárása, idegennyelvoktatás beszántása.
Harmadik nagy programjuk volt a határontúliakkal pótolni a határon belül ilyen módon kiirtandó értelmiséget. A hála itt politikai kategória.
Voltak azért tervek. Ciklusokon átívelő nagyívű gondolkodás.
Ezt a – ciklust – nem is tudom, ki tartja még számon. Már dinasztiákról beszélhetünk inkább.
@annokkk: ez pont az a radikális hőbörgés, amit nem szeretnék látni a poszt alatt, de mit tehetek.
Gondolom, az – áttörés – Orbánéknak pont nem jelent többet, mint egy parasztvakító szó a kampányukhoz.
A – nyelvi modell – nem lett volna népszerű. Egyrészt sikamlós, másrészt egy hiányos öltözetű női személyre asszociálnak tőle, ami ugye választások idején nem nyerő.
A poszttal nem kerültem sokkal közelebb a témához, de gondolom, a megfelelő ember kezében kapaszkodó lesz az a néhány név és cím.
Hogy Elon Musk mit művel, arról többet is olvasnék, mert az már politika. Sőt. Már világpolitika. Ahogy kikacagja Ukrajnát, mint önálló államot, az már hatalmi tényező. És ahogy elfoglalta amerikát, azt tanítani kéne. Egy bukott pretóriai rezsim áttelepedése egy demokratikus államra, mint egy marsi kolónia telepítése. Remélem, hogy kurva rosszul látok.
Sajnálom, ha túl radikális vagyok. Az időjárás elég esős ma.
@annokkk: semmi nem mutat arra, hogy Elon Musknak bármi köze lehetett volna az apartheidhez. 17 éves korában ment el Kanadába a katonai szolgálat elől. hagyjuk már ezeket a hülyeségeket. Musknak meglehetősen liberális nézetei voltak és a Covid után kezdett elmenni a jobboldal irányába. nekem nem tetszik, ahogy viselkedik, de apartheid… basszus.
Több dél-afrikairól is szó volt, akik Trump kampányával bejutottak a fehér házba.
Aztán Trumpnak nélküle is elég hófehérke volt a kabinetje.
Igaz, ami igaz.
https://edition.cnn.com/2024/11/13/politics/trump-cabinet-picks-administration-dg/index.html
Eddig 29 pozícióra mondott nevet. Ebből 5 nő és egy aki nem fehérebb, mint Trump floridai napbarnítottsága.
Ehhez képest a Biden kabinet
@poszt: van egy dolog, amit nem értek sem a posztban, sem a nagyokos mandinermatyik hőbörgésében: miért baj, hogy a kutatások (és a kutatók) nagy része – definíció szerint – középszerű?
A posztban említett területen van és volt szerencsém dolgozni, világ egyik legjobb egyetemén, viszonylag tehetséges emberekkel. Írtam Attention Is All You Needet? Nem. Középszerű kutató vagy mérnök vagyok? Nyilván. Mint még sokan mások. És?
A kormány feladata NEM az egetrengetően jó kutatók támogatása – előre látni azt, hogy mi lesz egetrengető, szinte lehetetlen. (kis anekdota vájtülűeknek: a ‘22-es NeurIPSen az OpenAI privát partiján bemutatták a ChatGPT-t – fogalmuk sem volt, hogy ez mire lesz jó, csak röhögcséltek, hogy jé, csináltunk egy wrappert).
A kormány feladata sok érdekes és sokszínű kutatás támogatása, kiszűrve a pár ritka kóklert (akik most cikkeket írnak a kommektivitásról ugye) , és hagyva minél szabadabban dolgozni a középszerű kutatókat, akik között lesz pár kiváló is, kis szerencsével.
Nem tudom, hogy miért kell mellre szívni a középszerű jelzőt kutatóként vagy mérnökként. A napi munkámban, kutatásomban nem gondolom, hogy csak “óriások vállán” állnék. Rengeteg középszerű, de lelkes tudós/mérnök jutott pici részeredményekre, írt drivereket a linux kernelhez, tett nyilvánossá pretrained vision modelt, írt egy jó stackoverflow választ (amit a GPT megevett ugye)… őszintén, engem büszkeséggel töltene el, ha közéjük tartozhatnék, a negyedik ipari forradalom napszámosai közé. Ha már Attention Is All You Needet nem írtam.
@mr_caiman: A középszerűség nem egy igazán jól definiált fogalom. Finoman szólva. A köznapi használatban inkább azt jelenti, hogy elég messze van valaki az igazán jótól, miközben van olyan jelentése is, hogy az igazán nagyon jók egy része is középszerű. A posztban egyszer szerepel a kifejezés, némileg szarkasztikus formában. A matyikat azért fizetik, hogy dehonesztáló megjegyzéseket tegyenek azokra, akiket a rezsim éppen ki akar nyírni, ez lehet a megoldás.
@mr_caiman: „A kormány feladata sok érdekes és sokszínű kutatás támogatása” – Ez nagyon jo, de ki kellene egesziteni ugy, hogy kutatas ES oktatas tamogatasa.
.
Csak a vicc kedveert, nehany kanyargos cegalapito (vegzettseg -> ceg profilja):
Politologus -> kuponok (kedvezmenyek)
Kozgazdasz -> Ingatlan
Tortenesz -> Bank
Matematikus/programozo (kulon mindketto) -> Ceges konyveles
Fizikus -> E-cigi
.
Az elso kiveteleve mind fiatalabb, mint 5 ev, es mindegyik tobbet er jelenleg, mint egy Csanyi – igaz az elso nem is fair, mert a Coupang mar 3 eve tozsdere ment, azota 30 Csanyit korul jarnak (ugy 27 Lorinc korul lehet, ugyanabban az evben alapitva, amikor a nemzeth gazhszerelohjenek a csillaga is felragyogott).
.
Mindegy, csak annyit akartam mondani, hogy szerintem talan meg a kutatasnal is fontosabb lenne az oktatas, minel nagyobb korben, mert soha nem lehet tudni, kibol esik ki a kovetkezo milliard dollaros otlet – palyaelhagyassal es/vagy radikalis fordulattal egyutt akar. A tobbiekbol meg lesz jo munkasember.
@KennyOMG: van egy ökoszisztéma, amit fenn kell tartani, ahol tehetséges fiatalokból vezető tudományos kutató lehet. a spin-off kultúra nem túl erős Magyarországon, de bizonyos területeken miért ne. csak itt egy árva szó nincs erről, ez brutális einstand, ahogy az egykori szkinhed, Békés Márton szereti mondani, térfoglalás.
@KennyOMG: megnéztem a Coupangot. ez a Bom Kim egy Elon Musk, Sam Altman-szerű tehetség lehet, nyilván borzasztóan okos, de őrült gyakorlati és üzleti érzéke is van, talán nem egy tudósalkat, és ez így van rendjén. Magyarországon a verseny hiányának az a következménye, hogy ilyen emberek nem nagyon termelődnek ki, nekünk Mészáros kell, ha már Mohács nincs a polcon.
az, hogy megjelenik egy őrült nagy tehetség, és rájön, hogy ő inkább milliárdos lesz, az egyáltalán nem gáz, és rohadtul nem veszteség, hogy elkezdték kiképezni tudóskának. ilyen van. de olyan is van, hogy valaki baromi sikeres, lesz de tényleg, óriási eredmények, díjak, európa egyik legjobb egyetemén fiatalon professzor, aztán azt mondta, hogy OK, most valami más érdekli, és otthagyja a matematikát, legalábbis a klasszikus egyetemi szinten. na erről mind nem szól ez az átalakítás, és, hogy őszinte legyek a „térfoglaláson” kívül nem tudom, hogy szól-e bármiről 🙁
@jotunder: En csak es kizarolag Kajman Ur kommentjebol indultam elfele, hogy nem eleg az akademiai szabadsag, mar az oktatasnal el kellene kezdodnie valaminek. Ahhoz, hogy az ilyen kiugro tehetsegeknek egyaltalan legyen lehetosege barmire is (minimalice a sajat tehetseguket felismerni!), muszaj nyomni az oktatast is, es tokmindegy, hanyan lesznek palyaelhagyok meg hanyan nem szakmaban helyezkednek el meg mittodmen, szerintem legalabb 50% az, hogy ezeket az emebereket itthon is megtalaljak.
.
Jo, megyek, kiveszem a kezem a bilibol.
@jotunder: : „térfoglalás.” Ha jól rémlik, volt valami „Lebensraum”, vagy mifene, nemde? :-/. De én kérek elnézést az ilyen hülye asszociációkért ;-).
Kvázi a jegyzőkönyv kedvéért fontosnak érzek egy megjegyzést, és mivel nem tudom, eldönteni, hová való, az éppen legfelül lévő topikhoz kerül.
Ha Putyin nukleáris fegyvert vet be Ukrajna ellen, az kizárólag azért fog megtörténni, mert úgy gondolja, hogy büntetlenül megteheti. Ergo a nukleáris eszkalálódás elkerülésének leghatékonyabb eszköze az elrettentés lehetne, tehát az, ha Putyin tudná, hogy nem használhat nukleáris fegyvert büntetlenül. Ehhez a Nyugat egységes fellépésére, a nukleáris válaszcsapás elkerülhetetlenségének deklarálására lenne szükség. Annak, hogy a Nyugat nem egységes, mindenekelőtt a NATO-n és az EU-n belüli ruszkibérenc ügynökök aknamunkája felelős. Ha Putyin nukleáris fegyverhez nyúl, azért elévülhetetlen felelősség terheli majd a csúti férget és a népet, amely tűrte és mindmáig tűri, hogy Magyarországot Putyin ügynöke kormányozza.
Ez a valóság. Minden más mellébeszélés.
@azuccahirmondoja:
///OFF
Ez nagyon OFF itt és mellékesen erősen téves. Aki minimálisan is képben van a nukleáris erőkkel és a rájuk vonatkozó irányelvekkel az pontosan tudja, hogy ennek a szerencsétlen hülye zsebdiktátor Viktornak kereken nulla köze van az egészhez. A NATO rendelkezik a nukleáris erők bevetésének szabályairól már jó régóta, ami értelemszerűen semmiben nem változott mostanában. Az egyes atomhatalmak egyesével is rendelkeznek ilyen irányelvvel amihez szintén nulla köze van Viktornak. Az EU értelemszerűen semmiféle ilyennel nem rendelkezik ugyanis az EU nem atomhatalom, még csak nem is katonai tömb. Macron szeretne bizonyos partnerekkel közös nukleáris védelmi ernyőt, tehát francia atomfegyvert raknának bizonyos országokba, de a francia atomarzenál kicsi ahhoz, hogy megfelelő elrettentésül szolgáljon. A britek jelenleg nem is EU tagok, de ők is nyitottak lennének erre a franciákkal, ez már jobban hangzana. Ezekhez szintén nulla köze van a mi kiskakasunknak. Ráadásul a nukleáris fegyvereket célba juttatni képes gépeknek is híján van Európa hála a francia, német, spanyol folyamatos veszekedésnek ami sikerrel torpedóz meg folyton fontos katonai projekteket (például sikerült szétverni a pongyolán hatodik generációsnak hívott gép fejlesztését is). Jelenleg a Rafaele változatai képesek erre a franciáknál (a Mirage 2000N-t talán hagyjuk is így 2024-re). Ehhez szintén semmi köze egy ilyen jelentéktelen senkinek mint Viktor.
Szóval igen hízelgő lehet I. vityának, hogy itt egyesek olyan ge.i fontos embernek haluzzák aki képes a nuclear deterrence policy befolyásolására, de szerencsére ez távolról sincs így.
///ON
Hogy miről szól ez az átalakítás, az elég titokzatos. Mert adott egy kutatóhálózat, amit az akadémia hozott létre, de elszakították a tudományos akadémiától a felcsútiak.
Már ez is egy eléggé rombolás fílinges ügy volt, mert értéket ezzel nemigen teremtettek.
Aztán előállnak egy ilyen disszidens pappal, aki orvos is, hogy rossz a hálózati struktúrája, mert kell egy közös – jogi személy -.
De mire is kell az a – jogi személy – , hogy tárgyaljon a felcsútival. Mert az ám a jó tárgyalási pozíció, hogy a felcsúti kinevez egy papot az élére, és majd ők kettecskén megbeszélik a bérezést.
Hát ez olyan indexolvasóknak való duruzsolás.
Hogy térfoglalást miért is akarnak itt, ahol befordult kutatók semmi politikai értékkel monománoznak ?
Hát mert kellenek a találmányok az eladási láncokba.
Épp a minap hallgattam végig ezt az – eladási lánc – zsolozsmát a Féltudású magyar elit – fickótól, az Orbán Krisztiántól.
Az a fontos, hogy abban benne legyünk. Az eladási láncban.
Ha a paporvos fogja – egyetlen jogi személy – ként képviselni a kutatókat, akkor azok feltalálják a hajnövesztőt, amit eladnak az eladási lácban.
Ilyen egyszerű gondolat már volt a felcsúti kormány részéről, amikor a féktudós elvtárs azt találta kigondolni, hogy a képzést behelyezi a Mercedes gyár kötelékébe, és akkor az iskolapadból egyből kis mercedes gyárimunkások fognak kiesegetni.
Nem biztos, hogy ez mind térfoglalás, vagy parasztvakítás. Valami felcsúti gondolkodáshoz jól kapcsolódó rábeszélő tehetséget is vélek felfedezni ebben az ismétlődésben. Itt valakik addig duruzsolnak a – kapcsolódás – gondolatra fogékony felcsúti fülbe, míg százmilliárdos álláshoz jutnak. Csak ennyi. Egyfajta tehetség. Ha valaki akar valamit kipréselni Orbánból, ki ne hagyja az – eladási láncot -, vagy a kapcsolódások rendszerét a szövegéből.
Jó, ezzel itt nem azt akartam mondani, hogy vége is a történetnek. Az eladási lánc dolog nyilván további tulajdonváltásokat vetít előre. A kutatóhálózat a Mészáros és társa, egyházak, vagy egyéb nemzeti multi kötelékébe fog kerülni, hogy ezzel támogassa a szétcsúszó vasúti töltéseket és leomló betongrádicsokat. A nemzetmultik felvirágoztatására. Te ekével, te kalapáccsal, tollal….
@jotunder: igazad lehet. Mindenesetre az, hogy a “középszerű” a matyiék fele dehonesztáló, csak azt mutatja, hogy közük sincs a szakmához. Zsö szi középszer (és akkor Ti mik lehettek, Matyik?;))
@mr_caiman:
Az azért nem mindegy, hogy a tudományos világszínvonalhoz mérten középszerű valaki, vagy a magyar kisvárosi gimik középmezőnyéhez mérten.
@KennyOMG: elitfelsőoktatás nélkül nem lehet elittudományt csinálni.
@jotunder:
Azért arra a Google Brain ökoszisztémára is kiváncsi lennék, ami ilyen különféle embereket képes összehozni úgy, hogy az eredmény egy, vagy több áttörés.
Magyarra még le se fordították a Google Brain szócikket. Lehet, hogy magyarok nincsenek is köztük ?
Leginkább a Szilíciumvölgy sorozatból alkotok fogalmat arról, mi mehet a Google fejlesztői csoportban. De ott nemigen esett szó elitképzésről. A fejlesztők azért fejlesztenek, amiért a hegymászók hegyet másznak, mert meg tudják csinálni… ahogy mondani szokás. Ha bekerülnek a csapatba, akkor dolgoznak. Ha nem kerülnek be, … Az orosz fejlesztők látjuk, min dolgoznak. Vagy inkább nem látjuk.
Azért szerintem az is fontos, hogy egy ilyen tehetséggondozó ökoszisztéma milyen céllal jön létre.
@annokkk: ez egy kutatóintézet volt (van, csak mostmár Google AI) és együttműködött amerikai felsőoktatási intézményekkel. volt nagyon-nagyon híres magyar kutatójuk. többilyen intézet van a világon, de van, amihez tényleg nagyon sok pénz kell.
@jotunder:
Nekem az elittudomány eleve úgy hangzik, mintha a gyümölcsfának csak azt az ágát szeretnéd, amin finom, édes gyümölcs terem, és a gyökere meg legyen a szomszéd kertjében. Amerika is sokszor csak a napfényt adja meg, de a termőtalajt nem (agyelszívás), MO meg még azt sem. Ha valamiben van elitkutatás, akkor az néhány ember fanatizmusán és maradásán múlik. Látható, hogy kell oktatás, hogy valahonnan kinőhessen az a tudomány, és kellenek maradó emberek, amihez fizetés kell. Ugyanazt másolni nincs értelme, gazdagabb és nagyobb országok tudnak magasabb fizetést és pezsgőbb egyetemi életet biztosítani, valami mást kellene adni, pl. állandó állást hamarabb, mint nyugaton. Persze, akkor is elmehet valaki később, ha már menő, de legalább addig marad, és állandó állásban bele mer vágni olyan dolgokba, amibe anélkül nem.
A Bell Labs sikerének titkát John Pierce 4 pontban foglalta össze, és bizony azok éppen az ellenkezőjét mondják, mint amit a Kutatóhálózattal csinálni akarnak:
1. Szakmailag kompetens menedzsment mindenhol, egészen a csúcspozícióig.
2. Finanszírozás pályázat nélkül.
3. Egy téma kutatása évekig tarthat, és ez alatt a támogatás nem szűnik meg.
4. Egy téma kutatása abbahagyható anélkül, hogy ennek a kutató számára következményei legyenek.
[forrás: J. Gertner, The idea factory (Penguin, 2012)]
Azt nem hiszem, hogy magyar méretekben és finanszírozással ez garantálna áttöréseket, de a mérethez és az ország pénzügyi erejéhez képesti tisztességes működést igen.
@szazharminchet:
Ez a szisztéma magyarra átültetve olyan lenne, amiben a felső középosztály helyezné el a fölös számú gyerekeit.
Biztos, hogy valamelyik pontot lefelejtetted, ami kizárja, hogy gyermekmegőrző, vagy nappali foglalkoztató váljék belőle.
@jotunder: Ezek az „egyuttmukodesek” egyebkent eleg meredek format is tudnak hozni, pl amikor a nagyonvideki anyukanal-apukanal megjelenik ket milliardos magangeppel, es azt kerik (KERIK bakker!), hogy a fiuk hadd szuneteltesse az MIT-s tanulmanyait egy-ket-harom evre, mert van egy akkor indulo ceguk, legrosszabb esetben is milliokat keresett es par evvel kesobb fejezi be az iskolat, de legjobb esetben korszakosan maradandot tud alkotni (az igazsaghoz hozzatartozik, hogy jelenleg nem a legjobb eset nez ki valoszinunek, de ne igyunk elore). Na, ilyen nalunk nem lenne.
@annokkk: Az az első pont. Szakmailag kompetens menedzsment szakamilag kompetens kutatókat fog finanszírozni.
@nyulambator: Igen, de ha mégsem, akkor nem veszíti el a szakmai hitelét, s vele a karrierjét és pénzét, mint mondjuk egy amerikai szakmai környezetben. Sőt.
Nézzük a féktudóst, vagy Vajnát, vagy biztos van jobb példa is. Mennyire tudja magát egy szakmailag kompetens ember a magyar úrbéri viszonyoktól függetleníteni, ha olyan pénzek felett diszponál, amivel a továbbiakban azt csinál, amit akar ? Úgy csapnának le rá, mint gyöngytyúk a … Sőt Vajnára még rá is állítottak egy csinos strómant.
Próbáljunk meg valamit tanulni a megismerhető események sokaságából, mint a mesterséges intelligencia.
@annokkk:
A fake tudós nem szakmailag kompetens. Lehet, hogy egy egészen szűk szakmában igen, de volt itt a vincenten olyan „matematikai” publikációja, amiért normális helyen átvinnék a kutatóintézetből a bolondok intézetébe.
@szazharminchet:
Én egy régebbi vincent posztot olvastam, ami szerint meg igen. Talán az újabb kompetencia felmérésénél épp igazoltan hiányoztam az olvasókörből. Bocsi.
@ijontichy: Térfoglalás, ja. Vincent első és második törvénye. Nincs új a nerben, mondhatnám sehol egy innovatív gondolat.
@szazharminchet: Régen hallottam már a mi kis palkónkról, vajon van-e valamilyen megélhetése szegénynek? Lehet, hogy azóta már éhen is halt.
Egyik szavamat a másikba ne öltsem, erről a csinos strómanról meg az jutott eszembe, hogy nem Vajna az egyetlen, akit a milliárdok feletti diszponálás előtt megnősítettek. Az új feleség, mint csinos stróman a maffia pénzkezelésének bevett módszere, ha jobban megnézem az üstökösöket a maffia egén. Mondhatni, hogy pénz nem maradhat menyasszony nélkül.
@KennyOMG: azért mi it tudományos kutatásról beszélünk, én kb. a matematika, comp.sci, machine learning vonalról. számomra az a kérdés, hogy ezek a területek hogyan fejlődhetnének magyarországon. a matematika nagyon jó állapotban van, a 12 ERC grant ezt mutatja. de a magyar matematika a hetvenes-nyolcvanas években is nagyon jó állapotban volt. Erdős, Turán, Szemerédi, aztán Lovász. a szemem láttára jelentek meg új területek a kilencvenes évek végén a kétezres évek elején. engem az érdekel, hogy ezek az iskolák fenn tudnak-e maradni. az, hogy valaki otthagyja a szakmát és csinál egy csomó pénzt, ettől teljesen független, és nincs is igazán véleményem róla, hogy is lehetne.
@szazharminchet: Sabine Hossenfelder mesélt Terrence Howardról, aki az egyszer egy egyenlő kettő elméletével (ő egy színész, nem tűnik teljesen százasnak, de ez mostanában nem probléma) tűnt ki.
@vattablz:
Na azzal pl. haladnánk a kiválóság felé átlagban.
@jotunder:
Ezzel most azt akarod mondani, hogy a fake tudós akár érdekes társaságban is lehetne a diliházban, vagy azt, hogy nem a legrosszabb a világon? Egyik állítást sem vitatom.
@jotunder:
Mondjuk azért Musknak annyi köze volt az apartheidhez, hogy a faterja a családi vagyont részben smaragdkereskedelemmel növelte, és hát a drágakő-biznisz némiképpen összefonódott Dél-Afrikában az apartheiddel. Aztán az a családi vagyon némiképpen segíthette a gyerkőc karrierjének indulását.(Közben az apuka amúgy apartheid-ellenes párt képviselője is volt. Szóval bonyolult ügyek ezek.)
De itt van egy FT-cikk is, ami egy másik összefüggésre mutat rá:
https://www.ft.com/content/cfbfa1e8-d8f8-42b9-b74c-dae6cc6185a0
@szazharminchet: Paywalltalanítva
Azért ne hirdessünk még ítéletet, hogy hol gyűlt/gyűlik össze nagyobb töménységben az elmebetegség – itt vagy odaát – mert az ott még csak ígéret, ellenben például Matolcsy a Dél-keleti sárkány fejlődési zónától a piros pöttyös seggű geostratégiai fordítószalagon át a banán alakú szingularitásig, no az viszont már itt van velünk, nehéz poggyászként a zsákban:/
https://hvg.hu/gazdasag/20241121_Matolcsy-Gyorgy-eurasia-mnb-forum
@velotanya: Itt mindenki hülye? Itt? Mindenki!
@nyulambator: Ez a kormányzati reklámja. Az egységsugarú sutyerák imádja, ha a parkettán feltekerik a szőnyeget. Orbán is ezzel reklámozta magát anno. Hogy focizik a parlamenti dolgozószobájában.
@velotanya: Nagy a verseny, hogy ki tud nagyobbat mondani. Nagy Márton csak Németország gazdaságát akarja irányítani.
https://telex.hu/gazdasag/2024/11/21/gazdasag-nagy-marton-18-kerulet-polgari-est-gazdasagi-semlegesseg-akcioterv-ferihegy-repter-magyar-peter-matolcsy-gyorgy
@nyulambator: Megértem a palit, hogy nem Klampár ellen állt ki.
[-] Nem tudom kinek mennyire világosak a szuperszámítógépek exaflops sebességei és/vagy kinek mennyire érdekesek. Nekem mindenestre fontos.
[-] JT ebben a posztban, ugye, az xAi Colossus és a magyar csúcs közötti szorzót kb.1000x-eresre teszi (levezetés közreadása nélkül).
[-] Én is próbáltam számolgatni pár napja a „Mennyire nyert Trump?” poszt alatt és mivel nincs harmoniában a mostani JT-poszt száma a korábbi enyémmel, így egy kicsit utána mentem a számolásnak, ismételten.
[-] Örülnék neki, ha javítanátok, ha valami rosszat írok le.
[-] Kezdjük messziről, és állításokkal:
[x] Amikor supercomputer-sebesség kapcsán FP-ről beszélünk az „floating point”, azaz „lebegőpontos” számolás.
[x] Az FP mögött megadott szám a bitek száma, amint a lebegőpontos szám ábrázolódik. Azaz FP64 esetében 64-biten ábrázolt lebegőpontos számról beszélünk.
[x] Triviális, hogy két nagy FP64-es lebegőpontos skalár szám – mondjuk – osztása jóval lassabb lesz két FP8 szám osztásánál. Minél nagyobb lebegőpontos számokkal akarunk dolgozni annál lassabb lesz a sebesség (a több számolás igénye miatt: hiszen egységnyi idő alatt kisebb számokkal több művelet végezhető el). És ugyanez fordítva: ha elég például FP8, akkor sebességet lehet nyerni.
[x] Van FP64, FP32, FP8, továbbá van belőlük, skalár, vektoros, tenzoros.
[x] A skaláros adatok nem nagyon hozzáférhetők az én tudtommal, pláne az újabb supercomputereknél.A mai kor fontos párhuzamosítás szempontja mögött ez nem is lehet kérdés (benchmarkoknál).
[x] A vektoros adatok jobbak a skalároknál a jól párhuzamosítás miatt
[x] A tenzorosok meg jobbak a vektorosoknál, a még jobb párhuzamosíthatóság miatt.
[x] Top500.org-on FP64 van Rpeak-re (ami elméleti maximum) és Linpack vektoros, nem skalár, ha jól értelmezek. Magyar esetben 50%-kal nagyobb a teoretikus maximum a megállapított Linpack vektoros maximumnál.
[x] Top500.org-on NEM közlik az Elon Musk Colossus és hasonló Nvidiás architektúrájú supercomputereket. Vélhetőleg azért, mert még nem történt meg az „illesztés” (hogy értelmezhetőek legyenek a korábban közölt adatokkal együtt).
[x] Azaz az Nvidias szuperszámítógépek leginkább csak ezen architektúrán belül vethetők össze.
[x] Az LLM és DeepLerning miatt fókuszba került az FP8 valamint a tenzor (mert, hogy az FP8 sokszor elég a tenzoros műveletekhez)
[x] Skalár számolási esetben egy FP32-es sebesség 2x gyorsabb FP64-es sebességnél (mivel elméleti értékekről beszélünk).
[x] FP8, tenzoros 6,4x gyorsabb, mint FP16 tenzoros.
[x] FP16, tenzoros 16x gyorsabb, mint FP32 skalár (first draft verzióban).
[x] Így aztán FP8, tenzoros 6,4162=204,8x gyorsabb, mint FP64 skalár
[x] Míg a FP8, tenzoros cca. ~75x gyorsabb, mint FP64 vektoros (ChatGPT szerint, de ez gépenként változhat!)
[x] Az Elon Musk Colossus (xAi)-re olvasható 498 exaflops (FP8, tenzoros), a Google Search Engine és a semiwiki szerint.
[x] Míg az alábbi egyelőre csak a 100.000 db Nvidia H(opper)100-as GPU-ra, csak 395 exaflops (FP8, tenzoros)
https://www.theregister.com/2024/10/29/xai_colossus_networking/
[x] Ugyanígy a dán Gefion 6 Exaflops (FP8, tenzoros) a szintén Nvidia, AI, LLM, DeepLearning fókusz okán.
https://eviden.com/insights/press-releases/the-novo-nordisk-foundation-chooses-eviden-to-build-gefion-in-denmark-one-of-the-worlds-most-powerful-ai-supercomputers/
[x] A magyar/debreceni Kommondor leggyorsabb itthoni supercomputer RPeakje 4,52 PFlops Linpack vektoros. Ha ezt 75-tel szorozzuk, hogy a Colossus-sal összvethető legyen, akkor kb. ~339 PFlops-ot kapunk, ami 0,34 exalops (FP8, tenzoros).
https://top500.org/system/180079/
[x] Az xAi Colossus 395 exaflops-a osztva a magyar 0,34 exaflops-szal, kapunk: 1.161-et, ami már jobban hasonlít JT által e posztban megadott szorzószámra. 🙂
[x][x][x][x]
Ami meg a poszt alapfelvetését illeti (pár szóban):
Ha kiválasztásnál a lojalitás übereli a szakmaiságot, akkor a linkelt MI-stratégia végeredménynél is csorbát fog szenvedni a szakmaiság.
Ez aztán extrapoláltan előrevetíti azt, hogy a szakmaiság konvergálni fog a nullához, de „legalább” a lojalitás mentén végtelen időre illetve mélyen fog beágyazodni az Orbán-klán Magyarország egyre betegebb testébe.
@tahonoli: Na ugye, hogy … Kölcsönkért kastély: Kabos Gyula
https://www.bing.com/videos/riverview/relatedvideo?&q=k%C3%B6lcs%C3%B6nk%C3%A9rt+kast%C3%A9ly&&mid=655736656615B64BEB92655736656615B64BEB92&&FORM=VRDGAR