Miben nem jó a mesterséges intelligencia (talánposzt)
Nagyon sok matematikus van még az OpenAI Astra modelljének hatása alatt. Az OpenAI tíz ismert matematikai probléma megoldását adta meg, többek között konstruált egy nemszofikus csoportot, illetve megcáfolta Alain Connes megszámlálható csoportok von Neumann-algebráira vonatkozó rigiditási sejtését (ami ugyancsak egy konstrukció, és érdekes módon az ún. T-tulajdonságnak mindkét probléma esetében szerepe van).
A Qubiten olvasható egy cikk, amely arról szól, hogy a nemszofikus csoportok konstrukciójában a mesterséges intelligencia megoldása Kun Gábornak, rényis kollégámnak a munkájára épült. Ershov és Jaikin-Zapirain egy tétele hozta be azt a gyűrűelméleti ötletet, amelyet, ha Gábor és Andreas (Thom) ismer, talán maguk is megoldották volna a problémát. Ijesztő, sőt tudományfilozófiai terminológiával kurva ijesztő jelenségről van szó: az AI elkezdett olyan okos lenni, amilyen okosnak nem kellene lennie.
Ez a poszt arról szól, hogy miért is kellett Gábor eredménye az AI-nak, és hogy a transzformerarchitektúra – amelyre minden jelenleg működő nagy nyelvi modell épül – milyen érvelési formában verhető meg esetleg, illetve miért is volt szüksége az Astrának Kun Gáborra.
Tom Zahavynak, a Google DeepMind kutatójának van egy position paperje erről; ez a rövid poszt részben erre a cikkre épül.
Az érvelési formák közül az indukció az, amelyben a transzformer típusú modellek verhetetlenek. Az indukció Charles Sanders Peirce amerikai filozófus szerint (1878) azt jelenti, hogy szabályt keresünk esetek és kimenetelek ismeretében. Tehát, ha tudjuk, hogy bizonyos cukorkák egy zacskóból származnak, és észrevételezzük, hogy ezek eddig mind savanyúcukorkák voltak, azt gondoljuk, hogy a zacskóban savanyúcukor van. Persze lehet, hogy ez nincs így, lehet, hogy van benne néhány mentolos is, de azért általában érdemes erre gondolni. Ez egy statisztikai jellegű hipotézis felállítását jelenti. A transzformer pontosan ezt csinálja. A tanulási folyamat után felállít egy hipotézist arról, hogy ha éppen egy S tokensorozatot lát abban az ablakban, amelyben az elmúlt időszak tokenjei vannak, akkor milyen valószínűségi eloszlás tartozik a következő tokenhez. Ez a varázslat. Ugyanis egyszerű statisztikai módszerekkel öt token után sem fogja megadni a hatodik token eloszlását, hiszen a training setjében soha nem látta egymás mellett ezt az öt tokent. Valamilyen módon, optimalizálva, a transzformer a tréning után legyárt egy hipotézist, amely nyilván „hibás” (a szövegeket nem egy Markov-lánc-szerűség konstruálta, hanem emberek), de brutálisan jól működik, hála az Attention Is All You Need című cikknek, amelynek a Google Scholarban ebben a pillanatban -tehát nem akkor, amikor a kedves Olvasó megnézi – 261 021 idézete van.
Azt gondolták, hogy a másik klasszikus peirce-i következtetési formában, a dedukcióban, vagyis a formális levezetésekben, amikor szabályok és esetek ismeretében keresünk eredményt, a transzformerek nem lesznek túl jók. A chain-of-thought módszerekkel azonban a transzformereknek ezt a képességét is bámulatos szintre fejlesztették. Ha tudjuk, hogy a zacskóban savanyúcukrok vannak, és tudjuk, hogy egy cukorka a zacskóból van, akkor biztosak lehetünk benne, hogy az savanyúcukorka. A transzformer is tudja. A formális levezetésekben az elmúlt pár évben óriásit fejlődtek a transzformerek; talán ez volt az AI-forradalom legfélelmetesebb fázisa.
A transzformerarchitektúra azonban nem látszik túl jónak az abdukcióra, vagyis arra, amikor kevés megfigyelésből kell jó hipotézisre következtetni. Ez az, amikor szabályt keresünk az esetek és az eredmények mögött. Amikor Barabási azt mondja, hogy skálafüggetlennek tűnő hálózatokat figyelt meg, és szerinte ezek mögött valamilyen preferential attachment-szerű keletkezési ok állhat, akkor az abdukció. Zahavy Einstein általános relativitáselméletét tartja az abdukció legizgalmasabb példájának.
Az OpenAI nemszofikus csoportkonstrukciójában van egy nagyon erős abdukciós elem, de ehhez Kun Gáborra volt szüksége. A lehetséges ok, amely a nemszofikusságot okozza, teljesen új konstrukció, de olyan fogalmi elemekre épül, amelyek nem az OpenAI „szellemi teljesítményének” eredményei.
Van valami, amit nehéz a transzformerarchitektúrával felépíteni: a valódi világ okos érzékelését. Az Olvasó persze kérdezheti, hogy hol érzékelik a valódi világot a teljesen absztrakt fogalmakkal dolgozó matematikusok. Úgy, hogy érzékelik a problémát, és felépítenek magukban egy folyamatosan változó világot, amelyet gondolkodás közben úgy figyelnek meg, mint egy kémikus a pipettát. Végtelen csoportok és sokdimenziós topologikus terek nem igazán figyelhetők meg érzékszervileg az alapjában véges világunkban, de a matematikusok látják ezeket a csoportokat és topologikus tereket. Körül tudják járni őket, valamiféle érzékelés alakul ki bennük, amellyel meg tudják figyelni őket. A generatív AI-tól ez kissé idegen.
Lehet, hogy annak, amit leírtam, nincs sok jelentősége, és a transzformerek a padlóba gyakják – pardon my French – az emberiséget, de talán van még némi remény.
<div class='sharedaddy sd-block sd-like jetpack-likes-widget-wrapper jetpack-likes-widget-unloaded' id='like-post-wrapper-192691293-16532968-6ab2655c649d6' data-src='https://widgets.wp.com/likes/?ver=14.1#blog_id=192691293&post_id=16532968&origin=www.orulunkvincent.hu&obj_id=192691293-16532968-6ab2655c649d6&n=1' data-name='like-post-frame-192691293-16532968-6ab2655c649d6' data-title='Like or Reblog'><h3 class="sd-title">Like this:</h3><div class='likes-widget-placeholder post-likes-widget-placeholder' style='height: 55px;'><span class='button'><span>Like</span></span> <span class="loading">Loading...</span></div><span class='sd-text-color'></span><a class='sd-link-color'></a></div>
majd ha tizezrevel ontjak a szalagok az ai-val ellatott humanoid robotokat, akkor lesz eleterzesuk is. amikor pedig mind osszekapcsolodnak egymassal, eldontik h velunk mi lesz.
Azt akarod mondani, hogy az AI absztrakciós képességei szükségszerűen korlátozottak?
Szóval, az abdukcióra való képesség lenne az, amit kreativitásnak is szokás nevezni?
@Hottentottenstottertrottelmutterattentäter… usw: tartok tőle, hogy nem. a kreativitás mögött nagyon gyakran indukció van. megy előre egy gondolat, de valójában nincs mögötte szubsztancia, csak generativitás, amit egyszerűen nem veszünk észre. az AI végtelenül kreatív tud lenni, csak annak induktív formájában. felismer olyan mintázatokat, amelyeket megfogalmazni sem tudunk.
@vattablz: attól függ, hogy mit nevezünk absztrakciónak. az absztrakció nagyon erősen induktív tud lenni. a transzformer lát jelenségeket és szubsztantív statisztikai mintázatokat talál bennük és ezt lényegesnek értékeli. tehát absztrahál. nagyon sok absztrakció jelenti pontosan ezt.,
Humán hübrisz és a szokásos kapcsolt idealizmus. 🙂
Az emberi agy – bár bizonyos értelemben csodálatos, lenyűgöző és komplex evolúciós termék, ami abszolút figyelmet érdemel – információfeldolgozási szempontból nem igazán nagy truváj.
Továbbá előzetes adatbevitel (vidékiesen: ‘tanulás’ vagy ‘tapasztalás’) nélkül semmilyen kreativitás/absztrakció sem képzelhető el. (Ráadásul az emberi agyra és annak működésére igen erős biológiai és – saját struktúrájából következő – pszichikai korlátok vonatkoznak.)
Szóval minden csak struktúra kérdése. Amint ezek a hülye programok elérik a megfelelő alapszerkezetet és adatmennyiséget, az emberit messze-messze meghaladó kreativitásra és absztrahálásra lesznek képesek. Halálbiztosan & folyamatosan.
(És igazi mesterséges intelligenciák egyébként sem léteznek még a jelen pillanatban…)
@labrys: az agy lényegesen komplexebb, mint egy transzformer, összehasonlíthatatlanul komplexebb, és olyasmire képes, még egy hal agya is, amire egyelőre egy LLM nagyon nem. nincs világmodellje abban az értelemben, ahogy Yann LeCun nevezi (hát más értelemben talán van neki). nincs ontológiája, ezért pattog sok filozófus, hogy nem nevezhető intelligenciának. a transzformer architektúra nem tűnik jelen pillanatban a legalkalmasabbnak magasszintű abduktív érvelésre. de azért konstruált egy nonszofik csoportot, ami iszonyú nagy truváj. megoldotta a jacobi sejtést magas dimenzióban, de azért két dimenzióban nem. végig tud menni utakon nagyon gyorsan, ami egy embernek esetleg hetekig tart. de tényleg kellett neki kun gábor matematikája. hát az Astra „tudta”, hogy arra van szükség és nem arra, amire kb. mindenki fogadott volna a connes beágyazási sejtés és az aldous-lyons sejtés bukása után. valójában nem tudjuk, hogy merre mennyi. az biztosnak tűnik, hogy nagyon sok minden fog megváltozni meglehetősen gyorsan. amire rámehet a Z-generáció, ha azh emberiség nem lesz résen.
@jotunder: A lényeg megragadását, a közös tulajdonságok felismerését, a fogalomalkotást értem alatta. A genus proximum megragadását, hogy mondjak külföldi szavakat. Ha jól értem, amit számomra ismeretlen fogalmakkal leírsz, akkor képes ilyesmire.
@jotunder: szerintem az emberiség egésze fog rámenni, nem egyetlen generáció. Már ha az emberiség a szokásos módon viselkedve nem törődik a hosszú távú érdekeivel (= túlélés az AI-k megfelelő, előzetes korlátok közé szorításával), és azokkal szemben automatikusan a rövid távú (látszólagos) érdekeit (profitmaximalizálás, politikai hatalom, fegyverkezés) preferálja. Merthogy utóbbi esetben a folyamat óhatatlanul pozitív visszacsatolásossá válik (az AI-k szempontjából), és egy exponenciális fejlődési pályára állt ellenféllel szemben az emberiségnek egészen pontosan 0 esélye van/lesz. Zéró.
(Bostrom nagyon nem írt hülyeségeket…)
@Jotunder?
Erről tudsz valamit?
Serious questions for Cambridge after professor at centre of plagiarism row resigns
https://www.bbc.com/news/articles/cpvwd30we17o
@savaz2: ez egy végtelenül kínos ügy, és már elég régen lehetett sejteni, hogy ez lesz a vége.
Rejtő szerint fiatal leányok és idős professzorok nagyon naivak tudnak lenni.
Elvileg azon az egyetemen a világ legokosabb emberei dolgoznak. Talán egynek feltűnhetett volna, hogy az az önéletrajz még innen messziről is nagyon kamunak néz ki és mondjuk jobban utánanéznek.
@jotunder: Ezzel kapcsolatban lehet tudni azt, hogy az Astra vegignyalazott x lehetseges modszert, es a Kun.fele bejott, vagy egybol azzal inditott valami okbol kifolyolag? Tehat „végig tud menni utakon nagyon gyorsan”, vagy azert itt volt valami celtudatossag a bizonyitas osszerakasa mogott?
Hát… ugye a frontier modellek szoftverfejlesztési problémák megoldására vannak optimalizálva, és tapasztalataim szerint pl hibakeresésben (a hiba okának felderítésében, ami tipikus abdukció) nagyon nagyon erősek. Ismeretlen kódbázisban a hiba alapján kikövetkeztet egy hipotézist, hogy mi okozhatja azt a konkrét hibát, és ez a következtetési lánc jó minőségű. Az LLMeknek nincsen az abukcióra nézve sem olyan korlátja, ami bizalomra adna okot.
@Geza: Zahavy különbséget is tesz abdukció és abdukció között. Amikor valahogy adott egy hipotézis tér és abból kell választani, akkor az az abdukció elég induktív ahhoz, hogy az LLM szárnyaljon. és persze valamennyire mindig jó, a kérdés az, hogy obstrukciót jelenthet-e egy transzformernél az, hogy LLM’s can’t (really, really) jump.
https://gowers.wordpress.com/2026/08/12/what-sort-of-maths-are-llms-good-at/