A GPT esete a filozófiával (rövidposzt)
Barry Smith, a világ egyik leghíresebb filozófusa (olyan híres, hogy még Vincent-poszt is született róla, sőt tulajdonképpen kettő), írt egy könyvet arról, hogy a mesterséges intelligencia sohasem érhet az emberi intelligencia szintjére. Smith társszerzője egy német AI-szakember. A könyvet nem sok évvel ezelőtt, hanem tavaly nyáron adták ki, tehát jóval a Stochastic Parrot cikk után, amikor a GPT már szélesen volt diszkutálva, ha nem is volt annyira ismert, mint most. A szerzők egy cikket is írtak, ami szintén megjelent már, és abban explicite a transzformerek korlátairól is írtak (a GPT egy ún. transzformer). Személyes megjegyzés következik, intuíciómmal meglehetősen ellentétes, amit írnak, de sem filozófus, sem AI-szakember nem vagyok (megj. különös figurák kezdik uralni a magyar közbeszédet AI-ügyben, elég aggasztó).
A könyv 164.oldalán találtam egy igen érdekes lábjegyzetet.
„We do not discuss n-grams and other useful stochastic language models here. They certainly have
benefits in many applications such as word completion or error correction, but cannot model
complex systems.”
Majd meglátjuk. (A könyv olvasható, nem könnyen, de valamennyire, és esténként nézegetni fogom, talán írok róla)
<div class='sharedaddy sd-block sd-like jetpack-likes-widget-wrapper jetpack-likes-widget-unloaded' id='like-post-wrapper-192691293-16530613-6ae1f1fc8fb7c' data-src='https://widgets.wp.com/likes/?ver=14.1#blog_id=192691293&post_id=16530613&origin=www.orulunkvincent.hu&obj_id=192691293-16530613-6ae1f1fc8fb7c&n=1' data-name='like-post-frame-192691293-16530613-6ae1f1fc8fb7c' data-title='Like or Reblog'><h3 class="sd-title">Like this:</h3><div class='likes-widget-placeholder post-likes-widget-placeholder' style='height: 55px;'><span class='button'><span>Like</span></span> <span class="loading">Loading...</span></div><span class='sd-text-color'></span><a class='sd-link-color'></a></div>
https://www.youtube.com/watch?v=iyE2RISxICk itt egy egészen új smith-video.
Van 2 terület, melyhez nem értek – ezért még aktív koromban elég sokat posztoltam róluk: az egyik a hálózatelmélet, a másik az AI 🙂
Egykor azt olvastam, hogy az AI-nak több formája, eredete lehet – pl. a génmanipulációval vagy kiborgizációval fejlesztett ember, a emberek hálózatos összekötése, a deep learning – majd pedig az agy működésének a leképezése.
Amitől az emberek nagyon félnek, az szuper-intelligencia vagy szingularitás – de az az ÉRZÉSEM, hogy erre majd csak az utolsó módszer lehet képes.
Addig pedig bízz istenben, s tartsd szárazon a puskaport
https://szazad21.blog.hu/2019/06/07/intelligencia_szuper_jo_vagy_veszely
https://szazad21.blog.hu/2017/03/31/mesterseges_intelligencia_csodalatos_lehetosegek
@Geo: itt most a large language modelekről van szó, ott volt a hatalmas áttörés. barry smith azt mondja, hogy reference nélkül nincs meaning és pont, és a gpt meg mintha azt mondaná, hogy fogd meg a söröm.
Felidézném Clarke három törvényét,. Szerintem mindhárom idevág.
1. When a distinguished but elderly scientist states that something is possible, he is almost certainly right. When he states that something is impossible, he is very probably wrong.
2. The only way of discovering the limits of the possible is to venture a little way past them into the impossible.
3. Any sufficiently advanced technology is indistinguishable from magic.
Bár csak undergrad szinten tanulgattam az AI-t 10 évvel ezelőtt, a ChatGPT óta újra erősen rákattantam a témára. Én is úgy vélem, hogy tisztán n-gramokból/GPT-ből nem lesz AGI (Artificial General Intelligence), de ha lesz ilyen, akkor abban jelentős szerepet fognak játszani a GPT-k. A probléma a ChatGPT-vel az, hogy igazából egy bullshiter. Egy nagyon erős bullshiter, ami meggyőzően tud szövegelni, a szövege néha nagyjából igaz is, de nagyon gyakran kamu. Kicsit ilyen virtuális Puzsér, meggyőzően beszél, de ha utánanéz az ember, akkor rájön, hogy a kisujjából szopta ki a jól hangzó szöveget. Ennek alapvetően az az oka, hogy a modell a legvalószínűbb következő szót próbálja eltalálni egy adott kontextusban, egy hatalmas corpus alapján, és bár rendelkezik egyfajta szemantikus reprezentációval a corpusról, az tisztán valószínűségi alapú, és nem a pontos kontextus egzakt megértésén alapul. Az egyik gyengéje meglepő módon pont a matek és a szimbolikus gondolkodás, illetve a pontos adatok. Erről van egy nagyon jó Lex Fridman podcast Stephen Wolframmal, aki a Wolfram Alpha és Mathematica rendszerek atyja, amik a mára elavult „symbolic AI” megközelítésen alapulnak, illetve az új GPT-ben már pluginként is elérhetőek lesznek, pont azért, mert bizonyos (egzakt, matematikai) feladatokra jobban működnek, mint a GPT-modellek. A nagy kérdés, hogy lesz-e olyan univerzális paradigma, vagy interface, ami a különböző AI-modelleket képes lesz integrálni egyetlen AGI rendszerbe, ahol pl. a szövegértésért és -generálásért a GPT felel, mígy a matekot valamilyen rule-based symbolic AI-modell csinálja, a képfeldolgozást egy RNN, a mozgást és a tanítást pedig (pl. robotok esetén) meg valamilyen reinforcement learninggel oldják meg. Szóval hatalmas jelentősége van a GPT-nek, és tényleg forradalmi időkben élünk, a nagy kérdés inkább az, hogy mi fog ebből kisülni, és milyen gyorsan pusztít el minket.
Tényleg kicsit be kellene hoznom az AI-val kapcsolatos olvasnivaló-lemaradásomat. Még az elolvasandó kupacban van Penrose A császár új elméje c. műve is, pedig az majdnem olyan régi, mint én