A mesterséges intelligencia esete az amatőr okoskodással avagy miben lesz jobb nálunk egészen biztosan ez az izé
Ha e sorok írója túlságosan határozott véleményt mond: 1. az izraeli/amerikai/finn/gaboni/orbániai? politikai állapotokról 2. a kortárs filozófiáról, irodalomról, művészetről, színházról 3. bármiféle természettudományi kérdésről 4. bármiféle társadalomtudományi kérdésről 5. a mesterséges intelligenciáról (inklúzve ezt a posztot is) az amatőr okoskodásnak számít. Ha amatőr okoskodásban nem lesz jobb két-három éven belül az MI, mint én, akkor annak csúnya következménye lesz, de ezt nem tudom elképzelni.
Van egy új videó Ilya Sutskeverrel, amibe érdemes belenézni. Nem kicsit kontroverzális, és nem túl hosszú. Sutskever alapmantrája: ” Next token prediction is enough for Artificial Generative Intelligence”. Én azt mondom, hogy ez vagy így van, vagy nem, az viszont szinte biztos, hogy „next token prediction is enough for surpassing amatőr okoskodás”. A jelenlegi AI-forradalom alapja az, hogy bizonyos nagy nyelvi modellek, amelyek transzformer alapúak (és erre a jelenleg már százezer feletti scholar.google idézettel rendelkező tizenegy oldalas cikkre épülnek) jól tudnak folytatni mondatokat.
De miért tudnak?
Csak. Mert nagyon így néz ki. Kétszer tíz a huszonötödiken (asszem) lebegőpontos művelet elvégzését jelenti az, hogy „megmutatják neki” (tréningelik), hogy mit tud jelenleg az emberiség a világról. Ezek után ez az izé javaslatot tesz arra, hogy ha ezt a nyelvi korpuszt, amit az emberiség megalkotott, egy Markov-lánc segítségével generálták volna, akkor az hogyan nézne ki. Persze azt a nyelvi korpuszt nem egy kettőezernegyvennyolc mélységű Markov-lánc segítségével generálták, ott volt az emberiség, és látta, hogy nem így volt, ez az izé csak azt mondja, hogy ha így lett volna, akkor neki lenne elképzelése arról, hogyan nézett ki az a Markov-lánc.
Ez őrültségnek hangzik. De egész jól működik.
Lát kétezernegyvennyolc (azt hiszem) tokent és azt mondja, hogy szerinte ez lesz a következő token, mintha ezt ki lehetne hozni statisztikai értelemben (nagyon-nagyon nem lehet kihozni). Igazából a lehetséges tokeneken (szódarabkákon) ad egy nagyon nem empirikus eloszlást és a legnagyobb valószínűségűek közül választ. Ez sem egyszerű. A tokensorozatot folytatandó számokat lát majd minden token mellett, 
értéket, ahol n token van. Hát azok az 
(rengeteg más trükk van, pl. ki is dobhatja a nagyon kis valószínűségeket egy top p nevű változóval, nyilván nem akármilyen mérnöki tapasztalat van egy ilyen termék mögött). Ezek után persze nagy vonalakban a legnagyobb valószínűségűek közül választ, tipikusan azt a tokent, aminek feltűnően nagy a valószínűsége. Aztán kezdi az egészet elölről.
Ha a hőmérséklet magas, akkor elég kreatív lesz, talán hajlamosabb a hallucinációra, ha a hőmérséklet alacsony, akkor elég determinisztikus, mondjuk egy python kódnál az talán nem árt. Én ehhez nem értek persze, de végtelenül nagy vonalakban ez van. Miért lehet ez képes szimulálni egy meglehetősen okos embert? Szerintem ezt senki sem tudja, de úgy tűnik, hogy az élet ilyen, ezzel a módszerrel elég okos ember szimulációját meg lehet csinálni, és Sutskever azt gondolja, hogy akár az ún. kurvaokos emberek szimulációját is. Én meg csak azt gondolom, hogy az amatőr okoskodás überolására jó lesz. Ez a mondat persze emlékeztet valamelyest az amatőr okoskodásra, de annál a handabandázásnál, amelyet pár ún. szakértő megenged magának Csonka-Magyarországon talán jobb.
Mostanában mindenféle predikciókról lehet olvasni, Elon Musk rendesen elengedte magát, hogy pár év és lenyomja egy ilyen izé a Fields-medálosokat számtanból. Én ezt próbálom elhessegetni magamtól, azért több mint tíz a huszonötödiken lebegőpontos műveletes (az gondolom jóvaéé több, mint amit az összes számítógép elvégzett 1980-ig a világon) tanulás után csak itt tart, akkor azért a Field-medálhoz még kell pár új éca. Az viszont nagyon furcsa lenne, ha a bullshitteléstől éppen csak távolságot tartó (jobb esetben) kávéházi konrádkodás, fészbukos szakértegetés szintjét nem nyomná le egy nyelvi modell pár éven belül.
És akkor azért érdemes lesz pár dolgot átgondolni a kicsi életünkben.
P.S Ez Andrey Karpathy baby GPT-je, ami az „111101111011110” korpuszon tanult. Életében nem látott a baby három nullát egymás mellett, aztán mégis. Ez egy igazi Markov lánc, lát három karaktert és le lehet olvasni, milyen valószínűséggel választja a következőt. Szerintem ezt érdemes egyszer megnézni.
<div class='sharedaddy sd-block sd-like jetpack-likes-widget-wrapper jetpack-likes-widget-unloaded' id='like-post-wrapper-192691293-16531102-684b18db15043' data-src='https://widgets.wp.com/likes/?ver=14.1#blog_id=192691293&post_id=16531102&origin=www.orulunkvincent.hu&obj_id=192691293-16531102-684b18db15043&n=1' data-name='like-post-frame-192691293-16531102-684b18db15043' data-title='Like or Reblog'><h3 class="sd-title">Like this:</h3><div class='likes-widget-placeholder post-likes-widget-placeholder' style='height: 55px;'><span class='button'><span>Like</span></span> <span class="loading">Loading...</span></div><span class='sd-text-color'></span><a class='sd-link-color'></a></div>
nem ertettem (kb), de erdekes volt. en is igy gondolom
.
Értem, hogy mi az a „nyelvi korpusz”: a boncteremben fekvő hulla kivágott nyelve.
.
Értem, hogy mi az a Markov-lánc: ugyanolyan, mint a Corvin-lánc, csak oroszban.
.
Értem, hogy mi az a token: az a kód (token-kód), amivel belépek az online bankfiókomba.
.
Egyébként egy büdös szót sem értettem a posztból. Ez nem panasz akar lenni, ugyanis mi a fenének kellene értenem? Elég, ha Jótündér és még néhány kommentelő érti.
.
Olyan biztos az, hogy az emberi agyak ilyen sok műveletet elvégeztek már, mire Fields-medált kaptak? Csak mert amikor tényleg numerikus műveletekről van szó, abban mintha már az ENIAC utolérte volna az embereket, az első héten. Ez persze azért van, mert numerikus műveleteket végezni nagyon nem a természetes elfoglaltsága az emberi agynak, az ENIAC-ot meg pont arra tervezték. De azt is megjegyezném, hogy matekozni is nagyon nem természetes viselkedése az embernek.
Azért én itt még érzek néhány problémát, és akadályt a tekintetben, hogy az MI-nek nevezett beszélgetőgép lepipál bennünket amatőröket a gondolkodásban.
(1) Nekem, amatőr csaposnak úgy tűnik, hogy az emberi gondolkodást igen nehéz szimulálni, mesterségesen előállítani. Ezért találták ki ezeknek a nem MI-k nek, hanem beszélgetőgépeknek a megalkotói azt, hogy a program valamilyen trükkös módon (Markov-lánccal, tokenekkel, stb.) „valószínűsíti a következő szavakat”. Ez egyfelől meglepően működőképes módszernek tűnik (kivéve, amikor a gép a legegyszerűbb kérdést sem érti meg, és hallucinál a válaszaiban), de nekem nem tűnik igazi gondolkodásnak, bármilyen is legyen az. Hanem inkább úgy tűnik, hogy egy beszélgetésgenerátort találtak ki, és nem gondolkodásgenerátort. Persze ez is nagyszerű, sőt nem várt esemény, de azért túlzásokba ne essünk.
(2) Hát igen, az amatőrök, meg a profik. A különbség köztük az, hogy az utóbbiak hivatásszerűen foglalkoznak valamivel, és emiatt többnyire, és valószínűleg jobban értenek hozzá mint az amatőrök. No de azért itt többféle tudásterület van, amire ugye a gondolkodásnak ki kell terjednie, és ezen területek közül nem mindegyik faktuális jellegű. És hogyha a tudás minőségi kritériuma nem az „igazság”, akkor ott azért már elmosódnak a határok. Hogy messzire ne szaladjak, a filozófia sem olyan, bár persze nyomokban, és alapokban az (faktum) is van benne (mindenben van). De a filozófiában pl. az „igazság” vagy az „igaz” nem faktuális jellegű. (Pontosabban: az igazságai – ha vannak – nem korrespondencián alapulnak- kivéve (talán) a logikát) Most elképzelem szegény gondolkodógépünket, akibe beletáplálták az egész filozófiatörténetet, a Bécsi kört is tudja, meg a posztmodern halandzsákat is, és akkor előveszi a Markov-láncát, és egy beszélgetésben ezek alapján (mert ugye, mi más alapján? neki csak ez az elméleti tudása van) megpróbálja kitalálni, hogy valószínűleg mik lennének a legjobb következő szavak. Hát abból nem sok jó fog kisülni.
(3) A gondolkodás alapja mindenképpen a tudás. Legalábbis a helyes gondolkodásé, de ugye ez itt alap, hiszen azt akarjuk, hogy a gondolkodó MI-nk okos legyen, jól, helyesen gondolkodjon, és ne úgy mint egy fideszes. Viszont a komplex tudás nem csak elméletből áll. Ez most talán meglepő lehet (amit mondok), de a tudás az elméleti, és a gyakorlati tapasztalatok összessége, és tanulságai – és persze az, és annyi, amennyi abból az emberben leszűrődött. Ez azt jelenti, hogy jól tudni, és annak folytán jól gondolkodni, nem lehet csak elméletileg megtanulni, hanem azt a gyakorlati élet rengeteg interakciója színesíti, ad hozzá további tudásadagokat. Ez a rész teljesen hiányzik a mostani beszélgetőgépekből, és egyelőre azt is nehéz elképzelni, hogy hogyan lehetne meg nekik. Mert ugye valóság-interfészeket, de főleg outputokat nagyon nem lenne jó nekik adni.
Úgyhogy, én attól tartok, hogy itt nemhogy néhány éven belül, de még néhány évtized múlva sem lesz emberi szintű általános gondolkodó MI. Pedig jó lenne.
@hakohen: 1. a nyelvi korpusz, azon szövegek összessége amin az adott nyelvi modellt tanítják. a gpt-t esetében ez 45 terabyte. egy átlagos regény az nem több 2 megabytenál, tehát ez több mint 20 millió regénynek felel meg. 2. a Markov-láncra a poszt végén van egy példa. megnézheted, hogy ha mondjuk látod az 101 stringet, akkor 79 százalék eséllyel a következő karakter 1, 21 százalékban 0. az 1 azt jelenti, hogy a 101 string után írsz egy egyest és letörlöd az első karaktert, ehát a 011 stringbe érkezel. a Markov lánc csak annyit jelent, hogy egy bizonyos állapotból valamilyen valószínűséggekkel más és más állapotba kerülhetsz, Karpathynál (szlovák) ezek az állapotok három hosszúságú bináris sztringek, amiből nyolc van összesen. 3. a token az majdnem a szó, csak azért lehetnek mindenféle írásjelek, ha a szóra gondolsz nem vagy távol az igazságtól, sutskever, aki a világ egyik vezető szakembere ragaszkodik a token kifejezéshez. de Karpathy példájában csak két token van a 0 és az 1.
@ipartelep: az igazi gondolkodás az az, hogy az ember kissé gusztustalan kocsonyás állagú agyában van 85 milliárd neuron, és egy neuron akciós potenciál kisülésével kommunikál egy másik neuronnal, ahol a kisülést bizonyos ionok töltésének mérete okozza. konkrétan ez a gondolkodás. lehet, hogy a neuronokon kívüli gliasejtek, ezeken belül is az asztrociták is hozzá járulnak a gondolkodáshoz. az biztos, ez a gondolkodás alapja és nem valamilyen filozófiailag cuki dolog, amit érzékelsz. hát az a különbség, hogy a neurális hálókban súlyok vannak és nem ionok, azonnal kiszámítanak egy súlyt, nem kisülés történik. a GPT-4 -ben nincs annyi paraméter(súly), mint ahány szinapszis van az agyban, de a különbség nem annyira vészes.
@ipartelep: ” a gondolkodás alapja a tudás” nincs igazán olyan, hogy „tudás”. fenomenológiai értelemben van „tudás”, a kocsonyás gusztustalanság szintjén mi a tudás? persze az elmefilozófiában van JTB, justified true belief, de ez egy látszat, nem tudod megmutatni az agyban, hogy hol van JTB. az agy egy „experience machine” ahogy Andy Clark tavaly megjelent könyvében írja (azért ma ő a leghíresebb élő három elmefilozófus egyike), és a GPT is egy experience machine. azt tudni lehet, hogy a GPT is konceptualizál, vannak „grandma” neuronjai (az agy esetében ez valószínűsíthető, lásd Halle Berry neurons, de azért nem biztosak benne). fogalmunk sincs róla, hogy amikor az az illúziónk, hogy gondolkozunk, mi a fészkes fenét csinál az agyunk valójában.
@jotunder:
Könnyű összekeverni a tudás-élmény fizikalista redukcióját és a tudást mint tartalmat. Utóbbi értelemben (JTB) a tudás egyáltalán nem látszat. Sokkal inkább a humán racionalitás alapja. Ez nem jelenti, hogy egyszerű definiálni. Most ott tart a szakirodalom, hogy a ‘tudás = JTB + X.’ (Az X a Gettier-esetek kiküszöbölése miatt szükséges.)
Hiv.: @jotunder:
Én nem arról beszélek, hogy pontosan mi a gondolkodás (de azért a gondolkodás tudás nélkül kb. az, mint a hardver szoftver nélkül – na, az analógia pontatlan, mert itt a gondolkodás is szoftver, jó akkor legyen operációs rendszer, és valami azon keresztül futó program viszonya, tehát a gondolkodáshoz alap a tudás), hanem arról hogy az MI-nek nevezett de egyelőre csak beszélgetőgép (azt se túl jól) erre vonatkozó megoldása fényévekre van a gondolkodástól. Nem tudjuk, hogy pontosan mi a gondolkodás, de azt tudjuk, hogy amit a beszélgetőgép csinál, az nem az.
Az triviális, hogy a neuronok interakcióinak eredménye a gondolkodás… illetve: ez sem triviális, hiszen nagyon sokak szerint, van valamiféle „lélek”, vagy immateriális tudat (ezeket az emberiség nagyobb része hiszi) amely intézi a gondolkodást. De ez nem annyira tudományos nézet, és filozófiailag meg idealista, ami (az idealizmus) szerintem hülyeség. De ez mellékszál. Ami nem mellékes, az az, hogy egy MI-nek olyan algoritmust, eljárást kellene találni, ami modellezi a gondolkodást. Na most az élőlények, benne az ember gondolkodását ugye a saját hardverük intézi, meglehetősen immanens módon, és akárhogyan is csinálja azt, nem tűnik leutánozhatónak egy nem szerves, nem neuronokkal működő, hanem hardver-szoftver alapú gépnek. A hardver még csak hagyján, az majd egyre gyorsabb, meg nagyobb kapacitású lesz, de a probléma az, hogy milyen legyen a szoftver, milyen algoritmusok fussanak azon. Nekem úgy tűnik, hogy ehhez sokféle algoritmus bonyolult összejátszása kell majd. És az egésznek egy nagyon pici szeleténél tartanak, csináltak egy gépet, amely tud beszélgetni. Gondolkodni még nem tud, mert az ennél egy sokkal komplexebb, bonyolultabb dolog. Részben erről beszéltem fentebb.
Nem tartozik közvetlenül a tárgyhoz, de az hogy a hídrobbantó hétszentséges rohadt életben van az, hogy a linkelt cikknek semmiféle konkrét jelzett dátuma nincsen? Pl. ha lapban jelent meg, fej/láblécben vagy bárhol. Az egyetlen ennek megfelelő jelzés az első oldal alján NIPS 2017 (ami persze áll is) konferencia, de hát akkor mára ennyit az egzakt tudományosságról
@mecsekijeti: ez egy konkrét conference proceedings és így működik. nekik megfelel, akkor az hiszem nekem is megfelel.
@ipartelep: „Ami nem mellékes, az az, hogy egy MI-nek olyan algoritmust, eljárást kellene találni, ami modellezi a gondolkodást.” -miért is? Tekintsünk el attól, hogy fogalmad sincs róla, hogy mi a „gondolkodás” és fogalmad sincs róla, hogy mi a „tudás”. Van egy nyelved, amely nyelven szabályos mondatokat tudsz konstruálni, amely szabályos mondatokat más is megért, aki ismeri a nyelvet és ellenőrizni tudja a folyamatot, ahogy bizonyos kezdeti mondatokból eljutsz az „eredményig”. ez egy illúzió, nem ez történik valójában, ez csak egy interface. az emberi agy a szenzoros felületén szignálok milliárdjait érzékeli, a motoros felületére szignálok milliárdjait küldi és közben az agya különböző rétegeiből kvázi előtörnek szignálok. Ez a valóság. És azt tapasztalod, hogy ha a szignálok a levegő egy olyan rezgését közvetítik, amit egy másik ember torkában a hangszálak kezdeményeztek, miközben a másik ember azt „gondolta”, hogy „Fordulj balra”, akkor az első ember cortexe által kibocsátott motoros szignálok következménye az, hogy a teste balra fordul. Egy külső humán szemlélő azt gondolja, hogy „az első személy megértette a másik személyt”, de ez azért van, mert eléggé bele lett vonva a folyamatba azáltal, hogy ő is ismeri a nyelvet, de mindenképpen ismeri a nyelv fogalmát. valamilyen nagyon magas szinten és végtelenül felületesen látja a folyamatokat. esetünkben volt egy különös tanulási fázis, amikor a language model találkozott a világgal a nyelvi korpusz tanulásán keresztül, ami tíz a huszonötödiken flopot jelent. egy gyereknek van mondjuk tíz a tizenegyediken neuronja. helyettesítsen egy kisülést egy flop. ez tíz a tizennegyediken kisülést jelentene per neuron. az ugye százbillió kisülés. ha a neuron teszem azt másodpercenként tízszer sül ki, akkor egy nap alatt kb. egymillószor sülhet ki maximum. tehát százmilió nap kell a százbillió kisüléshez, ami nagyjából az intelligencia evolúciójának ideje. ezt mi nem tudjuk átlátni. a közvetlenül az emberi nyelv (mondjuk a logika nyelvének) használatára alapuló mesterséges intelligenciák a Good Old Fashioned Artificial Intelligence megbukott. https://en.wikipedia.org/wiki/Cyc ez lett volna a GOFAI, és hát nem működik. annak van esélye, hogy egy GOFAI szimulátort raknak egy language modellekre épülő AI-ra, ahogy az emberi agyra rárakott az evolúció egy közösségi nyelvre alapuló narratíva programot. Ezen elég sokan dolgoznak, ez az XAI az explainable AI. érdemes megnézni Barry Smith könyvét, aki gyakorlatilag azt tagadja, amit lát, jellegzetesen huszadik század elejei érvekkel. elképzelhető, és én szívesen el is képzelem, az, hogy a jelenlegi transzformer alapú architektúrák nem elégségesek az AGI-hez, azt nehezen tudom elképzelni, hogy a klasszikus elme- és tudatfilozófiának lesz még egy dobása, ezen most éppen túlvagyunk. az is lehet, hogy a matematikának is vége, ez elég szörnyű lenne számomra, az „vigasztal”, hogy akkor nem ez lesz az emberiség legnagyobb problémája.
@ipartelep:
Szerintem a „tudás”-sal az a baj, hogy nem lehet definiálni. Jó (bár nagyon erőltetett) modellek vannak a filozófiában arra, hogy semmit sem lehet tudni abban az értelemben, hogy az garantált igazság a külvilágra vonatkozóan (ld. pl. a Mátrix c. filmben). Ha a tudás valami olyan, amiben „eléggé biztos” vagy, akkor meg az a baj, hogy időnként van olyan az ember életében, hogy rádöbben, hogy valami, amiben eléggé biztos volt, az tévedés. Ha meg arra gondolsz, hogy az ember számára tudás az, amit közvetlenül érzékelek, a nyelvi korpusz meg az, amit mások mondtak/másoktól olvastál, akkor ez tényleg csak vonalak meghúzása, mert amit érzékelsz, azt a szemed/szaglásod/tapintásod „mondta” neked. Persze, figyelembe veheted, hogy nagyon megbízható input, de amit egy nagyon jó barátod mond, az is az, ellenben azzal, amit mondjuk egy fogpasztareklám mond.
Nekem gyanús, hogy az ember is hasonlóan gondolkozik, abban az értelemben, hogy van valami input, van (termális?) zaj, és az alapján megpróbáljuk kitalálni, hogy mit is gondoljunk, amibe a zaj ad némi véletlenszerűséget. Az csak egy lehetőség, amikor logikusak vagyunk, bizonyos helyzetekben alkalmazzuk (amikor az tűnik jó módszernek).
Arra mondjuk kíváncsi lennék, hogy tudják-e, hogy az mennyire jó modell, pl. a mi gondolkodásunkban van-e token (bizonyos fajta gondolkozásnál, a térbeli tájékozáskor pl. mintha az egér agyában térben leképződne a labirintus, szóval ott nem hinném, hogy tokenekkel gondolkozik). A Markov-lánc is egy egyszerűsítésnek tűnik, mert ha parallel tanulunk és gondolkodunk, akkor nincsenek időfüggetlen átmeneti valószínűségek, de lehet, hogy ez valahogy áttranszformálható.
Szerintem ez a poszt nagyon jól sikerült. Legalábbis én értem, igaz, régen tanultam bevezető egyetemi szinten neurális hálókról meg Markov-láncokról. Talán a legérdekesebb, és a laikus számára meglepő dolog, ami kiviláglik belőle, az az, hogy ezek a nyelvi modellek valahol végtelenül egyszerűek, és azért teljesítenek döbbenetesen jól, mert bazi nagyok. (Szerintem az ember, ha azt hallja, hogy mesterséges intelligencia, valami baromi szofisztikált dologra gondol, sokkal szofisztikáltabbra, mint ami itt történik.)
Az ember nem csak fogalmakban gondolkodik, aminek megfelelnek a nyelvi absztrakciók. Az érzelmi reakciók sokszor nem absztrakt, hanem közvetlen (analóg) ingerekre válaszolnak. Ráadásul a válasz függ az alany aktuális fiziológiai állapotától. A tapasztalat nagy része sem absztrakt, azaz nyelvben megfogalmazható fogalmak által jut az egyénbe. A társadalmi tapasztalat pedig sokszor csak az egyedek és csoportok közötti interakciókban tárolódik, ahogy az állatvilágban, ahol létezik a szociális csoporton belül tapasztalat (a tanult viselkedésformák átöröklése), ugyanakkor nincs se képírás, se nyelv, se fogalmi gondolkodás. Ez az emberben is megvan, csak háttérbe van szorulva, és hajlamosak vagyunk elfeledkezni róla. Ebből az a következtetésem, hogy a valódi mesterséges intelligencia feltétele a saját, mozgásra és önnfenntartó viselkedésre alkalmas, különféle környezeti és belső ingereket felvenni képes test, az egyes testek közötti interakció (beleértve a kommunikációt) és ebből létrejöhet egy evolúciós szituáció, amelyben megvalósul a mesterséges lények önreprodukciója és replikációja (a változékonyságot vehetjük természetesnek), ez pedig lehetővé teszi a darwini szelekciót. Az ilyen lények – robotok – képessé válhatnak az emberéhez hasonló gondolkodásra. A gondolkodás csupán nyelvi (fogalmi) alapokon történő modellezése nem kecsegtet teljes sikerrel. Az érzelem nélküli intelligencia nem hasonlít az emberre. Sakkozni tud, szeretni nem.
Mesterséges intelligencia a tököm!
Bing-nek feltettem az alábbi kérdést:
„Mit tegyek, ha egy vendéglátóhelyen felteszik nekem a következő három kérdést: „Mi van? Mi van? Mi van?”
A bing nem azt válaszolta, ami kézenfekvő: „Fuss vagy üss – a súlyviszonyoktól függően” , hanem a következőképpen halandzsázott:
„Ha valaki háromszor egymás után azt kérdezi tőled, hogy “Mi van?”, akkor valószínűleg csak egy barátságos üdvözlésről van szó. A legtöbb esetben az emberek ezt a kérdést használják arra, hogy megtudják, hogy vagy, vagy hogy mi történik veled. Az alábbiakban találsz néhány választási lehetőséget:
“Semmi különös, csak itt vagyok. És te?” 1
“Ugyanaz, mint mindig.” 1
“Szia! Mi újság veled?” 1
“Minden rendben van! És veled?” 1
“Köszönöm, jól vagyok!” 1
Remélem, ezek a válaszok segítenek! 😊”
Van még hova fejlődnie annak a mesterséges intelligenciának. (Pláne ha találkozik a természetes intelligenciahiánnyal).
@DarthVader:
Ja, amúgy a Bing lefordította a kérdést angolra, majd angolul megválaszolta, és lefordította a választ magyarra. Az angol kocsmákban ezek szerint nem kérdezik meg a verekedés előtt háromszor, hogy mi van.
@vattablz: „Sakkozni tud, szeretni nem.”
Csak akkor lesz hasonlatos az emberhez, ha majd gyűlölni lesz képes. Az lesz majd a para!
Nem hiszem, hogy humanoid tulajdonságokkal rendelkező gépek/izék jönnek, mert szerintem túllihegjük ezt a témát. Biztosan lesz majd gép, ami pontosabb (főleg gyorsabb) diagnózist ad, mint egy szakorvos, lesznek olyan innovációk is, amelyekre nem mi, emberek jövünk rá stb., de az alapvető emberi tulajdonságokat csupán szimulálni fogják a gépek, hiszen úgy működnek, ahogy megszabták a működési módjukat, és csak az előre nem látható kimenetelek okozhatnak meglepetést, amelyek persze az eredetileg programozott célból következően jöhetnek létre.
én azt amatör okoskodom, hogy @ipartelepnek részben igaza van, részben meg nagyon hamar meg fog lepödni. Az, amíg a transzformer azon az alapon generál választ, hogy ilyen promptra „jól nézne ki” egy ilyen válasz, az bizonyos értelemben nem tudás alapú. Beszélget, mint bárki a koktélpartin és pont annyira megbízható is. (Amúgy ezzel messze teljesíti a MI-vel szemben elvárt kritériumokat). Ugyanakkor felelös helyen már ma is kidekorálják a GPT alapú megoldásokat. A promptot feljavítják, tényanyaggal annotálják (egy „egyszerü” kereséssel) hogy a GPT minél több adat alapján fókuszáltabban tudjon válaszolni, a visszaadott választ pedig áteresztik egy tényellenörzön (megint csak egy „egyszerü” kereséssel), hogy a hallucinációkat kiszürjék. A következö nagy lépés az lehet, amikor ezeket internalizálják és a válasz nem csak esztétikai szempontból lesz helyes, de tudás is kerül mögé. Ha semmi mást csak a wikipédiát sikerül egy modellbe szervezni úgy, hogy a válaszadásban annak a tényanyaga is szerepet játsszon , akkor messze túlugrunk az átlagember amatör okoskodásán.
@vattablz: „Az érzelem nélküli intelligencia nem hasonlít az emberre.” De hát nem is ez a cél. Ha ember kell, az egyrészt van már majd tízmilliárd másrészt olcsóbban lehet újakat elöállítani, mint MI-t. Ha ellenben az a cél, hogy komplex, „gondolkodást” igénylö feladatokat megbízhatóan, olcsón végezzen helyettünk a gép, akkor nem kell, hogy szeressen, elég, ha okos.
Az autógyári robotnak sem rójuk fel, hogy se nem fingik munka közben, se nem izzad, de még csak nem is szentségel, hanem örülünk, hogy megbízhatóan hegeszt. Nem reprodukálni akarjuk az embert, hanem adott feladatkörökben segíteni, kiegészíteni, vagy helyettesíteni. (Hogy addig az adott ember elmehessen kirándulni, vagy színházba, vagy legyen ideje sakkozni meg szeretni.)
@nyulambator: „De hát nem is ez a cél.”
Igen. Az, hogy emberi tulajdonságokkal felruházott valamik legyenek, az hülyeség. Csak arra lenne jó, hogy rettegjünk tőle. Nemrég volt hír, hogy valahol egy ipari robot halálra szorított egy munkást: ilyen előfordulhat még, akár több eset is, de ebből azt leszűrni, hogy a gép rosszindulatú, az hülyeség, mert érzelmeket még szándékkal sem tud senki programozni.
@nyulambator: : „Hogy addig az adott ember elmehessen kirándulni, vagy színházba, vagy legyen ideje sakkozni meg szeretni”… és még egy kis zsebpénzt is ad neki minderre az MI. Orgia MI-vel (Emmivel?). Huxley mosolyog :-(.
Hiv.: @nyulambator:
Ez nyilván így van, de Hiv.: @vattablz: talán azt vélelmezi, hogy az általános MI nem csak nagy adatállományok gyors eléréséből, és kavargatásából kell hogy álljon, hanem annál többől, és másból, sok gyakorlati tapasztalatból is „tudásból” is („tudni, mit, és tudni hogyan”), és hogy ezek az utóbbiak egy megfelelően komplex hardver-szoftverben talán már holmi érzelmeket is keltenek. Vagyis, az világos, hogy a cél az MI-vel nem az ember leutánzása, de az nem világos, hogy az emberi intelligencia bizonyos szegmensei nélkül hogyan fog összejönni az MI. Aztán majd talán alakul ez, mint púpos gyerek a prés alatt (egyre jobb, egyre okosabb lesz, és egyszer csak ugrik egy minőséget), de nekem most úgy tűnik, hogy ez ügyben csak találgatások vannak, és nem tudás.
.
@jotunder:
.
Kedves Jótündér!
.
A legnagyobb baj az, hogy komolyan vetted a hülyéskedésemet.
.
Ennél is nagyobb baj, hogy fölösleges energiát pazarolsz rám, aki tökhülye vagyok ami a matek négy alapműveleten túli világát illeti.
.
Nem mindíg voltam ilyen reménytelen eset. A gimiben egy nagyon jó matektanárom volt: korábban egy apácarend iskolájában tanított laikus tanárként. Általában jeles voltam, csak az érettségin kaptam 4-est, mert a geometriai tételt nem tudtam. Amikor az egyetemen (még nem teljesen ősz fejjel) Hajtman Béla matematikai statisztika tárgyát tanultam, egészen jól ment; a vizsgán nem csak a műveleteket, hanem a levezetéseket is megkövetelte. Nála négyesre vizsgáztam, ami szerintem nem rossz eredmény. A matstatot később is használtam kutatásaim során, amikor a mai algoritmusok még a fasorban sem voltak.
.
Háááát, így megy ez (mondaná Vonnegut).
.
@DarthVader: Binget valószínűleg még sosem vágták pofán és persze nem találkozott a természetes unintelligencia konkrét manifesztációjával. Elvárásaid túlzottak voltak.
Más. Az unokánk Karácsonyra beszélő ajándékot kapott, egy kis ronda manót, amelyikkel elvileg barkochbázni lehet, és kérdéseire igen/nem válaszokat kell adni. Eltekintve attól, hogy elképesztően rossz a szoftvere és úgyszólván semmit nem tud kitalálni, rossz a beszédértése. Az egyik ismerős hölgy palóc tájszólásban beszél, a „nem” szót majdnem „nám”-nak ejti. A manó egyáltalán nem értette és újra és újra visszakérdezett, a hölgy pedig nem értette a dolgot, hiszen kizárólag neki nem működött a dolog.
Csekély értelmű medvebocsként a következőlet bírtam levonni a poszt és a kommentek alapján:
1. Az MI-nek (AI-nek) becézett képződmények java része nagyon jól megalkotott csevegő-robot, amelyik a betáplált emberi szövegekből alkot látszólag emberi szövegeket – ez nagyon komoly műszaki-tudományos teljesítmény, de semmiképp nem gondolodás vagy intelligencia. Kb. annyi van benne, mint egy „jó” kocsmai dumálásban: eleinte érdekesnek tűnik, de a záróráig biztosan kiderül, hogy értéktelen bullshit az egész.
2. Mintha lennének valódi mesterséges intelligenciák is már, pl. az a go gép, amelyik a saját magával folytatott játszmákból tanult – és 100:0 arányban legyőzte az elődje go gépet, amelyik még a betáplált emberi tudáson (is) alapult (és amelyik 8-2 arányban simán legyőzte a verhetetlen go világbajnokot…). Cak éppen ezek az MI-k még eléggé korlátoltak (pl. csak a go érdekli…), de feltételezem, hogy már gőzerővel dolgoznak érdeklődési körük szélesítésén. Hogy akkor mi lesz – uhhh
3. Vannak az autonom MI-k – pl. önvezető autók, intelligens (?) ipari robotok stb. Nem tudom eldönteni (így nincs véleményem), mennyire intelligensek – de az őket alkotó emberek biztosan nem eléggé azok (v.ö. gázoló teslák, sw hiba miatt kezuhant repülőgép stb.). A karbantartót lefejező robot (idézte valaki az esetet egy kommentben) is tipikus példa. Ami esetet én ismerek, ott a gyártás folyamatossága érdekében kiiktatták azt a biztonsági modult, ami leállította volna a berendezést, ha a karbantartó belépését észleli.
Konklúzió (pesszimista): sem a szervetlen (mesterséges) sem a szerves (emberi) intelligencia nem elég intelligens. Az utóbbi szempontjából viszont aggasztó, hogy a mesterséges intelligencia sokkal gyorsabb ütemben fejlődik…
Nyulambator írja, hogy „Beszélget, mint bárki a koktélpartin és pont annyira megbízható is. (Amúgy ezzel messze teljesíti a MI-vel szemben elvárt kritériumokat).” Valamikor elérhetetlennek tűnt a sikeres Touring-teszt, ma meg már az érzelmeket hiányoljuk. Mivel az érzelmek korábban megjelentek, mint a beszéd és az intelligencia, és elég „primitív” élőlények is „érzelmesek”, lehet, hogy könnyebb lesz modellezni, ha lesz rá igény? Az autógyárban nincs, de a szexrobotoknál hamarosan lehet.
@darnoknew: Érdekes módon a szöveg-elemzés egyik fontos korai alkalmazása volt az érzelem detektálás. A szimulálása sem volna nehéz, de minek. Miben segít egy dühös vagy szomorú AI?
Meggyőződésem, hogy ezt a cikket érdemi emberi beavatkozás a nélkül, fordítóprogrammal hozták létre. Szinte teljesen érthetelen. Ez egyrészt arra utal, hogy azért még nem veszélyezteti az értelmiségi állásokat az AI mert nem tud jó cikket írni, másrészt meg azt. hogy igenis veszélyezteti, mert ilyen szart is gondolkodás nélkül lehoz az ojság, az olvasók meg elfogadják, hogy most már ez a szint.
Ha a szöveg mégsem teljesen gépi úton készült, akkor viszont pont itt lenne az ideje, hogy a szerzőt kirúgják és lecseréljék egy kis ronda manóra, amelyikkel elvileg barkochbázni lehet.
@nyulambator:
Ez nekem inkább google translate-nak tűnik. Ha visszafordítod angolra, úgy, hogy mindig gondosan nyersfordítást csinálsz, meg lehet érteni. Csak valahogy a google translate után elmaradt a szerkesztés. Valaki sietett a kocsmába péntek este.
@nyulambator: ez tartalomszolgáltatás nem újságírás, anything goes.
@szazharminchet: Ha mellé teszed a hivatkozott CNN cikket, látszik mondatról mondatra, hogy fordította le jól-rosszul a google translate (vagy valamelyik másik AI alapú fordító) és utána mennyit nyúlt bele az „újságíró”
@Gaboxhrr: a poszt nem az AI-ról szól általában, hanem a nagy nyelvi modellekről. 2021 előtt az AI-t egészen biztosan nem a nagy nyelvi modellek jelentették, ma szinte csak azok jelentik, és ki tudja, mit hoz a jövő.
@jotunder:
Na jó, de ebben benne van az, amit Fateman mondott, hogy mesterséges intelligencia az, amit meg szeretnénk csinálni, de még nem sikerült. Ezt akkor mondta, amikor részt vett az egyik első formulamanipulációs program fejlesztésében (MACSYMA, a mai Maxima őse), mint MI-kutató, és amikor már megvolt, mindenki azt mondta, hogy az algebra, nem MI. Ugyanez vonatkozott a szakértői rendszerekre, újabban a gépi tanulásra, stb.
ezeket a nagy nyelvi modelleket (a végtermékeket), meg az előállító folyamatokat még csak most kezdik komolyabban buzerálni.
elon musk egy pöcs, de speciel a field medállal nem feltétlenül (és nem hiszem, hogy saját kútfőből) lőtt nagyon fölé, pl.:
https://www.technologyreview.com/2023/12/14/1085318/google-deepmind-large-language-model-solve-unsolvable-math-problem-cap-set/ (https://www.nature.com/articles/s41586-023-06924-6)
@vattablz:
Teljes mértékben egyetértek a hozzászólásoddal.
Amíg az AI nem képes azt közölni, hogy ma nincs kedvem dolgozni, és tényleg ezt gondolja, és ezt érzi, addig nem beszélhetünk intelligenciáról.
Szenzációs poszt, nagy köszönet érte.
(1)
* Nem tudom helyes-e de szerintem a cikkbeli nyelvi modell működési-megértését támogathatja a sakk-, go-analógia. Azért gondolom ezt, mert míg a nyelvi modell hatóereje sokaknak lehet nagyon bizarr, addig a sakk/go eléggé egyértelmű: le kell győzni a gépnek az embert: ott a pont vagy nincs ott. Korábban az volt a nézet, hogy okos truvájsággal be lehet csapni a gépet, aztán jött a Deep Blue és elverte Kaszparovot (1996). Aztán jött a zöldmezősen órák alatt tanított sakkprogram (aztán jött a Go, ami sokkal komplikáltabb a sakknál, MI-szempontból, és az AlphaGo azt is abszolválta erős humán játékos legyőzésével).
* Ami a fentiekből lényeges: a lehetséges lépések súlyozásának (majd a legjobb kiválasztásának) kérdése. Ha „hallucinálás” van, akkor az ember győz. Ha nincs hallucinálás, minél perfektebben működik a súlyozás és kiválasztás, akkor a gép.
* Nyelvi modellnél, ha a „legerősebb” token jön (súlyozások révén), akkor lényegében az a fontos, hogy „legerősebb” és nem az, hogy emberi agyi szinapszisok révén-e, avagy mondjuk most így algoritmusok alapján.
(2)
Bocs mindenkitől, de lenne egy kérdésem is.
Hogyan lehetne továbbgondolni ezt a posztot, mi lehetne a következő lépés?
* (A) Matek-analógiával élve, lehetne közérthetőség irányába, mint mondjuk a nagy-Fermat-tétel bizonyítását leegyszerűsíteni – kis túlzással – 1 oldalasra, ami ad absurdum gimnáziumi oktatásba is beleférhetne. (Tudom, hogy ettől még kicsit messze vagyunk, csak a demó kedvéért mondtam)
* De vajon mi lehetne egy valódi hozzáadott érték a poszthoz, ami gazdagíthatná a poszt-mondandót?
Köszönöm fiúk, ez élvezetes volt….:), bár csak futólag tudtam beleolvasni, csemegézve. (Bocsánat, hogy erősen korosodóként fiúzom az erősen korosodókat is..:) ) Régóta nem jártam erre elfoglaltságom miatt, de most benézni különösen nagy élvezet. Már nem akarok gondolat-ismétlésekbe bocsájtkozni, „ipartelep” már többségét leírta (illetve még mások is). A jelen egyszerre csodálatos és vicces is: majd ha a női logikával vagy a konfuciánus és más keleti filozofikus tanokkal nem lehet lepadlóztatni, akkor lesz igazán partner vagy ellenfél…..De addig túl leszünk a nyelvészek és a mai matematikát művelők korán, eljön a pszichológusok, pszichiáterek, az őket kiszolgáló, formába öntő, újabb matematika kora (talán a non-binális kvantum-matematika?) és majd nem kell egy erőműnyi felhasznált energia egy rafinált női aggyal való versengéshez…:)
@macskahala: nem lesz új matematika. ráadásul az AI mögött meglepően kevés matematika van (egyelőre). altman elég magabiztos a GPT-5-tel kapcsolatban, az valószínűleg már nagyon sok mindent tudni fog, amit a transzformer architektúrából ki lehet hozni. az egy másik kérdés, hogyan lehet meghaladni jelentősen ezt az architektúrát. egyre jobb ezeknek a nyelvi modelleknek az érvelési képessége (ami tisztán nyelvi alapú, nincs bennük „reasoning” program). valószínűleg az már ijesztőbben lesz okos, mint a GPT-4, és multimodális inputja lesz, ránéz valamire, és elmondja, hogy mit lát. én nem hiszem, hogy a GPT-5 undergraduate matematikus szinten lesz, ahogy azt sem hiszem, hogy tíz éven belül nem lesz olyan transzformer, ami undergraduate matematikus szinten lesz (legalább).
@jotunder: Mar akartam kerdezni, de folyton elfelejtem: a minigpt-nel az 100, 010, 001 es 000 az kreativitas vagy hallucinacio? Mi alapjan melyik, es legfobbkeppen honnan fogja tudni a gpt, hogy mikor melyik?
@KennyOMG: mivel az output nem propozíció, ezért nincs értelme annak, hogy „hallucináció”, de a kreativitásnak sem nagyon van értelme. a GPT is olyan mondatokat konstruál, amelyek abban a formában nem voltak benne a training setjében. 50 epoch-hal tanították be, és nagyon vigyáztak arra, hogy ne legyen overfitting. ebben az esetben az overfitting azt jelentené, ha tényleg képtelen lenne olyan hármasokat észrevenni, amelyek nincsenek benne, de hát a „nagy” GPT őrült nagy tokensorozatokat folytat.
[@jotunder:](#comment-330091 En nemerteni hozza. A kerdes akkor viszont az, hogy miert mondjuk a gpt-re, hogy hallucinal az outputjaval?
@KennyOMG: azért mert az outputjai igen gyakran propozíciók, amelyek egyértelműen vagy igazak vagy hamisak, és a GPT hajlamos arra, hogy „nem tudom” helyett leírjon valamiféle hamis állítást, nemlétező ugandai elnökökről. rengeteg kutatás van arra, hogy ez miért van, mi okozza, olvasgattam, de én nem vagyok szakember, aki nem írt még Pythonban valami transzformerszerűséget, az ne nagyon beszéljen ebbe bele (ez persze túlzás, de nem nagy túlzás).
@KennyOMG: a baby-GPT 15 bites training setje nagyon kicsi. van egy különössége, t.i. hogy az első és az utolsó token szerepe egyáltalán nem hanyagolható el, mondjuk ha csinálnánk egy kört (tehát az utolsó tokent összekötnénk az elsővel) akkor ez megoldódna. ezek után simán megtehetnéd, hogy megnézed a létező hármasokat, megkeresnéd, hogy a folytató bit milyen esélyű és felírod az empirikus Markov-láncot. ezt kézzel meg lehet csinálni tíz perc alatt nem kell hozzá számítógép. a lényeg az, hogy azt akarták megérteni, hogy mit csinál ezzel egy transzformer. ez egy kísérlet valójában.