Szélhámosság-e a hálózatelmélet?
Eredeti szerző: jotunder
Nem, nem hiszem, hogy a hálózatelmélet szélhámosság, de úgy gondolom, hogy itt lenne az ideje annak, hogy a tudományos közösség komolyabban kezd foglalkozni a hálózatelmélettel kapcsolatos kijelentésekkel.
Egy Aaron Clauset nevű kutató (tulajdonképpen maga is hálózatelmélész) és Ph.D diákja Anna Broido feltett egy cikket az arXiv-ra (ez a világ legnagyobb preprintszervere). A cikkben egy nagyjából ezer adathalmazt vizsgáltak meg, amelyekben különböző hálózatok (biológiai, szociális, technológiai) vannak leírva. Alapvető megállapításuk az, hogy ezen hálózatok töredéke, összesen 4 százaléka az, amire jó szívvel azt lehet mondani, hogy nagyjából skálafüggetlenek. Annak ellenére van ez így, hogy minden idők egyik legidézettebb dolgozatában Barabási és munkatársai azt állították, hogy a hálózatok nagy hányada skálafüggetlen.
A cikkről beszámolt a Quanta Magazin is, és ennek kapcsán kisebb vita alakult ki a Twitteren Barabási-Albert László és Aaron Clauset között. Egészen világosan látszik, hogy a hálózatelmélet alapító atyái közült hárman: Mark Newman, Steve Strogatz és Duncan Watts támogatják Clauset-t. (Newmannak van egy sokat idézett közös cikke Clauset-val, amelynek a témája hasonló a Broido-Clauset cikkhez). Alessandro Vespignaniról azt mondanám, hogy elemében van….
Megpróbálom összefoglalni a kételyeimet a hálózatelmélettel és különösen a skálafüggetlenség definíciójával kapcsolatban.
1. A skálafüggetlenség definíciója tisztázatlan, de alapvetően a fokszám approximatív „power-law” eloszlását jelenti. Ugyanakkor van bizonyos kísértés arra, hogy minden „heavy-tail ” fokszám eloszlású rendszert skálafüggetlennek nevezzenek. Abban is van némi igazság, hogy egy log-log diagramon aránylag sok heavy-tail eloszlás látszhat power-lawnak, különösen ha kicsit segítünk is neki. A lényeg az, hogy a fokszám-eloszlás szinte semmit sem mond egy gráfcsalád szerkezetéről. Egy Ito nevű japán számítógéptudós olyan totálisan skálafüggetlen hálózatokat konstruált és vizsgált meg, amelyek hipervégesek. Ez azt jelenti, hogy olyan messze vannak elemi tulajdonságaikban az erősen expandáló skálafüggetlen modellektől, amilyen messze csak lehetnek. Az ég és föld kategóriakülönbségről van szó.
2. Nagyon gyakran, amikor skála-független hálózatokról beszélnek, akkor valójában egy konkrét power-law családra a preferential-attachment hálózatokra gondolnak. Szó szerint azt történik, hogy a konkrét, egyszerűen generálható PA-hálózatra néznek, és közben nagyívű fejtegetéseket tesznek közzé skála-független hálózatokról, mintha a PA-nak valamiféle különös helyzete lenne a skála-független családban, és hát nincs neki. Az az igazság, hogy a PA nagyon könnyen vizsgálható, és érdekes tulajdonságokkal rendelkező hálózatcsalád. Azt sejtetik, hogy az összes hálózat a PA-hoz hasonló egyszerű metódussal jött létre. Ezt nem mondják ki, de sejtetik. Sőt, valójában ez a legfontosabb üzenete a Barabási-féle hálózatelméletnek.
3. A hálózatelmélet legklasszikusabb ígérete az volt, hogy az Internet skála-független. Ezzel szemben az Internet NEM skála-független. Pont. Mint azt Clauset-tól tudjuk az Internet ebben nincs egyedül. Nagyon nincs. Itt szeretném hozzátenni, hogy az elmúlt évtizedekben mindig volt egy hype a tudományos világban, és ezek a hype-ok egymásra épültek. Közvetlenül a katasztrófaelmélet bebukása után jöttek a fraktálok (Mandelbrot) majd a self-organizing criticality (Per Bak) és aztán skálafüggetlen hálózatok elmélete, ami jelen volt a Mandelbrot- és Bak- féle nyelvben is.
4. A hálózatelméletet nagyrészt fizikusok alapozták meg, akik egy szép, világos, egységes elméletet kerestek. A fizikusoknak ez a foglalkozásuk, szép, világos, egységes elmélet keresése. És amikor VAN egy szép, világos és egységes elmélet, akkor igen gyakran meg szokták találni. A relativitáselmélet egyszerűsége és pontossága szinte felfoghatatlan. A fizika félelmetes dolgokra tudja használni a matematikát. Minden arra mutat, hogy a matematika alkalmazhatóságának erős határai vannak a hálózatelméletben. Legalábbis a szép, világos, egységes keretek között.
5. Clauset és társai nem csak arra mutattak rá, hogy a valóságos hálózatok nem igazán skálafüggetlenek, hanem arra, hogy a hálózatoknak nincs egységes tudománya, legalábbis ma még nincs, és azok a módszerek, amelyekkel valódi tudást nyerhetünk ezekről a hálózatokról statisztikai jellegűek. Mégpedig a „tűrjük fel az inget és essünk neki egy excel file tisztításának” szintű hardcore statisztikai módszerek alkalmazásáról van szó. Ezek komoly dolgok, nagyon komoly dolgok, évekig készítenek fel rá embereket, de tiszta matematikai szempontból sokkal kevésbé vonzóak, mint egy két perc alatt leírható modell, amiről klasszikus kombinatorikai és valszám módszerekkel gyönyörű dolgokat lehet bebizonyítani, akár van közük a valósághoz, akár nem, és ugye kit érdekel a valóság.
A Clauset-Barabási féle twitter beszélgetésben Barabási olyan módszereket használt, hogy Gulyás Gergely megirigyelné (Barabási azért ezerszer okosabb, mint Gulyás Gergely, és itt hozzá kell tennem, hogy Barabási-Albert László példamutató módon viselkedett CEU-ügyben, nem gyávult be,az biztos, a tanítványai imádják, szóval emberileg nem olyan egyszerű ez az egész). Ez bizony egy sajátos válsághelyzet. Majdnem azt mondtam, hogy paradigmaváltásnak nézünk elébe, de én ilyet nem szoktam mondani. Az biztos, hogy eljött az ideje a komoly beszédnek a hálózatelmélettel kapcsolatban.
<div class='sharedaddy sd-block sd-like jetpack-likes-widget-wrapper jetpack-likes-widget-unloaded' id='like-post-wrapper-192691293-16518588-67d8eda6ceb9a' data-src='https://widgets.wp.com/likes/?ver=14.1#blog_id=192691293&post_id=16518588&origin=www.orulunkvincent.hu&obj_id=192691293-16518588-67d8eda6ceb9a&n=1' data-name='like-post-frame-192691293-16518588-67d8eda6ceb9a' data-title='Like or Reblog'><h3 class="sd-title">Like this:</h3><div class='likes-widget-placeholder post-likes-widget-placeholder' style='height: 55px;'><span class='button'><span>Like</span></span> <span class="loading">Loading...</span></div><span class='sd-text-color'></span><a class='sd-link-color'></a></div>
@harmadikszem: metaforikusan nyilvan igaza van. mert a metaforak eleg sok mindent elbirnak. az, hogy valamifele Matthew-effect van ilyen rendszerekben az teljesen nyilvanvalo, es ezer eve beszelnek ilyesmirol. az, hogy o a fokszameloszlassal MERI a Matthew-effectet az egy igen bator allitas.
hol van ebben a vilagraszolas, konyorgom. mond valamit, ami nyilvanvalo. es ezer eve senki sem gondol mast. vannak bizonyos jelek, amelyek azt mutatjak, hogy a hype le fog csengeni.
az AI lenne a kovetkezo hype, de az nem hype, raadasul nincs szep vilagos elmelet mogotte, csak rettenetes mennyisegu tapasztalat es tudas.
@jotunder: ha igazad van az az en teruletem szempontjabol meg erdekesebb mint ha nincs. Itt a vilag legtobbet idezett hard science szerzojerol van szo tobb nature cikkel. Ez nem egy egyszeri sokalpozitiv cucc.
@harmadikszem: „a vilag legtobbet idezett hard science szerzojerol van szo” De hát nem arról van éppen szó, hogy valójában nem hard science?
És JT kissé optimista, amikor azt írja, hogy
„ugyan mi „baj” lehetne ebbol az egeszbol. mi az, hogy „rossz”? megis mennyire lehet rossz az, hogy valaki allit valamit egy aranylag absztrakt teruleten, amirol kesobb kiderul, hogy nem ugy van. ha ez valami kemenyebb technologiakozeli fizika lenne, vagy orvostudomany, az mas lenne, ez igy leginkabb az „erdekesseg „kategoriaba tartozik.”
Éppen az orvostudomány az egyik terület (a nemzetbiztonság pl. a másik) ahol nagyon is konkrét alkalmazásokat kezdtek el ebből fejleszteni, soksok pénzért. Stb.
Sem ezekhez, sem a matematikai alapkérdésekhez nem mernék hozzácsaholni, de ami a science networköt illeti, az annyi megszorítással, kiiktatással, tudományszociológiai szimplifikálással működik csak valamennyire, hogy eléggé kétséges az egész.
Már várom amúgy egy matematikában és tudományelméletben, társadalomtudományban egyaránt jártas kollégának a „Sokal-akcióját” a témában…
Arra azért kíváncsi lennék, kik (mármint melyik diszciplína képviselői) csinálják a peer review-kat a Barabási cikkeiről, és főként kik csinálták az elsőkről, a 90-es évek végén, illetve a 2000-es évek elején. Valószínűnek tartom, hogy nem matematikusok, talán még nem is fizikusok.
@Bogomil: ilyesmikre probaltam celozni. Ezek valodi kerdesek. Nagyon eros helyeken megjelent cikkekrol van szo ez nem a sokal sztorija.
@harmadikszem: Most már szerintem a networkscience „kitermelődött” saját emberei. Az igazi kérdés a kezdet. De ezt valószínűleg soha nem fogjuk megtudni…
@Bogomil: tobb kezdet van tobb emberrel. Ezek kozul sok klasszis. Albert Reka onmagaban is vilagsztar. Itt ez egy sokkal erdekesebb dolog szerintem annal mint ami most latszik belole.
@harmadikszem: Nature, Science. Igen. De ettol azok a cikkek meg nem igazan ertekesek valamifele aranylag objektiv merce szerint. Ezek egy igeretre epulnek. Az igeret pedig az, hogy a valodi halozatok PA-alakuak. Nagyon nem azok. Es ezt egyre hangosabban kezdik kimondani. Vannak, aki nyilvanosan koklernek nevezik Barabasit. Komoly emberek. Siman. Nezd meg, hogy mik is hangzanak el az Alapitoatyak szajabol, ovatosabb dolgok, de azert eleg hatarozottak. Igen, ezek kozott az emberek kozott van rivalizalas, de az, hogy Strogatz, Watts es Newman (o mar eleg regen) elkezd ezekrol a dolgokrol igy beszelni az jelent valamit.
En nem allitom azt, hogy a halozatelmeletben valamifele tisztito vihar fog kitorni, de meg azt sem zarnam ki. A fraktalelmelet (abban a formajaban, ahogy Mandelbrot elkepzelte) csendesen tunt el, a SOC szinten. Lehet, hogy az fog tortenni, hogy elkezdik csokkenteni a scale-free ugyek tamogatasat es lassan el fog halni a network theoryn belul, viszont maga a halozatelmelet megtalalja a helyet. Az nem ketseges, hogy a scale-free hype megalapozatlan es egyes esetekben nyilvanvaloan teves allitasokra epul. Ebben lassan konszenzus alakul ki.
@jotunder: Az AI hype-ja megvolt a nyolcvanas, kilencvenes években. Akkor megvolt az alapja mindannak, ami most kezd müködni. Akkor nekifutott a világ aztán vérzö orral pattant le a hardware korlátai miatt. Utána vagy harminc éven át szorgos kezek faragták az elméleteket meg próbálkoztak az egyre erösebb vasakon. Nagyon úgy néz ki, mostanra lett elég erös a hardware, hogy valamit tényleg meg lehessen csinálni azokból, amiket elméletben már harminc éve kidolgoztak.
@ámbátor: „Nagyon úgy néz ki, mostanra lett elég erös a hardware, hogy valamit tényleg meg lehessen csinálni azokból, amiket elméletben már harminc éve kidolgoztak. „
Egyrészt elég erős már a HW.
Másrészt vannak elég nagy adatbázisok.
Harmadrészt vannak új algoritmusok. Egy DNN nem „csak egy nagyobb ANN”, nagyon nem.
@jotunder: „Az nem ketseges, hogy a scale-free hype megalapozatlan es egyes esetekben nyilvanvaloan teves allitasokra epul.”
Egyébként ez önmagában nem gond, mert mi nem épül téves állításokra, ami aztán mégis működik. Az a kérdés, hogy ha úgy teszünk, mintha igaz lenne, ami nem igaz, és ehhez igazítjuk az eljárásainkat, akkor azok a gyakorlatban vajon működnek-e?
@közösperonos átszállás: nincs gyakorlat. a valosagos halozatos problemakra nem lehet raugrani azzal, hogy tudjuk mi tortenik egy olyan halozatban, amelyhez semmi kozuk.
@jotunder:
Nincs ugrálás. Az ember fia egyszer csak észreveszi, hogy be van hálózva, vagy bele van gabalyodva a hálóba. Nincs menekvés.
@jotunder: Mi az az SOC?
@jotunder: „nincs gyakorlat.”
Ha nincs gyakorlat, akkor nincs semmiféle probléma sem.
„a valosagos halozatos problemakra nem lehet raugrani azzal, hogy tudjuk mi tortenik egy olyan halozatban, amelyhez semmi kozuk. „
Amennyire én értem, annyit tudunk mondani, hogy valamivel kevesebb közük van a modellünkhöz, mint gondoltuk. Mert pont olyan nem volt előtte se (emlékszel, hányszor mondtad, hogy tisztogatni, tisztogatni?), viszont tényleg érdekelne, hogy akkor ez most mindannak a működését a gyakorlatban mennyire befolyásolja, amit erre a kártyavárra építettünk rá gondosan.
Mondok egy példát; csillió olyan eset van, mikor azt mondjuk, hogy két dolog valószínűsége teljesen független egymástól. Miközben _tudjuk_, hogy nem független, józan paraszti ésszel bárki megmondja, hogy függetlenek ám a túrót; de ha azt mondjuk, hogy nem függetlenek, akkor csak a vállunkat vonogathatjuk, hogy hát izé, mittomén, mit lehet ezzel csinálni. Viszont ha feltesszük, hogy függetlenek, akkor az együttes valószínűségüket mindjárt egy egyszerű szorzással megkaphatjuk. Aztán erre építünk valami rendszert, ami működik.
Én valahogy így képzelem a helyzetet most is, illetve (talán ez pontosabb) így látom. És látok pár lehetőséget is, például hogy azt mondtuk egy csomó dologra, hogy PA, de ezt nem használtuk aztán semmire, csak úgy feltettük a szekrény tetejére; na erre mondtam, hogy ez igazából nem egy nagy probléma akkor. Ha viszont ezt használtuk valamire, építettünk rá további feltételezéseket, akkor azok vagy igazolva vannak továbbra is mérésekkel, vagy továbbra sem.
Azt mondjuk elismerem, hogy egy matematikusnak valószínűleg nem áll rá az agya arra, hogy „It may come out all right in practice, but it’ll never work in theory!”. 🙂
Még hogy nincs AI hype: 4cdn.hu/kraken/image/upload/s–fGgDB09J–/w_1160/77hOnxoR9khzCsAjs.png
@jotunder: Az első bekezdésed itt egy hibás érv! Feltételezem, tudod, mi a Pólya urna, hogyan speciális esete a de Finetti tételnek, és mindennek még a PA-hoz is köze van, Berger, Borgs, Chayes, Saberi alapján. Namármost, a Pólya urnában a pusztán véletlen PA típusú folyamat ugyanazt eredményezi, mintha az egyik szín jobb minőségű lenne a másiknál.
@Bogomil: self-organizing criticality, benne van a cikkben
@Mister Gumpy: A Pólya urna folyamat azt jelenti, hogy egyenletesen véletlenül kiválasztasz egy végső eloszlást. Igen, mondhatod azt, hogy az ugyanaz (ez a de Finetti, ha jól emlékszem) mintha először választanál véletlenül p-t és lenne egy p valószínűségű színed és egy 1-p valószínűségi színed. Ez a gráfoknál valami olyasminek felel meg, mint ha a PA helyett egy determinisztikus önhasonló konstrukciót csinálnál (Ravasz-Barabási, vagy Ito). Igen ám, de a két gráf minőségileg fog különbözni egymástól, annak ellenére, hogy a fokszámeloszlásuk ugyanaz lesz.
@jotunder: De mi lenne egy ilyen aránylag objektív mérce?
@jotunder: Te azt látod, hogy melyik kommentedre válaszoltam? Amit @harmadikszem:-nek írtál, hogy azért nem lehetne a citációs gráf PA-szerű, mert van a cikkeknek minősége is. Azt próbálom elmagyarázni, ez miért rossz érv.
Elsőre blikkre a Pólya urna is csak teljesen véletlen, a végére mégis „kiderül”, milyen a „minősége” a két színnek. És Berger, Borgs, Chayes, Saberi konkrétan a PA lokális limeszét írja le Pólya urnák segítségével, nem valami másik modellről beszélek, ami nem hasonlít a PA-ra. Nem egészen értem, te mire gondoltál a nekem válaszodban, de egyáltalán nem arról van szó, mint amit írni látszol, hogy választasz véletlenül egy determinisztikus önhasonló struktúrát, aztán gyerünk. A PA-nak a BBChS szerinti reprezentációjában sokkal inkább lokálisan van egy csomó Pólya urnád. És mivel a citációs gráf a valóságban olyasmi, a kommented szerint legalábbis, hogy véletlenül kiosztod, hogy melyik cikk milyen minőségű, aztán ebből fölépítesz egy főleg a minőség által irányított gráfot, és mivel BBChS szerint egy nagy PA gráf is ehhez hasonlóan néz ki, akár lehetne is, hogy a citációs gráf is PA-szerű. Hogy bemérték, és mégse olyan, az lehet, de az nem jó indok, hogy a cikkeknek van relevanciája.
Bocs, ha nagyon matek-elitista vagyok, de ez vihar egy pohár vízben. Majdnem semmilyen tudományos relevanciája nincs, hogy power law gráfok-e a való életbeli networkok. Pont az Barabási bűne, hogy elhitette egy csomó, a matekhoz nem értő emberrel, hogy ez egy releváns kérdés. Bűne, nem hibája, mert nem gondolt utána, értelmes-e, amit mond, hanem csak megtetszett neki az „új paradigma”, és onnantól ezt nyomta, ahogy a csövön kifér. Ezért lehet kóklernek hívni.
@Mister Gumpy: az igazan durva indok az, hogy a PA expander a citacios graf rohadtul nem.
Kábé bármire, amit mondtok, simán lehet azt mondani, hogy jó, de ez nem releváns a real life network-ök esetében.
Akkor lehet értelmesen vitatkozni ilyenekről, ha legalább kérdésszinten valamilyen közösség van.
Addig csak intellektuális pöcsverés, ami persze tud szórakoztató lenni, mármint főleg azoknak, akik beszállnak húzogatni. Nagy forgalom, kis haszon.
@ámbátor: Az AI-nek szerintem elég erős „hype”-ja volt már a számítógépek elterejedésének az elejétől (akár az 1950-es évek) az AI winter-ig (1970-es évek eleje, és ismét a 80-as évek végén és a 90-es évek elején).
Szerintem egyáltalán nem arról pattantak le, hogy gyenge volt a hardware, hanem hogy nem a megfelelő alkalmazásokkal próbálkoztak. Az emberi intelligenciát akarták leutánozni (gépi fordítás, „expert systems”), pedig még egy guppiét sem sikerült. Most sem ezek a témák sikeresek, hanem a képfelismerés, adott konkrét feladatok megoldása (pl. deep learninggel), autóvezetés.
Amiben jók voltak az első hype alatt, az a sokat igérés.
@szazharminchet: hype-ok mindig voltak, és lesznek. Btw. az autót vezető AI-nek szükséglete az autóvezetés? Milyen szükségletét elégíti ki a fordító a fordítással? 😉
Szvsz. amiről a hype megy, az nem AI, hanem korlátozott feladatkörre programozott „robotok”, melyek kétségtelenül magas szintű matematikai-informatikai eszközök felhasználásával végzik tevékenységüket. A fejlődés óriási és letagadhatatlan.
Ámde (majd 4x ‘ámítástechinkai gyakorlattal) én ugyan nem látok AI-t. Nem volt paradigmaváltás. Sejtésem szerint majd a kvantumszámítógépek talán meghozzák, de ez nem bizonyosság, csak érzés.
Hype az volt a Moore-törvénytől, a címtárakon át a bigdata-ig dögivel. Most van (megint) az „AI”.
@ijontichy: Szerintem az AI-jal már az is a probléma, hogy nem tudjuk, mi az az I. A kezdeti, szerintem elég naiv, AI azon alapult, hogy intelligens az, ami/aki úgy viselkedik, ahogy én (vö. Turing-teszt, ami szerencsére úgy tűnik, hogy nem igazán Turingtól származik, matematikusként eléggé szégyellnék egy ilyen rosszul definiált cuccot). Az A-ról meg: abstrusegoose.com/215 .
Most meg az tűnik a legjobb definíciónak, hogy az az AI, amit még nem csináltak meg. Szerintem volt paradigmaváltás, mégpedig az, hogy elkezdtek tanuló rendszereket alkotni, és azokat ésszerű feladatokra alkalmazni (nem olyanokra, amihez emberből is okos ember kell, hanem olyanra, amit azért egy jobb macska is tudna).
(Hogy a kvantumszámítógép hoz-e bármit az AI terén, hát… nem bocsátkoznék becslésekbe. Azért a kvantumszámítógép kvantummechanikai leírása (véges szabadsági fokú kvantumrendszer), az kb. linalg, hogy annál sokkal többet fog-e tudni a gép, vagy csak azt, baromi gyorsan, azt majd meglátjuk.)
@szazharminchet: „Szerintem volt paradigmaváltás, mégpedig az, hogy elkezdtek tanuló rendszereket alkotni, és azokat ésszerű feladatokra alkalmazni (nem olyanokra, amihez emberből is okos ember kell, hanem olyanra, amit azért egy jobb macska is tudna).”
Azon speciel túlvagyunk már rég egy csomó területen (egy csomón meg nyilván egy nyolcéves gyerek szintjén sem). Viszont azt is megtapasztaltuk, hogy a „jobban, mint az ember”, az egy géptől egy csomó esetben nem elég. 🙂 Kutya se venne önvezető autót, ha azok (lenormálva) csak fele annyi halálos balesetet okoznának, mint az emberi sofőrök, de ugyanez van orvosi területen is (ott a gép téved = a gép megöl = botrány, az orvos téved meg, hát, emberek vagyunk).
Én azt szoktam mondani, hogy az AI-feladat mostanában, ami nem tisztán algoritmikus feladat, és nem baj, ha nem érjük el az ember szintjét, viszont azért legyen egész jó és be lehessen vetni tömegesen (az embert ugye nem lehet, ill. lehet, csak drága). Persze aki AI-n Skynetet ért, annak: nem, sehol nem tart még a terület. 🙂
@szazharminchet: „hogy nem tudjuk, mi az az I.” Nálad a pont.
Ahogy látom, több(féle) kérdés is felmerül ezzel a hálózatelmélettel kapcsolatban.
Van-e egyáltalán hálózatelmélet? Mit kell a hálózatokon „elméletezni”? Miről van itt egyáltalán szó, a hálózatelmélet nem egy analitikus matematikai diszciplina? Vagy fizikai diszciplina, a valóságos hálózatok tulajdonságairól akar valamit mondani? Mit mond erről? Mi az, ami abban új, eddig nem tudott, nem triviális, értelmes, hasznos, használható tudás? Nem csak arról, van itt szó, hogy felkaptak, hájpoltak egy új területet, ahol „tudósnak látszó tárgyak” csinálnak valamit? Egyáltalán, mi mondható el Barabási tevékenységéről, milyen az? Olyan, mint a Sokal által gyakorlatilag kigúnyolt posztmodernista filozófusok, nyelvészek, stb. tevékenysége, nevezetesen, hogy értelmetlen halandzsa? Vagy értelmetlennek nem az, csak hamis? Vagy nem is hamis, csak triviálisan igaz (Mari néne is tudná, ha 5 percig elgondolkodna rajta)?
És csak kérdezek. (Eddig kérdeztem.) Én egyáltalán nem értek a hálózatelmélethez, ilyenkor csak szag után tudok menni. Ezek a szagok nekem azt súgják (nem szó szerint súgják, mielőtt…), hogy Barabási ugyan nem az a kategóriájú halandzsaművész, mint a Sokal által bíráltak, és nem is áltudományt művel, mint mondjuk a homeopátiával foglalkozók, de nem is fedezett fel (vagy talált fel) semmit. Jól felkapta egy divathullám, oszt most a figyelem mindenhonnan ráirányuló sugaraiban sütkérezve, kényelmesen utazgat annak hátán. Ez igazából a „király meztelen” szindróma, csak hát… Csak hát ezt nyilván nem nekem laikusnak kell kimondanom (szag után ugye), hanem a terület szaktudósainak. És ha valóban így van (hogy kókler), és valamiért mégsem mondják ki, akkor ott azért van némi probléma.
@ipartelep: Ez igy nem igaz. Rengeteg komoly ember foglalkozik halozatok vizsgalataval. Fontos dolgokat lehet megtudni roluk. Nincs nekik olyan ertelemben vett kristalytiszta elmeletuk, mint a kommutativ gyuruknek. Azaz, amikor van, akkor azok a halozatok nem valosagosak, hanem konstrualtak es tulajdonkeppen grafelmeletrol van szo. A grafelmeletnek termeszetesen vannak alkalmazasai, de ezeket nem szoktak halozatelmeleti alkalmazasoknak nevezni. Vannak azert eleg hasznos, de a Barabasi halozatoknal nagysagrendileg komplikaltabb modellek az igazi halozatelmeletben is. Barabasi egy modellnek az apostola. ami nagyon szep modell, izgalmas dolgokat lehet megfigyelni rajta, de nagyon vigyazni kell azzal, ha az ember ezeket a megfigyeleseket alkalmazni akarja valosagos halozatokra (a legjobb az, ha nem tesz ilyet az az ember).
@jotunder: Jó, de hát azért ezeket, hogy szélhámosság-e ez az egész (nem Barabási elmélete, hanem az egész hálózatelmélet) te pedzegeted, nem én. és már ugye nem is az első blogposztodban pedzegeted. Itt azért zörög valamiért a haraszt.
És hát szép Barabási-modell ide vagy oda, az is óvatosságra inthet itt, hogy ha jól emlékszem Barabási valami olyasmit is mondott, hogy a modelljével (elméletével) előre jelezhetők a jövőbeli társadalmi események. Amire viszont már Besenyő Pista bácsi edzője is felkapná a fejét, hiszen ki akar egy Boborjánt edzeni, amikor ilyen tehetséges tanítványa is lehetne?
De végül is én itt csak azt mondom, hogy azért a szagértőknek már illene eldönteniük, vagy rájönniük arra, hogy Barabási milyen fokú kókler.
@ipartelep: Helyesen persze: Besenyő Pista bácsi kapná fel a fejét, aki Boborján edzője. (Volt eddig.)
@közösperonos átszállás: „Egy DNN nem „csak egy nagyobb ANN””, hát nem, de azért olyan nagyon nem „nagyon nem” 🙂
@közösperonos átszállás: Ja és a kérdés, mi az, ami nem volt meg 20-30 évvel ezelőtt?
De ha már elméletek… Bocs. ez nem pont hálózatelmélet, de annyira vicces. Nem tudok ellenállni a kísértésnek, hogy be ne linkeljem ide:
24.hu/belfold/2018/01/07/hatalmas-dobasra-keszulnek-a-magyar-laposfoldesek/
@Szindbad: Mint már mondtam,
1) gép,
2) adat,
3) algoritmus.
És kell mindhárom… Amennyiben csak a hármas ponton belülre gondoltál (nem volt egyértelmű nekem, szóval nem kioktatni akarlak, csak gondoltam, egyszerűbb egy körben mindkét lehetőséget megválaszolni), egy szigmoidos háló egyszerűen nem tanul rendesen sok (mittomén, akár már három) rejtett réteggel. Aztán jött Hinton az előtanítással, aztán az ötlet, hogy tanítsuk rétegenként (mindig hozzáteszünk a tetejéhez egyet és úgy), aztán a ReLU és variánsai. Harminc éve 1988 volt, és még húsz éve is csak 1998, ezek meg még a fasorban sem.
(Természetesen minden konferencián találhatsz tetszőleges számú Nagy Öreget, akik előadják, hogy ezt ők már kipróbálták 1983-ban C64-en, csak akkor még a BASIC nem támogatta a lebegőpontos számábrázolást, és hát azért. 🙂 )
@jotunder: „Barabási nem egy kókler”, de én azt hiszem hogy most már nincs egy olyan mérföldköves cikke sem, ami ne lett volna megcáfolva: WWW, internet szerverek, áramelosztó hálózatok, metabolikus hálók, email, etc etc.
„Barabási’s “work” is a regular feature in the journals Nature and Science despite the fact that many eminent scientists keep demonstrating that the network emperor has no clothes.”
liorpachter.wordpress.com/2014/02/10/the-network-nonsense-of-albert-laszlo-barabasi/
Sapienti sat.
@közösperonos átszállás: Józan ember nem mondja, hogy minden kész volt 30 éve, de az alapjai ott voltak, a legfontosabb AI területeket akkor pisálták körbe: képfeldolgozás, beszédfeldolgozás, természetes nyelvek kezelése, szakértö rendszerek, gépi fordítás, szabály alapú rendszerek, neurális hálók. Mindezek elindultak, aztán hardver és adat híján a gyakorlati megvalósulásuk megrekedt, de az algoritmusokon okos fickók papíron ceruzával meg a mindenkori vasakat feszegetve bütyköltek tovább, és mostanság kezd odaérni, hogy összeér a vas, az adat meg az algoritmus, hogy gyakorlatban is fel tudnak mutatni valamit.
@közösperonos átszállás: De ha még csak annyit kérdezel is, hogy miért jobb a DNN az ANN-nél, nem elméleti választ kapsz, hanem azt, hogy hát az a _tapasztalat_, hogy jobb, de nem tudja senki, hogy miért.
stats.stackexchange.com/questions/182734/what-is-the-difference-between-a-neural-network-and-a-deep-neural-network
Kísérletezés folyik inkább, mint elméleti alapozás, én pedig az elméleti eredményekre kérdeztem rá.
@Szindbad: „De ha még csak annyit kérdezel is, hogy miért jobb a DNN az ANN-nél, nem elméleti választ kapsz, hanem azt, hogy hát az a _tapasztalat_, hogy jobb, de nem tudja senki, hogy miért. „
Erre egyrészt az a válasz, hogy erről megoszlanak a vélemények, másrészt meg az, hogy ott van mondjuk a vanishing gradient effect.
Szerintem meg a C) válasz ér igazából, tehát hogy bakker, ez alkalmazás (gyakorlati tudomány, ha tetszik), ahol per def elég, ha stabilan jobban működik. Aztán ha van elméleti háttér, az jó, de ha nincs, az se nagy kár, anything goes.
„Kísérletezés folyik inkább, mint elméleti alapozás”
Ezen tényleg meglepődtél? 🙂
(De azért itt inkább arra kell gondolni, hogy a kísérleti validálás elengedhetetlen még egy matematikailag jól hangzó elmélet esetén is; ki ne találjuk már, hogy a Hinton-féle előtanítás csak úgy lóg a levegőben mindenféle elméleti-matematikai alap nélkül.)
„én pedig az elméleti eredményekre kérdeztem rá. „
Just for the record, nem. (Miért a hirtelen ellenséges hangnem, egyébként?) Te arra kérdeztél rá, hogy mi nem volt még 20-30 évvel ezelőtt.
Amire a válasz a fönti hármas, és persze, a 3)-as pontot tovább lehet bontani elméleti meg gyakorlati részre, amelyek különböző mértékben nem álltak rendelkezésre 20-30 évvel ezelőtt. Persze, perceptron volt már a 80-as években is, és az is nyilvánvaló, hogy adat meg vas nélkül mindegy is, hogy elméletileg vagy algoritmikailag mennyire álltak volna akkor készen a mai dolgokra, mivel nem volt adat meg vas; de mind elméleti, mind algoritmikai áttörés bizony volt. (Ez leginkább onnan látszik, hogy a DNN-ek megjelenésekor-elterjedésekor volt egy ugrás, az adat/CPU viszont előtte és utána is folyamatosan fejlődött.)
@ámbátor: „Józan ember nem mondja, hogy minden kész volt 30 éve, de az alapjai ott voltak,”
Józan ember nem mondja, hogy a mostani hype alapjai nem voltak ott már 30 éve. 🙂
„a legfontosabb AI területeket akkor pisálták körbe: képfeldolgozás, beszédfeldolgozás, természetes nyelvek kezelése, szakértö rendszerek, gépi fordítás, szabály alapú rendszerek, neurális hálók.”
A rosseb tudja, ez igazából tényleg attól függ szerintem, hogy hogyan építi fel a mesélő a történetet. A föntiek közül egyes területeket már az 50-es évek óta pisálnak körbe szorgalmasan, egyes területek (pl. autóvezetés-segítők) csak a közelmúltban kezdtek körbepisálni; egy részük feladat, egy részük terület, egy részük meg alkalmazott technika, amiből aztán tényleg esetleges, mit meddig tekintünk ugyanannak (megintcsak: a DNN csak egy sima ANN, vagy minőségileg más? Nem nagyon szeretnék IRL-ezni, ezért nem hoznék pontosabb példákat a saját területemről, de a sima ANN-eket pl. általában szinte a kutya se használta, mert a GMM-eknél nem voltak jobbak, most meg ugye).
Ráadásul írásfelismerésen is érthetünk egyforma négyzetekbe rajzolt amerikai stílusú számjegyeket meg tetszőleges, folyóírással megalkotott ZH-macskakaparás elolvasását; képfeldolgozás a Lennával játszadozás is meg a reptéren mászkáló emberek követése is (az összesé, természetesen), de azért a kettő mégis ég és föld. Nem csak az adatmennyiségben különböznek. Ahogy nő egy rendszer pontossága, úgy kezdik kiterjeszteni a használatát nehezebb területekre is, ahol persze szarul fog teljesíteni és hegesztgetni kell; és harminc év múlva bizony az architektúra is csak madártávlatból fog majd bizonyos fokú hasonlóságot mutatni.
A szabályalapú rendszereken amúgy nem tudom, mit értesz; amit én értek rajta így előszörre, az pont kikopott mostanra, mert a külső/emberi tudás fokozott bevitelére szolgáltak, amit azóta az adat/vas/algoritmus hármas fejlődése miatt a statisztikai alapú tanulás a legtöbb területen alapvetően megvert (részben pontossága miatt, de nyilván az „olcsóság” is játszik).
„aztán hardver és adat híján a gyakorlati megvalósulásuk megrekedt, de az algoritmusokon okos fickók papíron ceruzával meg a mindenkori vasakat feszegetve bütyköltek tovább”
Itt látok egy lényegi elemet. Itt alkalmazott tudományról beszélünk; teljesen mindegy, milyen képzelt fémmel számolja ki valaki, hogy milyen elegáns házat lehetne olyan szerkezettel felhúzni, a statikusok kiröhögik, és alappal. (Ez az én szubjektív véleményem persze.) Ugyanígy, akármilyen frappánsan old meg valaki egy (megengedem: még) nemlétező problémát, azt kísérleti igazolás nélkül (és hát probléma nélkül hogy is lenne igazolható) a szakma joggal tartja egyszerű szellemi maszturbálásnak.
A dolog szemmel láthatóan úgy működik, hogy a most előálló problémát kell megoldani, a most rendelkezésre álló hardverrel, és a túlnyomó többség ezt tudja is. Meg eleve is, nincs értelme azon agyalni, hogy hogyan tudnád hatékonyan tanítani a DNN-edet, ha két nagyságrenddel több adatod lenne, mint bárkinek, akit ismersz, hogyha nem tudod (mert nem is tudhatod), hogy olyan sok adattal egyáltalán mehetsz-e bármivel többre egy DNN-nel, mint most. (Azaz: lehet, hogy a probléma, amivel küzdesz, a jövőben sem merül fel soha még hasonló formában is.) Szűk húsz éve épp az SVM volt nagy szám, aztán meg az AdaBoost.
Pont ezért szerintem amit írtál, az nem áll, mivel ez nem pont egyenrangú kapcsolat; tehát hogy
„és mostanság kezd odaérni, hogy összeér a vas, az adat meg az algoritmus”
…az ugyan szó szerint igaz, de ez úgy működik, hogy ha van vas meg adat, AKKOR kell az algoritmus. Előtte nem nagyon szokott megjelenni, szerintem a fönti okok miatt (tehát hogy a kísérleti validáció elengedhetetlen, és hogy adat híján fogalmad sem lehet, hogy az irány, amerre elindultál, jó lesz-e). És még egyszer: az adat és a vas szép fokozatosan gyűlt előtte is meg utána is; de azt a pontot, amikor bejött a DNN, meg fogod találni a hibagörbéken.
@közösperonos átszállás: Mert a DNN mint deus sexmasinája jelent meg ugye pallas athéné fejéből kipattanva. Vagy mi.
en.wikipedia.org/wiki/Deep_learning#History
yann.lecun.com/exdb/lenet/
Amúgy én valamikor a kilencvenes években már élesben használtam NN alapú kézzel írt számjegy felismerőt tömeges űrlap feldolgozásban. 98-99%-os pontosságot tudott és lépést tartott egy ipari szkennerrel. Mondjuk űrlaponként pár tucat számjegy volt fix helyen, szóval nem kellett keresgélni a felismernivalót.
@ámbátor: „Mert a DNN mint deus sexmasinája jelent meg ugye pallas athéné fejéből kipattanva. Vagy mi.”
Erre mondhatnám, hogy józan ember nem mondja, hogy a mostani hype alapjai nem voltak ott már 30 éve, de pont az előbb már mondtam is. 🙂
Pontosan mit állítasz? Mert én azt, hogy „a DNN nem „csak egy nagyobb ANN” ” (ez van föntebb is), és látszólag velem szálltál vitába, tehát ezt kellene vitatnod.
„Mondjuk űrlaponként pár tucat számjegy volt fix helyen, szóval nem kellett keresgélni a felismernivalót.”
Erre utaltam az előbb, hogy a kézírás-felismerésen most már nem azt értik, mint húsz éve, hanem hogy nesze egy folyóírás. (Természetesen HMM is volt már húsz éve.)
@közösperonos átszállás: Nem hiszem, hogy nagy vitánk van.
Csak annyit próbáltam jelezni, hogy nem arról van szó, hogy a HW meg az adat egyre gyült, aztán egy kedd reggel jött a DNN és megoldotta a keleti kérdést. Az algoritmusok ugyanúgy szervesen fejlödtek, a DNN már a nyolcvanas években ott volt mint elmélet, és még gyakorlati alkalmazásai is voltak. Mégis, amikor mindhárom összetevö eljutott a mai szintre, akkor léptünk át egy olyan küszöböt, amitöl hirtelen az AI megint sikkes lett, és már nagyobb arányban tudja teljesíteni az ígéreteit, mint azelött.
A számjegyfelismerés nem lett kevésbbé AI feladat attól, hogy müködik. Nem szeretem azt az AI definiciót, hogy az AI mindig csak az, ami még nem megy. Vannak AI feladatok, amiket már rutinszerüen használunk. Attól, hogy Alexa meg Siri ágyba hozzák a kávét nem lett kevésbbé AI feladat az, hogy már tizenöt éve minden mobiltelefon tud hangvezérléssel tárcsázni.
http://www.voicebot.ai/2017/07/14/timeline-voice-assistants-short-history-voice-revolution/
Nyilván a megoldott feladatokon már nincs mit rágni, tovább lehet lépni, komplexebb feladatokra. Sakkról a GO-ra, onnan már nem tudom hova. önvezetö metróról az önvezérlö autókra, onnan majd az interaktív közlekedési rendszerekre. De valójában nincs törés, vagyis inkább ugrás a fejlödésben, csak érzésre, publicitásra. Egyik megoldott feladatból szervesen jön a következö.
@ámbátor: „Az algoritmusok ugyanúgy szervesen fejlödtek, a DNN már a nyolcvanas években ott volt mint elmélet, és még gyakorlati alkalmazásai is voltak.”
Én ezzel annyiban vitáznék, hogy az anno ANN volt, a DNN pedig valóban hirtelen pattant elő a fiókból, és ugrásszerű változást hozott.
Amihez egyrészt kellett a HW és adat folyamatos fejlődése, másrészt személy szerint azt sem hinném, hogy az ANN-DNN váltás minőségi fejlődés lett volna (te sem állítottad; pont azt mondom, hogy sokan hisznek ebben, de sem te, sem én nem). Mennyiségi fejlődés volt; abból nagyságrendi, de nem valami gyökeresen új dolog, csak sokkal jobb, mint ami előtte volt. (És a sokkal is relatív, 20% már nagyon sokkal jobb.)
„Sakkról a GO-ra, onnan már nem tudom hova.”
Atari játékokra? 🙂
(De tényleg, nem vagyok biztos benne, hogy gépi tanulási szempontból a GO vagy egynéhány ilyen ősi joystick-gyilkos játék a nehezebb.)