Hogyan hekkelték meg a Times egyetemi rangsorát
Nemrég írták meg a magyar lapok, hogy a Semmelweis Egyetem a világ legjobb 250 egyeteme közé került a Times rangsorában.
Így a Semmelweis a Rutgers Egyetemmel került egy szintre. Az egyetem kutatási teljesítménye valamivel elmaradt az ELTE-től, viszont idézettségben a maximális 100 pontból 87.9-et kapott. Ezzel megközelítette a zürichi ETZH-t, és megelőzte a lausanne-i EPFL-t, a genfi egyetemet, a két nagy müncheni egyetemet, a Sorbonne-t, a Paris Saclay-t (ami a nagy listákon az első francia egyetem szokott lenni). Igen ám, de nem csak a Semmelweis Egyetem szerzett 87.9 pontot idézettségre alacsony kutatási teljesítmény mellett, hanem a szaúdi Tabuk Egyetem is, mely egyetem általában nincs is a szaúdi listák elején.
Kiderült, hogy a ranglista első öt helyezettje idézettségben
- Arak University Irán (ezzel bekerült a legjobb ötszázba az összesített listán, miközben egy iráni listán a hetvenkettedik iráni egyetem!)
- Cankaya Unviversity, Törökország (szintén a legjobb ötszázban, ő sem player Törökországban)
- Duy Tan Universtiy, Vietnam (dittó legjobb ötszázban)
- Golestan University, Irán (a legjobb négyszázba került)
- Jimma University, Etiópia (a legjobb hatszázban, megelőzve az ELTE-t)
Ugyancsak a legjobb ötszázba került a tanzániai Muhimbili Egyetem 99.9-es idézettséggel és a hatszázba (tehát az ELTE elé, a sri lankai Peradeniya Egyetem és a legjobb négyszázba a ghanai University of Cape Coast, mely egyetem idézettségben pont a Princetonnal került holtversenybe és “lenyomta” Oxfordot és Cambridge-t.
Én nem értem, hogy ebből miért nem lett óriási botrány, talán azért, mert nem nagyon érdekel senkit a Times listája, de ez az egész kicsit aggasztó.
Várható volt. S remekül példázza mind a rangsorok, mind az idézettség (meg az összes többi istenített mutatószám) értelmetlenségét: mint tudjuk, nem csak az számít hányan idéznek, az is, hogy ki meg hol (majd amikor divattá vált az illető személy vagy írás, a ki többé nem érdekes, mert mindenki hivatkozni fog rá, ha kell, ha nem).
Rémlik valami nagy botrány még az ősidőkból, amikor valaki azért írt hülyeséget, hogy rengetegen cáfolják, s attól csodás idézettsége lett… akkor ezen még fennakadt a tudós világ, most meg valószínűleg csak vállat von.
Persze, ettől még elszomorító.
Az hogy lehetséges, hogy ezt nem vették észre, ill. hogy nincs róla szó?
Ha egy ilyen abszurd eredmény jön ki, el kellene gondolkodni, hogy mit is mér tulajdonképpen a 30%-os súllyal beszámított “citation (research influence)” nevű mutató, mert hogy a tudományos haladáshoz való hozzájárulást semmiképpen sem, az biztos… Pedig látszólag alaposan átgondolták a módszertant: https://www.timeshighereducation.com/world-university-rankings/world-university-rankings-2023-methodology
@Unseen Academical: ezt addig értem, amíg két nagy amerikai egyetem között megy a meccs, de tanzánia és etiópia? ez nagyon erősen a hoppácska kategóriában van.
Tisztelt szemüvegesek, olvasni tudók és velük szövetséges egyéb, szellemi munkavégzésre hivatkozó
kétesgyanúskörúton kívüliek-belüliek,.
sajnos a rossz hír valóban az, hogy a
tudományos faszméregetudománymetrika abszolút periferiális perverziónak számít a Széles Néptömegek szemében (már ha az adott néptömeg egyáltalán hallott róla), ergo az érintetteken túl tényleg kábé annyira foglalkoztatja őket, mint a pakisztáni megye kettes lovaspólóbajnokság csapatsorrendje.Tat tvam aszi,
Svétakvilág. 🧐.
.
.
P.s. 1.: már a ’90-es években volt szerencsém végigélvezni egy olyan, alaposan dokumentált előadást, amelyben világosan megmutatták, hogy egy bizonyos (példaként vett) tudományterület két legfontosabb & legnagyobb iskolája miként vitázott egymással hosszú-hosszú éveken át kizárólag az impakt faktorok növelése érdekében.
.
P.s. 2.: az emberiség szinte bármihez nyúl, abból okosbamegoldjuk lesz. Miért lenne kivétel épp a tudomány?
@jotunder: hoppácska bizony. Élethalálharc megy mindenütt a tudományban-felsőoktatásban a jó pozíciókért, s Tanzániában meg Etiópiában ennek alapján még az sem kizárt, hogy szó szerint.
Itt nem a THE-t hekkelte meg bárki is, hanem az idézetségi mutatókat, amit a THE csak átvesz, kezdettől fogva. A teljesen kiüresedett publikációs ipar terméke ez is, no meg a mindent mérni akaró mániáké. Amúgy a SE az idézettségben folyamatosan kapaszkodott egyre feljebb az elmúlt öt évben, mivel azonban a THE nyilvános score-jai csak arányszámok (és emlékezetem szerint ráadásul a Z-Score módszerrel számolják), azt nem lehet tudni, hogy ez mennyiben függött össze a többiek mozgásával. Az idézettségi irrealitás 2020-ban szabadult el, addig az angolszász elitegyetemek voltak legelől ebben (is), onnantól jött előbb a
Brandeis University
Jordan University of Science and Technology
Indian Institute of Technology Ropar
University of Peradeniya
Brighton and Sussex Medical School
Reykjavík University
Aswan University
majd a
Reykjavík University
Anglia Ruskin University ARU
Kurdistan University of Medical Sciences
Babol Noshirvani University of Technology
Brighton and Sussex Medical School
Indian Institute of Technology Ropar
University of Occupational and Environmental Health, Japan
University of Peradeniya
Cankaya University
majd a
University of Cape Coast
University of Hail
Cankaya University
Brighton and Sussex Medical School
Duy Tan University
Reykjavík University
University of Peradeniya
An-Najah National University
JSS Academy of Higher Education and Research
Aswan University
Kurdistan University of Medical Sciences
és idén az idézett csoport.
MIvel azonban közvetlenül mögöttük ott maradt az elitegyetemi kör is, különösebben nem érdekelt senkit a dolog. És valóban, elsősorban a Teaching és Research indikátor révén az összesített rangsorban hosszú ideje változatlan a fölényük. Egyébként a Semmelweis előrelépése kisebb részben a citációs javulás miatt következett be: éppena Teching indikátorban értek el igen jelentősen jobb eredményt (22,2ről 44,7) , ez sokkal inkább meghatározó volt. És azt se feledjük, hogy ebbe a körbe, tehát a 200-250 közé csak 13 egyetem tudott újonnan bekerülni az idén, jellemzőn ők sem a citációs nagy ugrással (jkivlétel Qatar és a King Fahd olajipari egyetem. Ami nagyon feltűnő ellenben, az a Sichuan University Kínából, a 400-as körből lett 198-as. (A 600-as stb. csoportokban nem érdemes nagy jelentőséget tulajdonítani a mozgásoknak, ott elnagyoltabb a dolog és kicsik a különbségek.)
(És azért annyit had’ dörmögjek ide, hogy lámcsak kiderült, talán mégsem az egyetemi rangsorok jelentik a felsőoktatási teljesítmény aranystandardját?? Mintha a blogon az korábbi években lett volna erről némi vitánk…)
Ezzel mi a baj? Brandeis University
@fortin2: az elitrangsorok az elitteljesítményt mérik, ezt a rangsort nagyon csúnyán elmérték. szerintem egy olyan országnak, mint magyarország, szüksége lenne pár nyugat-európai sztenderdek szerint is kutatóegyetemnek nevezhető felsőoktatási intézményre. és általában szüksége lenne jó minőségű, autonóm felsőoktatásra. vannak dolgok, amelyek kevésbé érdekelnek, mint régebben, mondjuk a Q1, bár továbbra is szórakoztatónak tartom.
@jotunder:
Ez egy Q1-es folyóirat, miközben a cikkek legnagyobb része még csak nem is angolul van.
https://www.scimagojr.com/journalsearch.php?q=21100787020&tip=sid
“Astra Salvensis” is a journal edited by Transylvanian Association for Romanian Literature and Culture of Romanian People – ASTRA, Năsăud Department, Salva Circle, in partnership with “Vasile Moga” Department of the same association, from Sebeş.
Ez azért (Demeter Márton és Tóth János pure communication studies folyóiratával együtt) nagyjából mindent elmond a citációk értékéről.
@jotunder:](#comment-321271 Nyilván ez így van, de ehhez az igényhez a globális rankingek nem sokat tesznek hozzá, ezt próbálom vagy tíz éve itt is mormolni. A THE és a QS hasonlóan mér, utóbbi viszont egyáltalán nem méri a SE-t, ugyancsak módszertani okokból. Az ARWU viszont kizárólag az elit-publikációs teljesítményt méri érdemben (+Nobeldíjasoik, na ja), abból megintcsak nem sok következik az elitegyetemi teljesítményre (pl. oktatás).
Azért ez elképesztően kínos baki. Még amikor az üzleti életben dolgoztam, ha kidolgoztunk valami csodálatos algoritmust, ami elméletileg tök jó volt, mielőtt kiálltunk volna vele a nyilvánosság elé, végeztünk egy “reality check”-et, hogy mégis az eredmények, amiket kiköpött, milyen viszonyban állnak a valósággal, ill. a valóságról alkotott általános tudásunkkal. Ez a lépés itt érthetetlen módon elmaradt.
Hát ez van, ha az ember fia/lánya lusta a szubjektív értékeléseket összefésülni, hanem csak vesz néhány proxy mutatót, oszt’ jól van az úgy. Hadd jegyezzem meg, hogy ha a gazdaság teljesítményét a GDP-n keresztül tekintjük csak, akkor ugyanígy olyan tevékenységek lesznek többször/nagyobb mértékben elvégezve, amik a célmutatót javítják, nem pedig olyanok, amik ténylegesen a gazdaság egészségét/fenntarthatóságát/társadalmi hasznosságát növelik.
És persze én sem tudok jobbat, mert ha van egy gombolyag tudós, akik vadul hivatkoznak egymásra, de mások nem értik igazán, mi folyik, akkor nincs értelmes mód megítélni, hogy ez most hasznos tudomány vagy habverés. Különösen például olyan területen, mint a matematika, ahol furcsamód majdhogynem teljesen esztétikai szempontból ítéljük meg az eredmények minőségét.
Amúgy sokfele érzik már, hogy ezt az egészet újra kellene gondolni: https://coara.eu
A THE is érzi, hogy gond van, ezért jövőre módosít a módszertanon, a citációs indikátor így változik:
Among the proposed changes are the introduction of two new citations metrics, both of which emphasise papers in high impact journals. It seems that this will reduce some of the anomalies that have occurred in recent years when a number of small or little-known universities have achieved high ranks through publications in mega-projects with large numbers of contributors and citations.
https://hvg.hu/tudomany/20221117_semmelweis_egyetem_tudomanyos_munka_publikacio
A Telex elég alapos cikket hoz a témában
Hiv.: @nyulambator:
Ahogy elnézem, egy ilyen többszáz tagú haveri kör az ingyen dolgoztatott gyermekmunkásokkal egymás tanulmányaira irkálja rá a nevét, és ezzel gyűjti a kutatási pénzt.
Megkérdezhették volna uramöcsémet, hogy éppen most mit kutat, amikor felszáll a repülőre, mert délutánra már kipottyant egy újabb tanulmányt.
Legalább a címét tudja-e.
@nyulambator: nem én szóltam nekik az NKE-ről becsszó. de valahol van egy kommentem, hogy egy iráni fazon rengeteg cikkel járult hozzá az NKE publkációs listához. és hát ő az. basszus, valakik dolgoznak a háttérben.
@jotunder: sose tudhatod ki olvas Vincentet. Amúgy itt elég látványos, ahogy mindenki egy-két cikket jegyez idén, ez a fickó meg vagy 35-öt. És ez messze nem a teljes listája, csak amit NKE kereteken belül csinál.
: @nyulambator:
Én ebből nem sokat értek, ezért vélemény nélkül hívnám fel a figyelmet a 13. ábrára itt, mert tetszik: https://www.mdpi.com/1996-1944/15/5/1868
A fene essen bele, lehet, hogy kidobtam többszáz cikkábrát és ki tudja, hány cikket?