13 martie 2016

Cine ne mai conduce în științele sociale

România se bate adesea în piept cu meritocrația. Hai să vedem cât de
meritocrat este mediul academic. Iau ca exemplu un organism de care v-am mai povestit: Comisia de Sociologie, Științe Politice și Administrative a CNATDCU. Comisia respectivă evaluează teze de doctorat și teze de abilitare între altele, amendează și supraveghează respectarea criteriilor de promovare. Este prin urmare un actor important, care stabilește de fapt standardele minimale de performanță a celor ce devin profesori, conferențiari, lectori, doctori șamd. dacă ei stabilesc standarde înalte, sunt șanse să avem un învățământ performant.

Cine contează în știință

Și la noi, ca mai peste tot în lume, important este cât de influent ești în știință. Adică cu cât ai contribuit la creșterea cunoașterii în domeniul tău. Iar acest lucru se vede prin câte citări ai și cât de mult ai publicat în jurnale de top.

În științele sociale se publică mai rar ca în alte științe. Românii au și handicapul c
a științele sociale să fi fost interzise în comunism și sub-finanțate după aceea. România are alte priorități: IT-ul, nanotehnologiile, cucerirea spațiului și medicina sunt între ele. Trăind într-o țară în care societatea se schimbă sau ar dori să se schimbe, românii au decis să nu investească în științe sociale care să le spună cum ar putea să se schimbe.

Având puțini bani la dispoziție, sociologii, politologii, antropologii și alți români asemenea lor nu prea apucă să scrie bine și să fie publicați de jurnale de top.

Jurnalele acestea de top se plasează pe o listă alcătuită de Thompson-Reuters, o organizație privată, listă denumită generic „ISI". În ultimul deceniu, au pătruns și câteva reviste românești pe listă. Dintre ele, una a fost în centrul unui scandal serios: se chema Metalurgia International și publica articole contracost, de o calitate mizerabilă, din tot felul de domenii pretins științifice. Cei de la Thompson au declasat-o, revista a dispărut, dar încă produce efecte: sunt destui cei care au devenit profesori și sunt plătiți bine în urma unei activități pretins academice desfășurată în paginile acelei reviste.

Criterii de analiză


Este greu să publici în reviste din afara României, unde criteriile de selecție sunt destul de drastice. Acest lucru mă face să judec calitatea membrilor comisiei amintite după patru criterii:
  1. Număr de citări în orice publicație, așa cum este el redat de Google Scholar.

  2. Indicele H calculat pe baza indicatorului amintit: cu cât H e mai mare, cu atât ești mai influent (H=număr de publicații citate de cel puțin H ori: ordonezi publicațiile în ordinea descrescătoare a numărului de citări; apoi te uiți care e cel mai mare număr de ordine al publicației care are cel puțin atâtea citări cât e numărul de ordine; acela este scorul H)

  3. Număr de articole ISI.

  4. Indicele-H calculat pe baza articolelor ISI citate de alte articole ISI.
Teoretic, ultimul criteriu este cel mai dur.

Mod de calcul și prime rezultate

Am procedat astfel: m-am uitat la membrii comisiei. Sunt 17. Câte 4 de la Cluj (UBB) și Universitatea București (UB), trei de la SNSPA, doi de la Iași (UAIC) și câte unul de la Oradea (UO), Tg.Jiu (UCBTgJ), ASE, Craiova (UCrv) și Academia Română (AR). Am căutat pentru fiecare o „pereche”, adică pe unul din aceeași universitate, de preferință din același departament/facultate sau măcar de la o universitate similară (doar în cazul UCBTgJ). Nu am împerecheat doi dintre membrii comisiei care, în opinia mea, nu au ce căuta acolo: unul este jurist, altul este economist, ramuri de știință care sunt plasate la alte comisii și în care se publică mai puțin, respectiv mult mai mult decât în științele sociale, deci nu sunt comparabili cu ceilalți.

Pentru cei 15 rămași am ales 15 perechi. În total 30 de inși, pentru care am calculat indicatorii amintiți mai sus. Perechile sunt oamenii pe care îi știu a fi în universitățile respective, și știu că ar fi întrre cei mai buni de acolo. Nu dau nume, pentru că nu numele sunt importante.

M-am uitat pe site-ul CNACTDU dacă cei din comisie au CV-uri acolo. 6 au, 11 nu au.Dintre cei 17 din comisie, 5, marcați cu albastru în tabelul de mai jos, au pagină de Google Scholar (extins mai nou ca Google Academic), care permite calculul imediat al numărului de citări și al indicelui H aferent (primii doi indicatori amintiți). Dintre cei din lista alternativă, doar cei de la UBB nu au pagină oficială de Google Scholar, ceea ce mă face să trag concluzia că este vorba și de o cultură organizațională proprie Clujului. Trebuie însă spus și că cei din lista alternativă sunt mult mai tineri  în comparație cu cei din comisia CNACTDU (cu o singură excepție, cel cu cele mai multe citări din tot tabelul care e mai tânăr decât perechea sa, deși ambii sunt pensionari).

Pentru cei ce nu aveau cont de GoogleScholar, am folosit Publish or Perish pentru a le calcula numărul de publicații. Pentru cei cu cont, am verificat să nu raporteze din eroare citări ce nu le aparțin. A fost cazul doar pentru jurist.

Pentru toți cei 30 la care m-am uitat în amănunt, am folosit Web of Science să le calculez numărul de artciole ISI și factorul H aferent (indicatorii 3 și 4). Nu am inclus publicații în proceedings, fiindcă acestea nu sunt specifice științelor sociale, deși au început a fi populare în ultima vreme.


Rezultate

Hai să vedem ce a ieșit din această mică joacă.

În tabel, fiecare rând e un membru al comisiei (la stânga), respective perechea sa (la dreapta). Cum spuneam, pe cei doi din afara domeniului nu i-am împerecheat. Cifrele de pe prima și ultima coloană sunt identice, reprezentând numere de ordine. Dacă membrul comisiei are CV pe site-ul acesteia, am bifat cu un x. În rest regăsiți informația despre universitatea de unde vin cei analizați și indicatorii lor de performanță. (H-WoS= indicele H bazat pe ISI/Web of Science)


* pagina de pe Google Academic indică și alte citări, dar la publicații ce nu aparțin autorului (sunt citări la volume coordonate de alții, în care are și autorul contribuții; dar în acest caz citarea este la editor, nu la autor...)
** de la USM-Sv, universitate similară ca dimensiuni
*** Numele este foarte comun, e posibil să fi subestimat numărul de citări, dar nu indicele H
****ISI: nu am inclus proceedings
Cu roșu: cifrele unde „perechile” sunt mai performante decât titularii comisiei.
Cu albastru: cei ce au cont de Google Scholar. Subliniat și cu italice: cei care au exclusiv sau aproape exclusiv publicații ISI și citări ISI în revistele românești


Scurtă discuție

Nu trag concluzii, ci doar descriu ce am observat:

Dintre cei 17 membrii ai Comisiei ,
  • 2 nu sunt din domeniu;
  • 10 au CV-uri mai puțin atractive decât colegii lor de disciplină din aceeași organizație;
  • 4 sunt mai buni decât alternativele existente la ei în universitate, dar CV-urile lor sunt inferioare multora dintre cei ce nu fac parte din comisie;
  • Unul singur ar fi fost parte din comisie dacă am fi folosit drept criteriu impactul său în știință;
  • Niciunul nu vine de la o universitate privată.

Avem însă o comisie din care fac parte:
  • un autor cu factor de impact 0 (!!!!!);
  • 2 care nu sunt pregătiți în domeniul pe care îl gestionează;
  • 5 foști miniștri;
  • 10 ale căror publicații ISI sunt în aceleași 4 reviste românești, iar citările ISI vin exclusiv din aceste reviste.
  • cu două excepții, majoritatea nu au deloc sau au cel mult o publicație ISI în afara României.

Implicații

Sunt curios dacă va fi cineva să comenteze aceste observații, cum o va face și dacă lucrurile stau la fel în alte domenii.

4 comentarii:

Anonim spunea...

Exercițiul este unul cel putin interesant, desi rezultatele nu sunt neaparat surprinzătoare. Cred ca o analiza similara ar merita sa vizeze conducerile universităților. Sunt atâția prorectori responsabili de cercetare cu h sub 5... de iti vine sa plângi. Nici rectorii nu stau mai bine.

Alexandru IOSUP spunea...

Foarte interesant articol, mulțumesc. Analiza datelor bibliometrice este foarte importantă pentru o țară în care cercetarea încă își caută credibilitatea. Rezultatele nu mă miră:
- Datele indică un nivel de corupție a procesului de selecție pentru aceste comisii la care mă așteptam (adică e mai important să fi fost ministru decât să fi făcut cercetare de calitate);
- Cifrele sunt, pentru toată lumea, relativ scăzute, indicând distanța dintre cercetarea din România și nivelul de vârf internațional.

Mi-ar fi plăcut o analiză mai detaliată a fiecărui profil, gen [1], pentru că nu aș vrea ca acești oameni să ascundă lipsa de calitate a cercetării lor în spatele unor ipotetice rezultate valoroase dar încă neînțelese de cei din jur ("dar și Einstein a ajuns la un h-index mic și nu a fost înțeles pentru mulți ani de comunitatea de specialiști").

[1] http://m.ziare.com/scoala/ce-facem-cu-profesorul-escu-ii-1379542

Bogdan Voicu spunea...

Mulțam și eu de comentariu.

Am fost inițial tentat să iau în calcul doar Indicele H. Dar am decis să las și numărul de publicații în jurnale cotate, tocmai pentru a evita cazul celui care va deveni influent abia peste decenii. Premisa este că, dacă va deveni vreodată influent, trebuie mai întâi să publice...

Altfel, nu știu dacă e mai important să fi fost ministru. Cauzalitatea nu este inclusă în datele de mai sus, mai ales că foștii miniștri nu sunt neapărat mai puțin performanți decât restul.

Cifrele ar trebui citite și printr-o altă grilă:

- științele sociale au fost interzise în România la finalul anilor 70, abia după 1989 reapărând.

- finanțarea lor, dincolo de costurile materiale a fost și este net inferioară celei din științele exacte, inginerii și medicină. În clipa aceasta, științele sociale nu există în Planul Național de Cercetare în vigoare (orizontul de timp al acestuia: 2020)

Prin urmare, distanța față de restul lumii civilizate nu are cum fi mică. Aici ne putem compara cu Ghana, Nigeria și alte țări de acest gen.

Am preferat analiza întregului, nu fiecare profil, tocmai pentru a arăta că avem o comisie mamut (de ce o fi nevoie de 17 membri????), care include membri ce nu au cum să impună standarde înalte, fiindcă o bună parte dintre ei sunt departe de a avea performanțe academice notabile. Mai mult, dacă e să ne uităm la publicații, de fapt majoritatea îndeplinesc doar cel mult la limită standardul oricum foarte scăzut impus de legea educației din 2011 și încă și mai scăzut după amendamentele repetate...

Bogdan Voicu spunea...

Cum ziare.com nu este tocmai flexibil în a permite comentarii, mai adaug o idee aici, deși am pomenit-o și mai sus:

Cel puțin în științele sociale, pachetul de reglementări ale educației și cercetării din 2011 nu a adus o ștachetă ridicată. Dimpotrivă, pragul a fost foarte jos. Ca dovadă numărul mare de noi conferențiari și profesori. Mai mult, această ștachetă a fost coborâtă prin amendamentele ce au urmat.

Convorbire telefonică cu ... un hoț??

Sună telefonul, de pe un număr necunoscut, vizibil (adică nu este ascuns), iar o voce de bărbat mă angajează în următoarea convorbire: -  ...