29 martie 2016

Consultări publice privind știința de la noi

UEFISCDI a supus acum câteva zile dezbaterii publice pachetul de reglementări privind acordarea de granturi de cercetare în cadru a ceea ce agenția numește „Proiecte de Cercetare Exploratorie”.

Teoretic acesta este programul cel mai important destinat cercetării. Practic însă este vorba de o veritabilă Cenușăreasă, fiind prima lansare de competiție în ultimii 5 ani. Proiectele acceptate la finanțare în 2011 ar fi trebuit să se încheie în 2014, dar sunt încă în derulare. Motivul invocat este lipsa de bani, dar … UEFISCDI nu a pregetat să lanseze în acest răstimp alte programe, dovadă că de fapt avea resurse.

Ce este îmbucurător este că PCE nu a decedat. De asemenea este îmbucurător că este lansat în dezbatere publică.

Cum precedenta dezbatere publică inițiată de agențiile ministerului educație a durat doar câteva zile (e vorba de regulamentul CNACTDU, lansat în dezbatere publică pe 18 martie și devenit lege doar zece zile mai târziu), postez și eu aici câteva gânduri despre pachetul amintit mai sus:



PCE – program de mâna a doua?


Este interesantă decizia UEFISCDI de a marginaliza fostele sale proiecte principale, incluzând PCE. Din câte am observat, majoritatea apelurilor din ultima vreme au fost anunțate cu mult dinainte pe site-ul agenției. Aceasta este de altfel practica în lume: apelurile sunt regulate, anunțate cu mult înainte, cu reguli care se știu clar, astfel încât aplicanții să aibă timpul necesar pentru a se pregăti conform cerințelor Call-ului. Am observat o astfel de practică pretutindeni pe unde am fost, timpul alocat pregătirii aplicației fiind de regulă de un an. În cazul PCE este vorba, cu îngăduință, de două luni, incluzând vacanța de Paște; o lună de dezbatere publică și încă o lună până la depunerea de aplicații, în mai.

Cum UEFISCDI a început să anunțe din vreme alte programe de finanțare, nu rămâne decât să constat decizia agenției de a trata PCE drept un proiect de mâna a doua, pentru care nu merită să faci o aplicație serioasă. Ar fi fost interesantă o luare publică de poziție a UEFISCDI în acest sens.


Criteriul ISI


În grila de evaluare există o recomandare importantă: directorul de proiect ar fi bine să fi publicat măcar 3 articole ISI în zona roșie sau măcar galbenă a listei de jurnale publicată anual de UEFISCDI. În ciuda opoziției multor colegi, eu salut decizia, deși îi deplâng implementarea. Este firesc ca UEFISCDI să dorească aplicații de calitate și să evite inflația de aplicați foarte proaste de la ultimele call-uri, când a avut probleme cu a asigura un număr rezonabil de evaluatori. Este firesc să limitezi numărul de aplicații și măcar pentru că fiecare evaluator costă destul de mulți bani. Este firesc să impui o ștachetă ridicată, pentru ca să dai un semnal în privința direcției în care vrei să îndrepți știința. Din aceste puncte de vedere UEFISCDI este de aplaudat.


Fără îndoială se poate discuta de ce este folosit ISI (și mai ales de ce în formula modificată și instabilă propusă de UEFISCDI), de ce nu scorul H, de ce nu iei în considerare și alte criterii. Spun însă doar atât: este un mare pas înainte, toate criteriile au dezavantaje, ISI este mai puțin falsificabil decât altele (vezi și postarea mea precedentă), iar evaluarea așa zis „calitativă” nu poate fi o opțiune fiind supusă puternic susceptibilităților legate de subiectivitatea evaluatorilor.


Există apoi o anumită subtilitate: pragul de 3 articole ISI nu este diferențiat pe ramuri ale științei, ca și cum UEFISCDI nu ar știi că sunt științe unde se publică mult mai mult decât în altele. Numai că UEFISCDI știe că sunt diferențe. Altfel nu ar folosi la premierea rezultatelor cercetării tocmai lista cu zonele roșii, galbene și gri pentru articolele ISI. De ce nu ar face atunci agenția o diferențiere a pragului amintit? Ar fi două motive simple: primul este pragmatic – ar fi fost o bătaie de cap suplimentară. Nu cred însă că nu se găseau resursele care să ducă rapid la o soluție pentru acest impediment.


http://www.research.ro/Al doilea motiv este însă mult mai puternic. PCE ar trebui să constituie o cale de a implementa Planul Național de Cercetare Dezvoltare și Inovare (PNCDI). Ori acolo se specifică că unele științe sunt mai importante decât altele, ba chiar unele ramuri de știință sunt practic eliminate de la finanțare până în 2020. Este o opțiune programatică a României, pe care am discutat-o în trecut.


Întâmplător, ramurile de știință prioritare pentru România sunt cele în care se publică sistematic mai mult; articole mult mai scurte, cu mult mai mulți autori. Asta face ca un fizician, spre exemplu, să poată avea mult mai multe articole pe an, fiind cel mai adesea coautor alături de mulți colegi, în timp ce un antropolog va publica mult mai puține articole, adesea de unul singur, dar însumat, antropologul va scrie mult mai multe cuvinte (adică va produce mai multe pagini decât fizicianul). Un prag unic oferă un bonus științelor în care se publică texte multe dar scurte și cu mai mulți autori. Adică poți avea mai multe aplicații din aceste științe.

Și aici vine schepsisul. Finanțarea se face proporțional pe ramuri de știință. O pondere egală din aplicații, să zicem 30%, va fi finanțată. Adică: dacă în ramura de știință XX ai 33 de aplicații, vor fi finanțate 11. Dacă în ramura YY ai 30 de aplicații, vor fi finanțate 10. Dar cu un prag unic, numărul de aplicații în XX poate crește (să zicem la 45), în timp ce în YY va scade (către 24), ceea ce înseamnă mai multe proiecte finanțate potențial în științele pentru care pragul unic este mic. Dacă este să luăm exemplul de mai sus, fizica are mai mari șanse să aibă multe proiecte, în timp ce antropologia are mai puține. Automat apare o discrepanță între ramuri de știință.

Aceasta este o cale elegantă prin care UEFISCDI se conformează direcțiilor prioritare ale Planului național amintit. Numai că nu este și una transparentă: UEFISCDI uită să precizeze explicit că trebuie să respecte planul, avertizând asupra intențiilor sale ...


Criteriul vechimii: întoarcerea în timp??

Ajung și la unul dintre lucrurile pe care nu l-am înțeles în deciziile UEFISCDI. Directorul de proiect trebuie să aibă minim 10 ani de la obținerea titlului de doctor. (ca să evit discuțiile: îndeplinesc și acest criteriu, și pe cel precedent, și probabil orice alt criteriu ce ar mai putea apărea)

De ce ar impune UEFISCDI această limitare? Poate fi o strategie de compensare a faptului că nu a finanțat proiecte PCE în ultimii ani, deși a lansat call după call pentru cei mai tineri. Ca atunci când, la fotbal, arbitrul nu dă un penalti clar pentru gazde și pe urmă, ca să se revanșeze, face aceeași eroare și în defavoarea oaspeților. Dar acesta ar fi un caz în care arbitru ar fi imediat penalizat cu o suspendare dictată de comisiile superioare.

Eu unul găsesc cel puțin neinspirată oprirea de la a aplica a celor mai tineri care îndeplinesc criteriul de performanță. De ce ai bloca ascensiunea unuia care se dovedește mai bun decât cei de dinaintea sa? Pur și simplu mi se pare revoltător. E ca și cum ne-am întoarce în urmă cu 20 de ani, dacă nu mai mult.


Evaluarea

Ajungem și la o problemă veche a modului de evaluare de la UEFISCDI: evaluarea în sine, felul în care sunt ierarhizate proiectele. Agenția a făcut în timp eforturi ca să obțină un proces decent. A căutat să impună criterii de calitate evaluatorilor, a încercat să atragă străini ca evaluatori, și a experimentat varii sisteme de rezolvare a diferențelor dintre notele acordate de evaluatori pentru același proiect. E firesc să ai diferențe: evaluatorii sunt și ei oameni, văd diferit lucrurile. Unii dau sistematic note mai mari, alții dau sistematic note mai mici. Unii dau note pe prietenii (am văzut eu, la un alt evaluator ce dăduse o notă dublă față de a mea, și care justifica spunând că aplicantul este un nume mare...).

Sistemul curent este practicat de UEFISCDI de câțiva ani. Îl repovestesc mult simplificat: trei evaluatori dau note, folosind o grilă comună. Dacă apar diferențe mai mari de 10 puncte (scala este de la 1 la 100), cei trei sunt rugați să își reevalueze aprecierile, poate ajung la consens. Dacă diferența rămâne, un raportor propune o notă bazată pe evaluările primilor trei (uneori raportorul este dintre cei trei), iar un panel decide care e nota finală. Problema apare la raportor. Am văzut raportori care schimbă complet evaluările, crezând că ei sunt peste primii trei evaluatori. Și am văzut paneluri în care notele se schimbau complet sau măcar suficient de mult ca să câștige finanțarea proiecte ce păreau a nu avea șanse. Nu e vorba de corupție sau ceva ilicit. Pur și simplu așa se întâmplă.

Soluția simplă este să ai evaluatori de foarte bună calitate. Așa face European Science Foundation, cel puțin în prima fază a evaluărilor.

Dar evaluatorii de calitate sunt cercetători buni, cu timp limitat. Aceștia costă mult, iar precedentele runde de evaluare au arătat că există un deficit important de ofertă pe această piață. UEFISCDI se confruntă cu o dilemă simplă: plătim bine pe evaluatori, dar nu mai avem bani de proiecte sau plătim evaluatori mai slabi și avem bani să finanțăm mai multe proiecte. Evident, opțiunea este mai degrabă a doua.

Există însă o soluție și mai simplă: eliminarea raportorului. Dacă cei trei evaluatori nu ajung la consens, atunci se solicită evaluări de la alți doi evaluatori. Se face apoi media, dar nu ca medie aritmetică simplă ci ca trimmed mean: se elimină evaluarea cea mai favorabilă și cea mai nefavorabilă și se face media între celelalte trei evaluări. La final ai o medie bazată pe părerea a cinci evaluatori, costurile nefiind mult schimbate.


Este ceea ce am tot propus de câțiva ani, dar nu cred că mă aude cineva. Sau poate ceea ce propun nu are rost. Trebuie spus că aceasta era soluția folosită de proiectele INTAS, adică cei bani de cercetare alocați acum un deceniu de către UE pentru cooperarea cu spațiul ex-sovietic. Soluția trimmed mean era aplicată tocmai pentru că evaluatorii tindeau să dea note foarte diferite. Oricum ar fi, nu cred ca să se schimbe ceva în procesul de evaluare: nu mai e timp, ceea ce din nou te face să îți amintești că e posibil să avem de a face cu o consultare mai degrabă formală, pentru o linie de finanțare care pare a fi tratată de către UEFISCDI precum una de mâna a doua.


Interdicția de a avea două proiecte

„O persoană care este director de proiect tip TE Competiția 2014, aflat în derulare, nu poate candida în calitate de director”. Aceasta este o regulă veche a UEFISCDI/ANCS. Menționez iar că nu sunt în această situație de incompatibilitate, dar nu mi se pare o condiție normală. Dacă omul acela este atât de bun încât să deruleze două contracte, de ce să nu îl lăsăm să o facă? E ca și cum ai interzice unui profesor să fie coordonator de doctorat și la Frankfurt și la Zürich. Ah, da, stai că în România nu ai voie să fii la două școli doctorale. Asta nu înseamnă că nu știu un tip care coordonează doctorate și la Zürich și la Frankfurt și parcă și la Köln. Dar alea sunt universități care sunt peste valoarea celor din România (așa zic rankingurile), prin urmare nu are rost să le urmăm exemplul, nouă ne place să nu ne fie bine.


Varia

Sunt destule lucruri pentru care UEFISCDI trebuie felicitat. Spre exemplu: „se pot finanţa şi cheltuieli de deplasare ale unor colaboratori din ţară sau din străinătate sau ale unor participanţi la manifestările ştiinţifice organizate în cadrul proiectului”. Aceasta nu era explicit în urmă cu ceva ani, și este o precizare absolut necesară pentru a simplifica munca cu contabilitatea, curtea de conturi și alte instanțe birocratice.

Sunt și locuri în care rezultatul este mixt: „se calculează ca procentaj (max.15%) din cheltuielile directe: cheltuieli cu personalul, cheltuieli de logistică şi cheltuieli de deplasare. Se recomandă ca la nivelul institutiei gazdă, regia să fie utilizată și pentru plata de personal auxiliar (tehnicieni, studenți etc) implicat în implementarea proiectului”. Ca unul care plătesc de ani de zile din buzunar personalul auxiliar, găsesc extrem de importantă recomandarea. Dar ea poate veni doar dacă nivelul regiei este mai ridicat, altfel organizația gazdă nu mai are motivație să te sprijine în a aplica. Pe de altă parte, impunerea unei regii mai mici schimbă regulile jocului în acele universități (precum UBB și UB) unde regia se ducea spre 30%. Nu cred că astfel de organizații vor aplica recomandarea, ceea ce va lovi implicit în modul în care proiectul se derulează. Aș fi formulat altfel: „Dacă regia este de peste 15%, procentele ce depășesc această limită sunt la dispoziția directorului de proiect; recomandăm folosirea lor la plata de personal auxiliar … ”


Mă opresc momentan aici, dar poate mai revin...

Niciun comentariu:

Convorbire telefonică cu ... un hoț??

Sună telefonul, de pe un număr necunoscut, vizibil (adică nu este ascuns), iar o voce de bărbat mă angajează în următoarea convorbire: -  ...