UEFISCDI gestionează banii alocați cercetării științifice în România. Adică acelor un pic sub 0,3% din PIB, cel mai mic procent din UE, care are ca țintă atingerea a 3%. În Germania, spre exemplu, în 2015 fuseseră alocați 2,9%, motiv de îngrijorare pentru ministrul educației și al cercetării: procentul era considerat a fi prea mic în comparație cu ținta propusă. La noi era de zece ori mai puțin ...
La noi însă nu vei auzi prea multă lume plângându-se de acest procent. În mod ironic, strategia de dezvoltare a învățământului terțiar deplânge suma mică alocată învățământului universitar (în fapt procentul este comparabil cu media europeană, așa cum o spune chiar strategia în cauză), dar nu pomenește nimic despre lipsa sumelor alocate pentru cercetare.
UEFISCDI are o competiție dedicată tinerelor echipe. Echipe conduse de cercetători sub 40 de ani trimit propuneri de proiecte, acestea sunt evaluate de câte trei evaluatori, care completează formulare de evaluare. Anul acesta, unii candidați au observat că sunt evaluatori care scriu exact același lucru la mai toate proiectele evaluate. Și au sesizat UEFISCDI.
Procedura la UEFISCDI presupune mai mulți pași. Trei evaluatori citesc și dau note proiectului depus, pe mai multe criterii. Nu se cunosc între ei, comunicarea fiind mediată de un forum în care evaluatorii rămân anonimi. Unul dintre ei, cel care dă nota din mijlocul ierarhiei, devine „raportor”, cu rolul de a media discuția. Unii raportori găsesc de cuviință să își impună punctul de vedere. Ceilalți evaluatori îi pot contesta. Raportorii au sarcina de a sintetiza ce au spus ceilalți evaluatori. Mulți nu se obosesc. Și preiau doar 1-2 fraze și așa apare raportul de evaluare care este trimis candidaților. Alții pun toate comentariile în acel raport, așa cum am comentat public aici:
Sesizarea făcută de candidații ce au primit același raport deși aveau aplicații diferite este corectă: am observat și eu evaluatori care dau copy-paste la propria evaluare. Acest lucru nu este nou sub soare: am atras atenția că sunt membri ai comisiilor de doctorat care au fix același referat pentru toate tezele. Și sunt unii care au referate care, chiar dacă sunt diferite, se aplică la fel de bine oricărei teze, dat fiind că enunță exclusiv generalități.
Ceea ce am mai remarcat este că cei ce au astfel de practici sunt cei care dau de regulă note mai mari. E și normal, aici fiind un troc implicit: dacă eu mă fac că evaluez, atunci mai bine iei notă mai mare ca să nu te plângi. Exact la fel ca la cursurile în care profesorul se face că predă iar studentul se preface că ar fi student, dar nu citește o pagină și ia notă de trecere la examen, iar apoi se plânge că ce învață la școală și ce se petrece în piață sunt lucruri diferite.
Procesul de evaluare de la UEFISCDI mai presupune o reacție a candidatului la evaluarea realizată, urmată de o reevaluare de către cei trei evaluatori inițiali și de o confirmare într-un mare panel (au fost vreo 35 de inși în cel de științe sociale la care am participat), menit a rezolva și cazurile de disens între cei trei evaluatori.
Aceste ultime paneluri au fost programate de către UEFISCDI zilele trecute. Mai apoi, UEFISCDI a luat în considerare sesizarea amintită mai sus, și a decis reevaluarea proiectelor la care a depistat un evaluator ce a practicat autoplagierea evaluării, atât la granturile pentru „tinere echipe”, cât și la „proiecte postdoctorale”.
Gestul de a reevalua este firesc. El conduce însă UEFISCDI la câteva dileme:
1. Ce se întâmplă cu alte proiecte aflate în aceeași situație și unde nu a depistat (încă) problema?
2. De ce decizia a venit abia după reunirea panelului final??
3. Așa cum afirmam mai sus, este posibil ca evaluatorul cu pricina să dea de fapt sistematic note mai mari. Prin urmare, la o reevaluare onestă, candidații ce au realizat contestația ar putea primi note mai mici. Ar fi ei frustrați? Ar avea noii evaluatori un motiv să dea note mai mari, ca să evite suspiciunile?
4. Procesul de evaluare presupunea comunicarea între evaluatori. Acest lucru înseamnă că de fapt ar trebui reluate toate evaluări de la proiectele respective, nu doar cele ale evaluatorului incriminat, nu-i așa?
5. Nu cumva evaluările copy-paste sunt generate și de sistemul de acceptare a oricărei aplicații spre evaluare, și de limitare a numărului de evaluatori? (în prezent, caz aproape unic în lume, ca să fii evaluator trebuie să ai girul organizației unde lucrezi, iar apoi aprobarea ministrului. Cu alte cuvinte, dacă ești laureat Nobel și ești la pensie sau șomer, nu poți evalua, pentru că nu există un angajator care să fie de acord ca tu să evaluezi).
Oare nu o fi momentul ca UEFISCDI să aibă altă abordare a acestor evaluări? Spre exemplu:
- Ca să elimine nevoia de a avea un număr foarte mare de evaluatori și multe evaluări pe evaluator, UEFISCDI ar putea tria inițial, cu praguri de acces, să nu te mai trezești că pierzi timpul cu aplicanți care nu au habar cum arată un proiect.
- Ar putea elimina și raportorul și rebutalul (reacția aplicantului), și ar putea pune 5 evaluatori pe proiect. Trierea inițială i-ar permite acest lucru.
- Apoi, se trimite proiectul la evaluatori, se iau cele 5 note, se elimină prima și ultima și se face media. Astfel, ai o notă finală neinfluențată de evaluări extreme. (e adevărat, poți să ai oricum evaluatori influenți, dar probabilitatea lor de apariție este redusă prin acest trimmed mean)
- Intră în panelul final exclusiv proiectele cele care au minim 70% din punctajul primului, iar acest panel final are maxim 8 inși. Cei 8 dezbat doar cazurile unde ai distanțe mai mari de 10 puncte între evaluări (la restul există deja consens între evaluatorii inițiali).
Pentru moment însă, evaluarea constituie o loterie, unde un evaluator slab va da note medii, va deveni raportor, iar apoi va influența procesul de pe această poziție. Sufocați cu multe evaluări de făcut, ceilalți vor sfârși prin a accepta deciziile raportorului…
Niciun comentariu:
Trimiteți un comentariu