Il fascino discreto degli indicatori: quale impatto sull’Università?

Il fascino discreto degli indicatori: quale impatto sull’Università?

Giovanni Pascuzzi

Pubblicato ne Il Foro italiano 2017, I, 2549

1. Introduzione.

Sullo sfondo della pronuncia della Corte costituzionale 104/2017 c’è il «costo standard per studente in corso» ovvero un indicatore che viene usato per calcolare la cosiddetta «quota base» del Fondo di finanziamento ordinario delle Università (l’articolo 5, comma 4, lett. f della legge 240/2010) [i].

Vocabolario alla mano, indicatore è la misura di qualcosa. Una definizione diffusa così recita: «un indicatore è una misura sintetica, in genere espressa in forma quantitativa, coincidente con una variabile o composta da più variabili, in grado di riassumere l’andamento del fenomeno cui è riferito»[ii].

La normazione recente in materia di Università abbonda di riferimenti ad indicatori dei tipi più diversi. Dopo averne fatto un breve inventario, si proverà a svolgere qualche considerazione di ordine generale.

2. Gli indicatori nei piani della performance universitaria.

A norma dell’articolo 10 del d. lgs. 27 ottobre 2009, n. 150[iii], le Università (come tutte le amministrazioni pubbliche) devono redigere il «Piano della performance», ovvero un documento programmatico triennale, che individua gli indirizzi e gli obiettivi strategici ed operativi, e definisce, con riferimento agli obiettivi finali ed intermedi ed alle risorse, gli indicatori per la misurazione e la valutazione della performance dell’amministrazione, nonché gli obiettivi assegnati al personale dirigenziale ed i relativi indicatori[iv].

Di recente questo Piano ha assunto il nome di Piano integrato perché in esso confluiscono la dimensione operativa (performance), quella legata all’accesso e alla utilizzabilità delle informazioni (trasparenza) e quella orientata alla riduzione dei comportamenti inappropriati e illegali (anticorruzione). Tale armonizzazione dei contenuti si è avuta a seguito della emanazione, nel luglio 2015, da parte di ANVUR, delle «Linee guida per la gestione del Ciclo della performance delle Università statali italiane»[v].

Per le amministrazioni pubbliche, il piano della performance si rivolge alle attività amministrative e al personale amministrativo. In ambito universitario finisce per coinvolgere anche il personale docente e tutte le funzioni che gli atenei svolgono (ricerca, didattica e cosiddetta terza missione)[vi].

Alla base del piano della performance c’è la logica dell’azione tesa al raggiungimento di obiettivi. In detti piani, quindi, gli Atenei devono esplicitare i propri obiettivi che, oltre ad essere legati alle risorse a disposizione, devono essere chiari, espliciti e misurabili (esiste, quindi, una relazione chiara tra il piano e la programmazione strategica delle Università).

Per misurare il raggiungimento degli obiettivi c’è bisogno di indicatori. Nelle citate linee guida, ANVUR fa degli esempi:

– sugli indicatori relativi alla ricerca: «a titolo indicativo la programmazione pluriennale potrebbe identificare obiettivi di miglioramento nel posizionamento dei singoli dipartimenti nel ranking VQR per area scientifica, nella quota di inattivi, nella percentuale di punteggi eccellenti, come pure negli altri indicatori di performance della ricerca»;

– sugli indicatori relativi alla didattica: «a titolo indicativo la programmazione pluriennale potrebbe identificare obiettivi di miglioramento negli indicatori di processo degli studenti (numero di abbandoni, regolarità degli studi, durata della laurea etc.), nella loro soddisfazione, negli sbocchi occupazionali etc. »;

– indicatori sulla terza missione: «a titolo indicativo la programmazione pluriennale potrebbe identificare obiettivi di miglioramento negli indicatori di valorizzazione della ricerca (spin-off, crescita occupazionale da spin-off, brevetti, entrate da licenze, partecipazione a incubatori o altri intermediari territoriali etc.), come pure di terza missione sociale e culturale (iniziative di public engagement, visitatori di poli museali, popolazione coinvolta in iniziative di comunicazione della scienza etc.) ».

Su internet è possibile trovare con facilità i piani delle performance predisposti dai diversi atenei. A titolo di esempio si può consultare quello dell’Università di Bologna che tra i vari obiettivi si pone quello di «migliorare la qualità e la produttività della ricerca» e usa i seguenti indicatori per verificare il loro raggiungimento: «Confronto distribuzione pubblicazioni UNIBO per Indice Unico rispetto al totale prodotti per Fasce VQR 2011/14 (Aree bibliometriche); a) percentuale di pubblicazioni di Fascia A secondo i criteri VRA; b) percentuale di pubblicazioni presentate per la VRA sul numero massimo di pubblicazioni presentabili per area scientifica VRA (Aree NON bibliometriche[vii])».

3. Gli indicatori nella programmazione strategica.

Si è appena detto che le Università devono seguire la logica dell’azione volta al perseguimento di obiettivi. Ovviamente esiste un riscontro normativo di quanto appena detto: si veda in particolare l’art. 1-ter del d.l. 7/2005 convertito nella legge 43/2005[viii]. Varie disposizioni attuative sono state emanate alla luce di tale principio. Da ultimo il d. m. 8 agosto 2016, n. 635, recante «Linee generali d’indirizzo della programmazione delle Università 2016-2018 e indicatori per la valutazione periodica dei risultati».

Negli allegati al d.m. sono contenuti gli indicatori in relazione ai più svariati obiettivi. Ad esempio, nell’allegato 1, l’obiettivo di potenziare l’offerta formativa relativa a corsi internazionali si misura con i seguenti indicatori:

«- Numero di Corsi di Laurea, Laurea Magistrale e Laurea Magistrale a ciclo unico internazionali;

– Numero di Corsi di dottorato internazionali, ai fini del PNR 2015 – 2020;

– Proporzione di studenti iscritti al primo anno (L, LM, LMCU) che hanno conseguito il titolo di accesso all’estero;

– Proporzione di CFU conseguiti all’estero da parte degli studenti per attività di studio o tirocinio curricolare rispetto al totale dei CFU previsti nell’anno solare».

Come si è detto, si tratta solo di un esempio.

4. Gli indicatori di bilancio.

L’articolo 29, comma 2, del d. lgs. 33/2013 impone alle Università di pubblicare il «Piano degli indicatori e risultati attesi di bilancio». Al momento si è in attesa della disciplina attuativa menzionata dall’articolo 8 del d.p.c.m. 18 settembre 2012[ix].

5. Gli indicatori nella procedura di accreditamento delle sedi e dei corsi di studio.

L’articolo 5, comma 3, lettera a, della legge 240/2010 ha introdotto un sistema di «accreditamento delle sedi e dei corsi di studio universitari fondato sull’utilizzazione di specifici indicatori definiti ex ante dall’ANVUR per la verifica del possesso da parte degli atenei di idonei requisiti didattici, strutturali, organizzativi, di qualificazione dei docenti e delle attività di ricerca, nonché di sostenibilità economico-finanziaria».

In Italia non possono esistere sedi universitarie o corsi di studio che non rispettino determinati standard minimi il cui possesso viene accertato all’esito di una procedura di accreditamento (cosiddetta AVA).

In attuazione della disposizione prima ricordata è stato di recente emanato il d.m. 12 dicembre 2016 n. 897 (recante «Autovalutazione, valutazione, accreditamento iniziale e periodico delle sedi e dei corsi di studio»)[x]. Questo d.m. contiene pagine e pagine di indicatori. Ad esempio sulla didattica si fa riferimento: alla percentuale di studenti regolari che abbiano acquisito almeno 40 CFU nell’anno solare; o alla percentuale di laureati entro la durata normale dei corsi; o al rapporto studenti regolari/docenti; e così via.

5. Gli indicatori nella VQR.

L’articolo 5, comma 3, lettera b, della legge 240/2010 ha introdotto un «sistema di valutazione periodica basato su criteri e indicatori stabiliti ex ante, da parte dell’ANVUR, dell’efficienza e dei risultati conseguiti nell’ambito della ricerca dalle singole università e dalle loro articolazioni interne». Nel nostro Paese ci sono stati due esercizi di valutazione della qualità dei prodotti della ricerca curati da ANVUR: VQR 2004-2010 e VQR 2011-2014.

La VQR 2011-2014 è stata effettuata sulla base di indicatori dell’attività di ricerca delle strutture denominati: IRAS1, IRAS2, IRAS3, IRAS4, IRAS5, IRAS6 e IRAS7 che sono stati determinati a partire dai dati forniti dalle strutture e dalla valutazione dei prodotti di ricerca. Per ogni struttura si è poi calcolato il valore degli indicatori finali di struttura legati alla ricerca IRFS1 e IRFS2 e così si è addirittura costruita una graduatoria delle diverse Università e dei diversi Dipartimenti)[xi].

6. Gli indicatori nella procedura per individuare i dipartimenti di eccellenza.

La legge di bilancio 2016 (l. 232/2016, art. 1, commi 319 e 320) ha istituito una procedura per selezionare i migliori Dipartimenti universitari ai quali giungeranno ingenti risorse. La selezione viene fatta in base all’ ISPD, acronimo che sta per «Indicatore standardizzato della performance dipartimentale». Esso tiene conto della posizione dei Dipartimenti nella distribuzione nazionale della VQR, nei rispettivi settori scientifico-disciplinari (vedi punto precedente)[xii].

7. Gli indicatori nella abilitazione scientifica nazionale (ASN).

Anche le procedure relative alle progressioni di carriera fa riferimento ad indicatori. L’articolo 1 del d.p.r. 4 aprile 2016 n. 95 (cosiddetta ASN 2) fornisce le seguenti definizioni:

– «parametri»: gli elementi di giudizio che sono suscettibili di una quantificazione e quindi possono essere valutati mediante il risultato di una misura;

– «indicatori»: gli strumenti operativi mediante i quali è resa possibile la quantificazione e quindi la misurazione dei parametri;

– «valore-soglia», il valore di riferimento di un indicatore cui corrisponde un adeguato grado di impatto della produzione scientifica misurato utilizzando l’indicatore medesimo.

Gli indicatori, in questo caso, servono a stabilire l’impatto della produzione scientifica, che può essere parametrato al numero di citazioni che un certo articolo ha ottenuto ovvero al luogo nel quale è stato pubblicato, e così via.

8. Gli indicatori della qualità e della efficacia della didattica.

L’articolo 2, comma 1, lettera p, della legge 240/2010 attribuisce ai Nuclei di valutazione presenti in ogni Ateneo «la funzione di verifica della qualità e dell’efficacia dell’offerta didattica, anche sulla base degli indicatori individuati dalle commissioni paritetiche docenti-studenti». L’esempio più intuitivo sono gli indicatori che popolano i questionari sulla valutazione della didattica che gli studenti sono chiamati a compilare. ANVUR sta anche lavorando alla predisposizione di indicatori per valutare i reali apprendimenti degli studenti: cosiddetto progetto TECOD[xiii]. Si rinvia a quanto detto a proposito delle procedure di accreditamento delle sedi e dei corsi.

9. Qualche considerazione di carattere generale.
10. a) Nel volgere di pochi anni le Università sono state travolte dalla logica degli indicatori, nella accezione più consona al pensiero manageriale e aziendalistico;
11. b) il concetto di indicatore (come ben evidenziato dal d.p.r. 95/2016) ha a che fare con la misurazione di qualcosa. Ma non bisogna dimenticare che non tutto può essere ricondotto a fenomeni che possono essere misurati. In più esistono fenomeni che non solo non sono misurabili ma non sono nemmeno osservabili, cionondimeno, appunto, esistono e svolgono ruoli fondamentali;
12. c) gli indicatori sembrano avvolti da alone di «oggettività». Ma non c’è bisogno di scomodare l’epistemologia del ‘900 per ricordare che non esiste fenomeno osservato senza un osservatore e non esiste una misurazione sulla quale non influisca il soggetto che misura ovvero il punto di osservazione;
13. d) la scelta degli indicatori non è mai neutra. Già decidere che il «costo standard per studente» debba prendere in considerazione i soli studenti in corso è una scelta precisa, densa di conseguenze. Si può arrivare a sostenere che i risultati cambiano sensibilmente sulla base dell’indicatore scelto. Il 2 gennaio 2017 è stata pubblicata la classifica delle Università italiane stilata dal Sole 24 ore[xiv]. Questa classifica ha una peculiarità: può essere “personalizzata”. Collegandosi al sito ciascuno può “dosare” i diversi indicatori (ottenendo, di volta in volta, una classifica diversa). Un esercizio istruttivo;
14. e) a parole si dice che gli indicatori servono a migliorarsi. Nei fatti servono a stilare ranking e a distribuire risorse (la quota premiale del FFO si basa sui risultati della VQR; ma si veda anche il caso dei Dipartimenti di eccellenza). Essi, quindi, vengono spesso usati per finalità diverse da quelle per le quali vengono confezionati;
15. f) a volte non vengono rispettati i warning relativi all’uso degli indicatori. Il 15 marzo 2017, a conclusione dell’esercizio di Valutazione della Qualità della Ricerca 2011-2014 (VQR2011-2014), i coordinatori dei Gruppi di Esperti della Valutazione (GEV) hanno redatto un documento sull’uso dei risultati della VQR, nel quale si richiama l’attenzione dei decisori politici, delle istituzioni accademiche e di ricerca affinché si impegnino ad ostacolare l’uso improprio di tali risultati. In particolare viene ribadito che i risultati della VQR non possono e non devono essere usati per comparare direttamente strutture di Aree diverse tra loro[xv]. Ma l’ISPD (ricordato al punto 6) si basa sui risultati della VQR ed opera esattamente una classifica tra dipartimenti di tutte le aree che quindi vengono in qualche modo comparati tra loro, esattamente ciò che si raccomandava di non fare;
16. g) la scelta degli indicatori retroagisce sui comportamenti. Se si hanno risorse maggiori quando gli studenti completano il corso di studio nei tempi previsti, può scattare qualche comportamento opportunistico. Se la qualità della didattica si valuta sulla base dei questionari compilati dagli studenti, qualche docente può essere portato a largheggiare nei voti per captatio benevolentiae. Se si considerano più importanti le pubblicazioni su riviste in fascia A rispetto alle monografie si può arrivare a governare gli stili di riflessione di una intera branca del sapere (è quello che sta accadendo proprio agli studi giuridici[xvi]);
17. h) gli indicatori appartengono alla logica della misurazione quantitativa. Ma l’Università non produce unità di prodotto, ma qualcosa di molto più impalpabile ma anche di molto più importante. Questa logica aziendalistica sta snaturando l’Università;
18. i) la rincorsa al rispetto degli indicatori sta minando la stessa possibilità di produrre pensiero critico e innovativo: l’indicatore è lo standard mentre l’innovazione è ciò che, per definizione, è fuori dallo standard;
19. l) l’Università deve perseguire l’innovazione. Invece si assiste ad un morbido adattamento a queste nuove logiche. Il conformismo indotto è una delle cose che si può facilmente misurare andando in giro per gli Atenei italiani.

[i] Il Fondo di finanziamento ordinario delle Università è stato istituito dall’articolo 5 della legge 24 dicembre 1993 n. 573 (Interventi correttivi di finanza pubblica). Tale fondo si divideva in due parti: la quota base e la quota di riequilibrio. A seguito della emanazione del d.l. 180/2008 (convertito nella legge 1/2009), il fondo si divide tra «quota base» e «quota premiale».

[ii] La nozione di indicatore nella ricerca sociale è chiarita da Corbetta, La ricerca sociale: metodologie e tecniche. Le tecniche quantitative, Bologna, 2015, 51.

[iii] Il d. lgs. 150/2009 è stato di recente emendato dal d. lgs. 25 maggio 2017 n. 74. In argomento Nobile, Piano della performance: contenuto e sua derivazione dagli strumenti del management pubblico di common law, in Risorse umane nella p. a., 2010, 115.

[iv] Gli studiosi di scienza politica spiegano che gli indicatori di performance sono dei meccanismi di controllo politico e di accountability della burocrazia. Si tratta di strumenti valutativi tipici delle nuove tecniche manageriali: la valutazione delle performance istituzionali e individuali (alle quali vengono legati sanzioni e incentivi, spesso di tipo finanziario); l’individuazione di indicatori di performance da raggiungere; la balance score cards (ovvero sistemi di gestione che obbligano le burocrazie a prestare attenzione alla performance complessiva di una politica e non solo a quella di alcune sue componenti): cfr. Capano, Piattoni, Raniolo, Verzichelli, Manuale di scienza politica, Bologna, 2014, 257.

[v] Il sistema di valutazione delle attività amministrative delle università e degli enti di ricerca di cui al capo I del decreto legislativo 31 dicembre 2009, n. 213, è svolto dall’Agenzia nazionale di valutazione del sistema universitario e della ricerca (ANVUR): cfr. art. 13, comma 12 del d. lgs. 150/2009.

[vi] Le «Linee guida per la gestione del Ciclo della performance delle Università statali italiane» emanate da ANVUR nel luglio 2015 si sforzano di dimostrare le ragioni per le quali il piano delle performance deve riguardare l’intera mission universitaria.

[vii] http://www.unibo.it/it/ateneo/amministrazione-trasparente/performance/piano-della-performance.

[viii] «Le università, anche al fine di perseguire obiettivi di efficacia e qualità dei servizi offerti, entro il 30 giugno di ogni anno, adottano programmi triennali coerenti con le linee generali di indirizzo definite con decreto del Ministro. I predetti programmi delle università individuano in particolare: a) i corsi di studio da istituire e attivare nel rispetto dei requisiti minimi essenziali in termini di risorse strutturali ed umane, nonché quelli da sopprimere; b) il programma di sviluppo della ricerca scientifica; c) le azioni per il sostegno ed il potenziamento dei servizi e degli interventi a favore degli studenti; d) i programmi di internazionalizzazione; e) il fabbisogno di personale docente e non docente a tempo sia determinato che indeterminato, ivi compreso il ricorso alla mobilità».

[ix] D.p.c.m. 18 settembre 2012, Definizione delle linee guida generali per l’individuazione dei criteri e delle metodologie per la costruzione di un sistema di indicatori ai fini della misurazione dei risultati attesi dai programmi di bilancio, ai sensi dell’articolo 23 del decreto legislativo 31 maggio 2011, n. 91.

[x]  Il d.m. citato nel testo sostituisce il decreto ministeriale n. 47/2013.

[xi] Il rapporto finale, con la spiegazione degli indicatori citati nel testo si trovano sul sito dell’ANVUR all’indirizzo http://www.anvur.org/rapporto/main.php?page=intro.

[xii] La nota metodologica per il calcolo dell’ISPD si può leggere a questo indirizzo http://hubmiur.pubblica.istruzione.it/alfresco/d/d/workspace/SpacesStore/a8a56378-d9f4-44cd-b0dd-7bce0d2f1b7d/Nota_metodologica_ISPD_ANVUR.pdf.

[xiii] Per approfondimenti v.: Cerulli Irelli e Roselli (a cura di), La verifica in itinere della formazione. Il progetto di un test delle competenze disciplinari (TECOD) in ambito giuridico, Napoli, 2017.

[xiv] http://www.ilsole24ore.com/speciali/classifiche_universita_2016/home.shtml.

[xv] Il documento sottoscritto da tutti i GEV si può leggere a questo indirizzo http://www.confarea13.it/wp/wp-content/uploads/2017/03/DocumentoCoordinatoriGEV.pdf.

[xvi] Nelle linee guida per l’accreditamento delle sedi e dei corsi di dottorato di ricerca di recente emanate (nota 14 aprile 2017, protocollo n.11677 reperibile all’indirizzo http://attiministeriali.miur.it/anno-2017/aprile/nota-14042017.aspx), si sancisce il principio secondo il quale la qualificazione del collegio dei docenti del dottorato si basa su articoli pubblicati su riviste e non sui libri che quei docenti possono aver scritto. Ma per i giuristi, il genere letterario della monografia rimane quello nel quale meglio si evidenzia la maturità scientifica degli studiosi.