Impacte de la divulgació? Quin impacte?

Una contestació a Pere Estupinyà

Impacte-divulgacio-Naukas-Bilbao_portada
Xurxo Mariño
Juan Ignacio Pérez Iglesias durant la seua intervenció en Naukas Bilbao 2015.
Fa unes setmanes es va publicar en la web de Mètode «Estem fent divulgació acientífica», un article de Pere Estupinyà aparegut prèviament en el número 86 de la revista. En el text, Estupinyà qüestionava la pràctica de les institucions que realitzen divulgació científica o que la financen, però que ho fan sense avaluar el seu impacte. Segons ell, «el gran repte de la divulgació científica és fer avaluacions d’impacte dels projectes per destriar els que funcionen dels que no» i «a les entitats que financen projectes [no els en queda una altra que] exigir que siguin avaluables», per citar les dues frases que millor condensen el seu plantejament. Ja en el seu moment i mitjançant un intercanvi a Twitter li vaig manifestar el meu desacord amb el contingut del seu article i em vaig comprometre a redactar una resposta.

La meua principal objecció és que no queda clar a què es refereix quan parla d’avaluar l’impacte de les activitats de divulgació. Totes les polítiques públiques (plans, programes o projectes) que es porten endavant tenen uns objectius, estiguen formulats de forma explícita o no. I les institucions es preocupen cada vegada més d’avaluar l’impacte de les seues activitats, el grau en què compleixen els objectius del que fan. Si he entès bé els arguments de Pere Estupinyà, aquesta mateixa lògica li és aplicable a la divulgació impulsada per institucions com és el cas, sense anar més lluny, de la que promou o realitza la Càtedra de Cultura Científica (UPV/EHU) que jo coordine.

Allò ideal seria que pogués mesurar-se amb rigor el grau de compliment dels objectius de les polítiques públiques, avaluant en quina mesura les corresponents actuacions aconsegueixen els objectius últims per als quals van ser dissenyades. Vegem això amb un exemple. Se suposa que l’objectiu de les inversions en vies i trens d’alta velocitat és facilitar la mobilitat de les persones per a, d’aquesta manera, prestar un bon servei públic de transport i generar condicions que faciliten l’activitat econòmica i contribuesquen a millorar la vida de la gent que viu en l’àrea d’influència de les infraestructures en qüestió. En última instància, la població que corre amb la despesa necessària per a fer aquesta inversió, en el seu conjunt, hauria d’eixir-ne beneficiada. És possible avaluar en quina mesura es compleix aquest objectiu? Crec que, en rigor, no ho és. Si tenim en compte tots els factors que poden incidir en l’activitat econòmica i el benestar dels ciutadans afectats per les inversions en grans infraestructures, dubte que siga possible determinar si aquestes inversions donen els efectes cercats o no. Quan s’ha estimat l’impacte econòmic a curt termini de les inversions en trens d’alta velocitat a Espanya, els resultats han sigut descoratjadors. No obstant això, segueix havent-hi defensors del tren d’alta velocitat que sostenen, probablement no sense raó, que aquests impactes no poden mesurar-se a curt termini, ja que no som capaços de calibrar com seria l’Espanya d’ací a cinquanta anys amb i sense aquestes inversions. Per això, l’opció per una posició conservadora podria resultar suïcida. En altres paraules, defensen que certes decisions han de ser preses assumint un cert risc, però que han de basar-se en la suposició que determinades hipòtesis sobre el futur del transport de passatgers de superfície són correctes.

Si anem al terreny de l’educació ens trobarem amb dilemes similars. Encara que en aquest cas es pot disposar de certs indicadors en terminis de temps relativament curts, no hem d’enganyar-nos: els resultats que es derivarien de seguir unes o altres pràctiques educatives depenen molt de determinades condicions de l’entorn socioeconòmic i cultural. El que en un entorn pot donar molt bon resultat pot ser nefast en uns altres. I en cap cas seria possible atribuir els resultats, amb suficient grau de certesa, a unes determinades pràctiques pedagògiques, programes d’estudis o inversions.

«Les institucions es preocupen cada vegada més d’avaluar l’impacte de les seues activitats,
el grau en què compleixen els objectius del que fan»

Impacte-divulgacio-Laika
RTVEImatge del programa Òrbita Laika.
 

 

«L’avaluació sempre aporta informació útil. Però cal ser conscients de les limitacions de l’avaluació i de la necessitat de recórrer a indicadors indirectes»

Això anterior no vol dir que s’haja de renunciar a avaluar el que es fa. L’avaluació sempre aporta informació útil. Però cal ser conscients, d’una banda, de les limitacions de l’avaluació i, per l’altra, de la necessitat de recórrer a indicadors indirectes, amb la confiança que puguen actuar com a variables proxy; i dic «amb la confiança» perquè ni tan sols tenim forma d’assegurar-ho amb certesa. En el cas del tren podem considerar que el nombre de viatgers transportats pot ser un bon indicador del grau d’activitat econòmica afegida que genera la seua construcció i posada en marxa. I en el de l’educació, que els resultats de les proves PISA constitueixen una bona variable proxy del nivell formatiu i cultural adquirit pels alumnes de secundària. Però és molt difícil establir correspondència directa entre els nivells d’unes variables (indicadors) i unes altres (objectius quantitatius reals).

Pere Estupinyà afirma en el seu article que existeixen metodologies per a avaluar l’impacte de les activitats de divulgació. Confesse que les desconec, i això no és trivial en la meua argumentació, perquè coneixent la metodologia sabria a què es refereix qui parla d’impacte. Vaig demandar als qui en Twitter van intervenir en el debat que concretaren què entenien per impacte. Però les respostes van coincidir a assenyalar que això depenia de l’objectiu de les activitats, que hauria de mesurar-se d’una forma o d’una altra depenent de quin fóra l’objectiu. Aquestes respostes no em van resultar satisfactòries perquè sostinc que en el cas de la divulgació científica no és possible mesurar el seu impacte últim. No, almenys, si l’àmbit d’influència del mateix és, com pretenen molts dels agents concernits, el conjunt de la societat. En altres paraules, en divulgació científica podem saber quants viatgers es desplacen en AVE però no podem saber quin efecte tindran a mitjà termini aquests viatges.

Suposem que l’objectiu últim és el d’augmentar la cultura científica de la gent. De fet, en el seu article en Mètode, Pere Estupinyà es refereix a les moltes iniciatives que «històricament no han aconseguit atacar l’analfabetisme científic de la població» per a justificar la necessitat de l’avaluació de l’impacte. Doncs bé, si l’objectiu de la divulgació científica és aquest o algun de similar, l’única forma d’aproximar-se a mesurar l’impacte de les activitats de divulgació és mesurar el nombre de les persones que la consumeixen. I sostinc que això és així perquè, siga quin siga l’objectiu cercat, només mitjançant aquest indicador pot obtenir-se una mesura de l’impacte de les activitats. Si es tracta d’una publicació digital, la xifra és la de visitants; si és un programa de ràdio, els seus oients; si és un podcast, el nombre de descàrregues; si és un esdeveniment de divulgació, els assistents, i, si és un programa de televisió, l’audiència. Tots ells són indicadors quantitatius. Però no crec que siga això el que troba a faltar Pere Estupinyà. Perquè això és trivial, ja que dubte que hi haja cap activitat institucional de difusió científica que no atenga a aquest tipus d’indicadors.

Impacte-divulgacio-Naukas-Bilbao Xurxo MariñoPúblic assistent al Naukas Bilbao 2014.  

«Perquè, com es mesura l’impacte d’un conjunt d’activitats sobre la cultura científica de la població de referència? En quin termini es mesura? Com es distingeix del d’altres iniciatives i, molt singularment, del de l’educació formal?»

Al·ludiré a les activitats de la Càtedra de Cultura Científica de la UPV/EHU per a avançar en la discussió. És l’exemple que, per raons òbvies, millor conec i, a més, no em considere autoritzat per a referir-me a altres experiències. Suposem que l’objectiu de les activitats de divulgació que realitza o a què dona suport la Càtedra és augmentar la cultura científica de la gent. És possible anar més enllà dels indicadors trivials abans esmentats? No ho és. Perquè, com es mesura l’impacte d’un conjunt d’activitats sobre la cultura científica de la població de referència? En quin termini es mesura? Com es distingeix del d’altres iniciatives i, molt singularment, del de l’educació formal?

La Càtedra té dos objectius principals. Un és satisfer la demanda de productes de cultura científica per part de persones ja interessades per la ciència. I procura satisfer aquesta demanda mitjançant els mitjans citats, singularment mitjançant conferències, publicacions digitals i intervencions en ràdio. També es proposa, encara que lògicament a molt llarg termini, que la gent tinga una major estima per la ciència i, si és possible, enriquir la seua cultura científica. Però això darrer ho fa, principalment, mitjançant actuacions a les quals denomine d’agitació i propaganda: col·laboració amb programes de televisió (Escépticos i Órbita Laika, per ara) i, especialment, l’espectacle científic Naukas Bilbao. No es tracta que el públic que veu els programes o que assisteix al festival «aprenga» ciència així. Es tracta que la ciència tinga una major presència en l’espai públic per a, d’aquesta forma, prestigiar-la. I que un major prestigi social done lloc a canvis en l’actitud tant d’institucions com de particulars i entitats privades que redunden en un major suport a la ciència, amb les conseqüències que s’acabarien derivant també en termes de cultura científica.

Les actuacions que ha portat endavant o a què ha donat suport la Càtedra han tingut èxit. Les xifres d’assistència de públic als esdeveniments, de visites a les publicacions en internet i d’audiència en els programes de ràdio i televisió amb els quals col·labora així ho indiquen. Sóc conscient que en el millor dels casos aquestes dades són indicadors –variables proxy– del grau de compliment dels objectius últims als quals he fet referència. Però és que el grau de compliment d’aquests objectius, senzillament, no es pot mesurar de forma directa, perquè no és possible treballar en marcs temporals que ho permeten i perquè uns altres, molt importants, agents i factors incideixen de forma decisiva en el mateix àmbit.

Juan Ignacio Pérez Iglesias. Catedràtic de Fisiologia i coordinador de la Càtedra de Cultura Científica de la UPV/EHU.
© Mètode 2015. 

© Mètode 2015