La economista francesa Florence Audier retoma (en la laviedesidees) el asunto de la clasificación de las revistas académicas y sus consecuencias sobre la evaluación del conocimiento científico. La cuestión central, que lleva agitando al mundo universitario galo desde hace meses, es si la financiación de la enseñanza superior dependerá de la bibliometría, es decir, si éste será el indicador supremo de la actividad y la calidad de la investigación. Por tanto, aunque el texto hace referencia a una disciplina vecina y no a la nuestra, creo conveniente poner las barbas a remojo.

Dice Audier que durante mucho tiempo  los economistas (y otros), basándose en las prácticas características de  las “ciencias duras”,  han establecido la publicación de artículos en revistas internacionales “con comité de lectura” como el mejor criterio de ” excelencia “, aceptando una jerarquía más o menos explícita en estas revistas, la mayoría de las cuales son anglosajonas.

Más recientemente, se ha fijado una clasificación, esta vez claramente jerárquica, por parte la sección 37 de la Comisión Nacional (encargada de los ramos  de economía y gestión), con el doble propósito de ser un “apoyo a la decisión y no un medio de clasificación ciega y automática que sustituiría eo ipso a una instancia de decisión y evaluación cisntíficas”. En concreto, se trata de establecer, de acuerdo con la comunidad afectada, una lista que “sirva a los evaluadores para identificar mejor las revistas reconocidas y consideradas como de referencia. Y ello con la preocupación de “un contexto donde la bibliometría gana terreno… y de que no se imponga desde fuera una clasificación…”.  El reto era ofrecer un barómetro idéntico para todos, proporcionar puntos de referencia en disciplinas o sub-disciplinas sobre las que los evaluadores (compañeros o designados) no lo saben necesariamente todo o reducir las consecuencias de las muchas ideas falsas que circulan en ese medio. (Como sabemos, todo eso vale también para la historia y otras disciplinas adyacentes)

Este sistema se ha implementado  y la bibliometría, con toda su sofisticación, se ha generalizad0 a espaldas de la mayoría de nuestros colegas. Y lo que es peor,  la AERES (Agencia para la Evaluación de la Investigación y la Educación Superior) pretende clasificar sobre determinados criterios externos las unidades o individuos, imponiendo su “diagnóstico” a toda la comunidad científica, incluso proponiendo, lo cual sobrepasa su mandato, cambios estructurales. Así pues, parece llegado el momento de realizar un examen más detenido de lo que significan estas “listas”, y en particular la que nos afecta.  En ese sentido, conviene detallar quiénes son los contribuyentes a las revistas que la comunidad francesa de la economía y la empresa  ha puesto en lo alto de la lista.

El uso de estos “instrumentos” supera con mucho lo inicialmente fijado, y a través de ellos se decide la concepción del trabajo científico y su eventual fecundidad. Además, es sobre estos criterios de evaluación y las trampas que contienen que quisiéramos ofrecer elementos de debate, especialmente a partir de determinados datos empíricos. En efecto,  a través de la AERES y la DPA del CNRS, este indicador tiende a invadir todas las esferas de la evaluación y a eclipsar  las demás, y ello a pesar de las críticas. Pero  las cosas van muy lejos:  algunos miembros del  CNU usan esta clasificación para decidir quién está en mejores condiciones para acceder a una plaza. En otras disciplinas, incluidas las humanidades y las ciencias sociales, pero también en astronomía, por ejemplo, las comunidades de científicos se han levantado para rechazar esta “dictadura de la publicación”, resumida en aquello de  “publicar o perecer” , y el European Reference Index for the Humanities ha renunciado a clasificar las revistas en A, B o C, decantándose por listas indiferenciadas

[Con permiso de la profesora Audier, eso es algo que no he podido confirmar, porque la última notificación de la ERIH señalaba precisamente todo lo contrario, la creación de una nueva categoría, la W, para aquellas publicaciónes con menos de cuatro años de vida. Por otra parte, el acuerdo de este pasado verano sólo señalaba sobre este punto lo siguiente: “We agree fully that it is important to distinguish the issues of quality from those of scope and audience. These were indeed the intentions of the ERIH in differentiating between international and national journals. Nevertheless, we understand and accept that these three categories could be misperceived as a kind of ranking. The ERIH is therefore in the process of rethinking this categorization in A, B, and C, and of remodelling it according to a division into international, national or regional”. Es más, su última presentación sólo cambia los nombres y, así, la A pasa a ser INT1, la B se convierte en INT2 y la C es ahora NAT, por National Journals]. Pero sigamos:

Recordemos primero que la idea de remitir a listas de revistas jerarquizadas se defiende de acuerdo con “las mejores prácticas internacionales”, es decir, las prácticas  anglosajonas, o al menos así parece. En realidad,  lejos de practicar este “monocultivo” en humanidades y ciencias sociales, e incluso en economía, los estadounidenses todavía parecen esforzarse con denuedo en publicaciones académicas y publicaciones de libros, especialmente a través de editoras universitarias, lo cual en Francia ha desaparecido desde hace mucho tiempo. El préstamo que se hace de las prácticas americanas sólo es, por tanto,  parcial  y quizás no de lo mejor. Repasemos  la revista Journal of Economic Literature (JEL). En 2007, por ejemplo, en cuatro números, la JEL edió 1.256 páginas. Pero no todo son artículos, pues hay amplias reseñas de un considerable número de libros: 84 libros fueron comentados ese año. Además, 1.604 referencias de libros (annotated listings), a los que se dedicaron entre 15/20 líneas. El índice de autores de nuevos libros  (la gran mayoría son estadounidenses  o,  en cualquier caso,  anglosajones), que resume los libros publicados a lo largo del año, contenía cerca de 2.600 nombres, y sólo este índice ocupaba 25 páginas. Y luego está la lista completa de las “tesis doctorales”, que también suponía un lugar importante en la revista.

Por tanto, ¿escribir artículos y publicarlos tiene un interés secundario? Distingamos los puntos de vista.

Desde la perspectiva de la difusión del conocimiento o más ampliamente de la difusión de los resultados de los trabajos o la expresión de puntos de vista, una revista parece a priori muy adecuada para una difusión amplia y rápida, tanto en papel como en formato digital, con o sin “comité de lectura”. Estimular el debate, lanzar hipótesis teóricas o líneas de interpretación de los acontecimientos, interrogar las políticas, hacer recomendaciones: la forma articulo no sólo es apropiada y útil, sino que puede parecer indispensable, sobre todo debido a su característica “no-perenne”. En un artículo, uno debería poderse arriesgar,  lanzarse,  equivocarse,  obtener “respuestas”,  ajustarse o no a los propósitos, seguir o no adelante. Los números de las revistas se encadenan, el próximo desplaza al precedente… Especialmente en las disciplinas que se describen como “no acumulativas”, es decir, en las que no se está obligado a conocer el trabajo de todos los colegas para aportar algo -incluso aunque obviamente sea deseable estar al día de la bibliografía-,  la naturaleza potencialmente efímera de las revistas no plantea grandes problemas, y todo autor es capaz, si lo desea, de retomar sus artículos para sintetizarlos en forma de libro.

A diferencia de los artículos, un libro (no hablamos de ensayos) requiere madurez y distancia, y el autor será juzgado por su cultura, la fuerza y la coherencia de sus argumentos y la tesis que defiende, su capacidad para responder o incluso anticiparse a las objeciones y especialmente por su contribución específica, dado el estado de su campo…  Sin esperar la “obra maestra”, se exigirá un cierto nivel de exhaustividad, se considerarán las referencias teóricas y su aplicación, la relevancia de los datos y su tratamiento, etc. En resumen, un libro destinado a durar, a depositarse en una biblioteca, supone mayor exigencia para el autor y el contenido. Y las críticas – positivas o negativas – pueden aparecer años después de su publicación. Además, ¿no es eso lo que señala que un libro o una tesis es “histórica”? Con pocas excepciones, todos sabemos cuáles son esos libros imperdurables. ¡Los artículos “fundadores” son muy raros! Así que ¿por qué ofrecer en lo relativo a la evaluación todo el espacio a los artículos, específicamente a ciertos artículos, y no a otros modos de expresión y de transmisión?

Dejemos de lado temporalmente el negocio que suponen las revistas para algunos editores y lo que se juegan al entrar en esas listas:  cualquier revista excluida se quedará sin contribuyentes y fenecerá; una “nueva” sólo conseguirá sobrevivir si encuentra defensores suficientemente potentes que le permitan entrar en ese club selecto, por ejemplo un grupo editorial bien establecido ya en la disciplina. De ahí, sin duda, su interés por señalar el lugar que ocupan en el ranking, su citation index, etc. Es decir, su interés por venderse bien, lo cual explica el excepcional trabajo de marketing que muchas de esas firmas despliegan, y eso no tiene absolutamente nada que ver con la calidad de las contribuciones.

Si consideramos ahora las consecuencias de estas decisiones sobre la propia investigación  y su futuro, tendremos que señalar algunos puntos “positivos”:  en efecto, el examen de los índices y de los  resúmenes permite identificar de forma relativamente cuáles son los objetos tratados – en un momento dado- por los investigadores (¿de todo el mundo?,  volveremos sobre el acceso a estos títulos y su difusión) y, en su caso, dialogar con ellos, entrar en contacto  (y más si hay afinidades), ubicarse en este complejo mundo que es nuestra “comunidad científica”. Esto también ayuda a saber qué temas están “de moda” – es decir, aquellos que han sido seleccionados por las revistas patentadas-, lo cual puede ser de gran ayuda para postularse antes  los distintos “organismos de financiación”. Por último, en el mismo sentido, uno se puede orientar por el laberinto de los apoyos,  para identificar sin riesgo “lo que hacemos mejor” e identificar cómo acceder o hacer acceder a ellos a nuestros doctorados .

Sin embargo, este sistema contiene graves deficiencias que son exactamente el reverso de sus ventajas,  pero que van mucho más allá. Nos gustaría subrayar aquí un aspecto insuficientemente discutido, y que no se encuentra – o menos – en las ciencias exactas:  el conformismo que este tipo de evaluación genera sobre los temas, paradigmas, origen y tipo de los datos utilizados, las formas de exposición y argumentación y, por tanto, la manera de reflexionar, escribir y convencer,   defectos que en gran medida aniquilan los beneficios potenciales de la forma “artículo”. Los ejemplos abundan: para tener la oportunidad de ser publicado, primero uno debe leer los consejos que se dan a los autores e impregnarse de los artículos de otros, para identificar y entrar en el molde. Si eres europeo, y especialmente de un país del sur, para tener la oportunidad de ser publicado es mejor buscar un coautor anglosajón, que ya haya publicado en alguna de las revistas que figuran en el “top list” o, mejor aún, que pertenezca a algún consejo editorial (a menudo son los mismos). Preferiblemente debe ser un universitario al que hayamos conocido durante el post-doc o al que su “patrón” haya hecho venir como profesor visitante (o viceversa) o con el que hayamos coincidido en algún congreso dónde nuestro grupo de investigación nos haya hecho el favor de promocionarnos (y financiarnos). Para tener alguna posibilidad de publicar, es mejor ayudarse alardeando de que el texto ya ha sido presentado varias veces durante esas ceremonias que son los grandes coloquios o  congresos rituales en los Estados Unidos, que ha sido leído y releído – y su autor ensalzado- por personalidades de prestigio (citando ampliamente nombres y autoridades vía agradecimientos, por lo general en una nota de primera página para asegurarse de que será leída), que la investigación publicada se ha beneficiado de subvenciones a cuyos donantes también se le está agradecido  y que se ha mejorado enormemente con los comentarios pertinentes de los evaluadores, etc.  En fin, todo ello presentado de modo que,  al juzgar – y eventualmente rechazar- un texto,  sea toda esa comunidad antes mencionada la que quede juzgada. No sólo porque se supone que ha contribuido a “mejorar” el texto, como queda subrayado, sino porque de alguna manera se compromete patrocinándolo.

Cuando el boquete queda abierto, uno ya puede amortizar por su cuenta los esfuerzos realizados, publicando acto seguido varios artículos, y facilitar el acceso a otros (¿a cambio de la reciprocidad?), de ahí que aveces se vean publicaciones en cascada de miembros de los mismos equipos en las mismas revistas  sin que las razones temáticas sean determinantes.

De ahí la sensación – muy extendida- de ver anuladas  las ventajas inherentes a la publicación de artículos: la falta de frescura (los artículos aparecen mucho después de su concepción), de espontaneidad y de riesgo en los trabajos publicados. ¿Los rechazados respondían mejor a los criterios establecidos? Por definición, eso es un completo misterio.

Para avalar estas observaciones de carácter bastante general se coloca la cuestión concreta de las revistas seleccionadas o no, y la de su clasificación. Esto nos lleva a otro universo, pues se trata de ofrecer visibilidad o negarla, de poner en cabeza  (o a la cola)  algunas áreas, ciertas  lenguas y ciertos paradigmas. Al hacerlo, se trata también de hacer prevalecer,  sin explicitarlo ni discutirlo, una concepción de la disciplina y de su futuro. Pues no se hace sino clasificar unas revistas respecto a las otras, por campos,  eligiendo cuál entra en competencia con cuál, etc.

(…)

Florence Audier continúa señalando que, en su caso,  la rama “economía-gestión” de la comisión nacional de la investigación (la llamada sección “37”)  ha seleccionado una lista de 705 revistas reconocidas como “válidas”. Entre éstas,  58 (8%) lo son en francés y el resto en Inglés. Además, en la primera versión de la lista,  de octubre de 2007, ninguna francesa había sido clasificada como “1*” o “1”, sólo dos en la “2 “,  quince en la “3” y la gran mayoría en la “4 ” (40 de 58 revistas relevantes). En la versión de junio de 2008, se ha colocado una en la “1”. se trata curiosamente de  Annales, la revista fundada por Marc Bloch y Lucien Febvre.

Leer más…

Apéndice: Posición de los “autores”  franceses y europeos en las revistas examinadas  por Audier (rama: economía y gestión)

---

---