En la reciente reunión anual de la AHA se dedicó una sesión a discutir sobre las revistas académicas y su evaluación: ” “Grading” Journals: How, Why, and by Whom? “. Las propuestas iniciadas en Europa, Australia y Nueva Zelanda han llevado la inquietud también a los historiadores norteamericanos, que desde hace tiempo debaten sobre el particular, en especial a través del Council of Editors of Learned Journals. Veamos, pues, qué está ocurriendo en nuestro continente, aunque parece que nuestros colegas del otro lado del Atlántico estén más enterados que muchos de los que pululamos por aquí.
Para entenderlo, quizá lo más conveniente sea reproducir un manifiesto francés titulado: “Pour le retrait complet et définitif de la « liste des revues » de l’AERES“.
“Ante la creciente utilización de las evaluaciones cuantitativas en la investigación científica, las reacciones se multiplican en todas las disciplinas, denunciando los efectos nocivos de estos métodos. Las humanidades y las ciencias sociales, las últimas en verse afectadas, no se han quedado atrás. Mientras la Fundación Europea para la Ciencia tiene por objeto establecer su propia clasificación de revistas de humanidades (ERIH: European Reference Index for the Humanities), la comunidad internacional de editores de revistas de historia de la ciencia, de la técnica y de la medicina han solicitado que sus revistas no se incluyan.
En Francia, la Agence d’évaluation de la recherche et de l’enseignement supérieur (AERES) ha publicado una “liste des revues scientifiques du domaine des sciences humaines et sociale”, que las clasifica en A, B y C, inspirándose en buena medida en el ERIH. Esta publicación ha suscitado fuertes tensiones en la comunidad científica. Más allá de las incoherencias, absurdos, omisiones o injusticias que se reflejan en esa lista, la cuestión es que se ha utilizado por primera vez un método discutible. Segun las disciplinas, los criterios no son uniformes y no está claro si se trata de medir “la proyección de las revistas” (presentación general), su “nivel” (criterio sociológico) o el “factor de impacto” (criterio psicológico). Esta incoherencia viene acompañada por una opacidad lamentable, pues los nombres de los expertos que han hecho estas listas no suelen hacerse públicos.
Más preocupante aún es el uso de esta clasificación, ya que debe utilizarse para discriminar los investigadores que “publican” de los que “no publican” en un grupo de investigación, con el fin de decidir la financiación de estos grupos. La evaluación de la investigación constituye una operación científica vital, pero pertenece a los investigadores; no puede automatizarse ni hacerse sin una lectura efectiva e informada de la obra en cuestión. La clasificación propuesta por el AERES parece indicativa; si los investigadores han de seguir esas recomendaciones, cabe esperar efectos desastrosos para las revistas que queden marginadas en estas clasificaciones. El conjunto de la investigación lo sufrirá de inmediato.
En una reciente decisión, relativa a los campos de la literatura francesa y de la literatura comparada, AERES ha renunciado a establecer una lista de revistas clasificadas. Pedimos a la AERES que la extienda a todas las disciplinas y que esta moratoria se transforme en puro y simple abandono. Además, convencidos de la necesidad de una acción concertada de los investigadores de todos los campos en el plano internacional, invitamos a todos los responsables de las revistas científicas a unirse a la iniciativa de nuestros colegas de historia de la ciencia, la técnica y la medicina”.
Así pues, como ha señalado Pierre Jourde en Le Monde Diplomatique, son varios los reproches a este modelo bibliométrico: se afirma que las revistas anglosajonas están sobrevaloradas, que eso no se corresponde con sus verdaderas cualidades; que esta sobrevaloración causará la huida de textos europeos hacia esas revistas, con lo que tal bibliometría provoca lo que pretende medir; que otorgar la preeminencia a determinadas revistas les permite dormirse en los laureles para la eternidad; que el criterio principal de publicación en una revista prestigiosa no es necesariamente la calidad de la investigación científica; que la investigación más audaz se difunde a menudo en revistas recientes y poco conocidas; que estos criterios son cuantitativos y, por eso mismo, carecen de sentido para medir la calidad de una obra; que muchas veces es el tiempo el que muestra la importancia de la investigación; que la calidad de una revista no se mide por su distribución, ni la calidad de un texto por la reputación de la revista que lo acoje; que abundan, sobre todo en las humanidades, documentos básicos en soportes raros y confidenciales; que el “registro” condena de antemano la creación de revistas innovadoras y audaces; que los avances del conocimiento se hacen a menudo fuera o en contra de las instituciones establecidas, tan bien consideradas por Aeres; que el número de citas mide las modas intelectuales, las posiciones de poder y la audiencia de un autor más que la calidad del artículo citado; y que todo esto puede producir un pensamiento plano y servil.
Por otra parte, como indica el manifiessto, esa clasificación se ha utilizado en el proyecto de reordenación parcial de la carrera docente (el estatuto de los enseignants-chercheurs). En concreto, para fijar los denominados Critères d’identification des chercheurs et enseignants-chercheurs “publiants”, algo que tiene distintos efectos (económicos también, por supuesto) y que sólo se consigue con un mínimo de publicaciones en revistas del tipo “A”. Eso explica el calendario de movilizaciones previstas (inicialmente en la Sorbona) con el fin de que se deroge esta normativa, movilizaciones que empezarán con la retención de notas del primer semestre y concluirán, si antes no hay acuerdo, con una huelga general prevista al inicio del segundo.
Aunque el modelo sea bien distinto, recordemos que el “Borrador de Estatuto del Personal Docente e Investigador de las Universidades Españolas” (10/11/08)también preve tres grados de ascenso para cada uno de los Cuerpos Docentes Universitarios.
En fin, para no cansar, les remito al dossier que ha preparado la Association des Historiens Contemporanéistes de l’Enseignement Supérieur et de la Recherche (AHCESR). Allí se da cuenta de todo eso y de la reunión que mantuvo un enviado de la AERES (Patrice Bourdelais) con representantes de distintas revistas, entre las que estaban: Actes de la recherche en sciences sociales, Annales, Genèses, Mouvement social, Revue d’histoire moderne et contemporaine,
RH19, Histoire de l’éducation, Revue de synthèse, Sociétés contemporaines, Revue@ politique, Politix, Tracés, Sociologos, Histoire des religions, Mil neuf cent, Annales de démographie historique, Revue française de socio-économie, Clio, Economie appliquée, Economie et société, Hérodote, Politique étrangère, Diasporas, Espace et société y Revue des mondes musulmans.
Además, les invito a consultar:
* La Clasificación de ERIH (las ERIH Guidelines) y la filosofía de este organismo. El modelo expone:
“Category A Journals: high-ranking international publications that are regularly cited all over the world and have a very strong reputation among researchers in different countries.
Category B Journals: standard international publications with a good reputation among researchers in different countries.
Category C Journals: standard and high ranking national publications with a recognised scholarly significance among researchers in a particular (mostly linguistically circumscribed) readership group in Europe; occasionally cited outside the publishing country, though their main target group is the domestic academic community”.
En el caso de la Historia, el grupo de trabajo lo componen: Simon Mercieca (Chair), University of Malta, Richard Aldous, University College Dublin, Tønnes Bekker-Nielsen, Syddansk Universitet, Dusan Kovac, Slovak Academy of Sciences, John Morrill, University of Cambridge, y Jan Luiten van Zanden, International Institute of Social History.
* La Clasificación de Aeres para la historia, que evalúa todas las revistas (Ayer, Hispania, Historia Social e Historia Contemporánea, por ejemplo, figuran en la “B”).
* Finalmente, el artículo de Nancy Adler y Anne-Wil Harzing, “When knowledge wins: Transcending the sense and nonsense of academic rankings“, que aparecerá en marzo de 2009 en Academy of Management Learning & Education, y del que disponemos de una versión fechada en noviembre de 2008.
OpenEdition le sugiere que cite este post de la siguiente manera:
Anaclet Pons (16 de enero de 2009). Revistas académicas, evaluación del conocimiento y carrera docente. C L I O N A U T A : Blog de Historia. Recuperado 12 de diciembre de 2024 de https://doi.org/10.58079/mxy6
Que tal:
Estoy de acuerdo en las evaluaciones a revistas académicas, pero no de su clasificación internacional. Es verdad que existen revistas con dinero público, como es el caso de muchas Universidades públicas de México en que solo se hacen para la comunidad universitaria, y ese es su objetivo, pero es de corto alcance, ya que muchos estudiantes universitarios hacen caso omiso a investigaciones recientes, como bien lo escribieron líneas arriba. Las investigaciones más interesantes y relevantes son tan recientes que quedan publicadas para pequeños grupos y no para divulgar el conocimiento de manera general en una revista de circulación nacional o internacional de renombre o cierto prestigio, y en cambio, muchas revistas científicas con prestigio internacional publican cosas ya vistas infinidad de veces, pero que para el público son temas populares.
Las evaluaciones siempre son buenas pues son un parámetro que nos puede decir muchas cosas, tanto comerciales como sociales.
En cuanto a la evaluación por disciplina, no es posible que alguien que no pertenezca a la misma, por ejemplo de Historia, no sea hecha por historiadores, es de poco peso la evaluación y clasificación de calidad que pueda hacer una persona ajena al área o con poco peso dentro de la disciplina, no se puede entender lo que no se conoce.
Todas las publicaciones deben ser evaluadas, pero es imprescindible evaluar a los evaluadores.
Comparto todo lo apuntado por Juan. La evaluación es imprescindible. Sólo intento alertar sobre el riesgo de un modelo clasificatorio que pudiera caer en la cómoda tentación de la bibliometría.
Por lo demás, no hemos de olvidar que el ISI es un producto empresarial con lógico afán de lucro. Por eso, desde que apareció el ERIH no han parado de glosar su herramienta con un bonito ppt que llevan a las reuniones universitarias.
Comparto todo lo apuntado por Juan. La evaluación es imprescindible. Sólo intento alertar sobre el riesgo de un modelo clasificatorio que pudiera caer en la cómoda tentación de la bibliometría.
Por lo demás, no hemos de olvidar que el ISI es un producto empresarial con lógico afán de lucro. Por eso, desde que apareció el ERIH no han parado de glosar su herramienta con un bonito ppt que llevan a las reuniones universitarias.
Estimado Anaclet
La crítica a la bibliometría es muy antigua y ha sido realizada, generalmente, por los propios bibliómetras – por ejemplo, el grupo que realizó el Science Citation Index ha manifestado muchas veces que sus resultados se emplean para fines muy contrarios a los que los autores señalan. Es evidente que la evaluación del trabajo científico es complicada pero, como muy bien dice Mikel, es mucho mayor el riesgo de la no evaluación. Los autores del informe de las revistas de historia de la ciencia no están en contra de la evaluación. Lo que critican es que en la elaboración de los índices no se haya contado con los editores de las revistas ni con personal acreditado o profesionales de la disciplina (los autores del “ranking” son personas de escaso peso en el área). En cualquier caso, no resulta sorprendente que las revistas españolas sean mal evaluadas. No es un problema de idioma. Muy pocas cumplen con los criterios de excelencia de las revistas internacionales: periodicidad, evaluaciones externas por pares, apertura, etc. – muchas revistas de historia tienen un caracter abrumadoramente local, están controladas por departamentos (o grupúsculos de esos departamentos) y solamente publican el reducido grupo de personas que forman su equipo editorial, muchas veces incluyendo reseñas vergonzosas al servicio del catedrático de turno. Esas revistas deben desaparecer, no pueden seguir pagándose con dinero público, deben ser evaluadas, de manera seria, no sólo con la bibliometría, y, si no superan ciertos valores de calidad, deben dejar de pagarse con fondos públicos. Y no hay que olvidar que muchos curricula universitarios se han forjado en estos contextos, con publicaciones locales, hechas en revistas del propio departamento al que pertenece el interesado. El otro día las editoriales universitarias protestaban porque se las valoraba negativamente en el ranking de la ANECA. Tienen razón en lo injusto que resulta, si se tiene en cuenta el esfuerzo enorme de calidad realizado por muchas de ellas, la de Valencia incluida. Pero no olvidemos de donde venimos y cómo se realizan las publicaciones universitarias en muchas universidades, generalmente bajo la decisión de un grupo de poder, y sin criterios mínimos de calidad académica. Por eso, es bueno que las publicaciones universitarias sean también evaluadas periódicamente, y, si no cumplen unos mínimos, que se les retiren las subvenciones. La cultura de la calidad y la evaluación debe imponerse también en nuestro sistema de publicaciones para que podamos tener revistas y editoriales académicas comparables a las de otros países de nuestro entorno.
Estimado Anaclet
La crítica a la bibliometría es muy antigua y ha sido realizada, generalmente, por los propios bibliómetras – por ejemplo, el grupo que realizó el Science Citation Index ha manifestado muchas veces que sus resultados se emplean para fines muy contrarios a los que los autores señalan. Es evidente que la evaluación del trabajo científico es complicada pero, como muy bien dice Mikel, es mucho mayor el riesgo de la no evaluación. Los autores del informe de las revistas de historia de la ciencia no están en contra de la evaluación. Lo que critican es que en la elaboración de los índices no se haya contado con los editores de las revistas ni con personal acreditado o profesionales de la disciplina (los autores del “ranking” son personas de escaso peso en el área). En cualquier caso, no resulta sorprendente que las revistas españolas sean mal evaluadas. No es un problema de idioma. Muy pocas cumplen con los criterios de excelencia de las revistas internacionales: periodicidad, evaluaciones externas por pares, apertura, etc. – muchas revistas de historia tienen un caracter abrumadoramente local, están controladas por departamentos (o grupúsculos de esos departamentos) y solamente publican el reducido grupo de personas que forman su equipo editorial, muchas veces incluyendo reseñas vergonzosas al servicio del catedrático de turno. Esas revistas deben desaparecer, no pueden seguir pagándose con dinero público, deben ser evaluadas, de manera seria, no sólo con la bibliometría, y, si no superan ciertos valores de calidad, deben dejar de pagarse con fondos públicos. Y no hay que olvidar que muchos curricula universitarios se han forjado en estos contextos, con publicaciones locales, hechas en revistas del propio departamento al que pertenece el interesado. El otro día las editoriales universitarias protestaban porque se las valoraba negativamente en el ranking de la ANECA. Tienen razón en lo injusto que resulta, si se tiene en cuenta el esfuerzo enorme de calidad realizado por muchas de ellas, la de Valencia incluida. Pero no olvidemos de donde venimos y cómo se realizan las publicaciones universitarias en muchas universidades, generalmente bajo la decisión de un grupo de poder, y sin criterios mínimos de calidad académica. Por eso, es bueno que las publicaciones universitarias sean también evaluadas periódicamente, y, si no cumplen unos mínimos, que se les retiren las subvenciones. La cultura de la calidad y la evaluación debe imponerse también en nuestro sistema de publicaciones para que podamos tener revistas y editoriales académicas comparables a las de otros países de nuestro entorno.
Estimado Anaclet: como profesor y como editor de una revista electrónica en euskera (www.kondaira.com) estoy obviamente sensibilizado con la cuestión de las listas y las evaluaciones. Yo creo que las evaluaciones son necesarias, porque el “peligro” de no hacerlas puede suponer males mayores. Siempre son discutibles los criterios a utilizar, pero los que escribimos parte de nuestra producción en una lengua que los evaluadores cercanos consideran “no científica” vemos con ironia los sobresaltos que lenguas como el francés o el castellano tienen cuando se quieren implantar sistemas científicos competitivos más o menos universales
Estimado Anaclet: como profesor y como editor de una revista electrónica en euskera (www.kondaira.com) estoy obviamente sensibilizado con la cuestión de las listas y las evaluaciones. Yo creo que las evaluaciones son necesarias, porque el “peligro” de no hacerlas puede suponer males mayores. Siempre son discutibles los criterios a utilizar, pero los que escribimos parte de nuestra producción en una lengua que los evaluadores cercanos consideran “no científica” vemos con ironia los sobresaltos que lenguas como el francés o el castellano tienen cuando se quieren implantar sistemas científicos competitivos más o menos universales