2.1. Críticas en el contexto internacional

La crítica a la evaluación de la actividad investigadora mediante el uso exclusivo de métricas universales (en especial el «factor de impacto») no es exclusiva del campo de la Antropología Social. Se extiende a la lógica de la investigación científica en su conjunto y, por tanto, a otras áreas de conocimiento.

Per Seglen (2017a)Seglen, Per O. (1997a). «Citations and Journal Impact Factors: Questionable Indicators of Research Quality». Allergy: European Journal of Allergy and Clinical Immunology: 52(11): 1050-1056.⁷En la revista Allergy: European Journal of Allergy and Clinical Immunology, el mismo autor proponía la eliminación del factor de impacto (Seglen 2017b). resume en 4 las razones por las que el factor de impacto de las revistas resulta ser un instrumento inadecuado para tal fin. Según el autor:

En la misma línea, una revista del prestigio de Nature (2005)Nature. 2005. «Not-so-Deep Impact (editorial).» Nature 435 (7045): 1003-1004., critica que la evaluación de la calidad de la investigación se apoye tanto en el inflado estatus del factor de impacto:

El resultado de todo el proceso es un énfasis excesivo en una métrica limitada. Las propias cifras de la revista Nature corroboran esta idea. En las fechas de la publicación del artículo, el 86 % de las citas recibidas fueron generadas por tan solo el 25 % de los artículos publicados en ella. Mientras, la gran mayoría de los artículos restantes no alcanzó más de veinte citas. El artículo citado de Nature concluye con una afirmación que hacemos nuestra en este informe:

Otros trabajos han mostrado con más detalle las fallas de este sistema de evaluación a partir del exclusivo factor de impacto de las revistas. Rossner, Van Epps y Hill (2008)Rossner, Mike, Heather Van Epps y Emma Hill. 2008. «Irreproducible Results: A Response to Thomson Scientific». Journal of Cell Biology 180(2): 254-255. polemizaban con Thomson Scientific, una de las empresas mundiales encargadas de la elaboración de factores de impacto, poniendo en duda la validez científica de los procedimientos seguidos para tales asignaciones dado que no se pueden reproducir.

Por su parte, Vanclay (2012)Vanclay, Jerome K.. 2012. «Impact Factor: Outdated Artefact or Stepping-Stone to Journal Certification?». Scientometrics 92(2): 211-238. revela otros puntos débiles en este indicador y propone realizar mejoras sustanciales:

En una revisión más exhaustiva, Wilsdon et al. (2015)Wilsdon, James, Liz Allen, Eleonora Belfiore, Philip Campbell, Stephen Curry, Steven Hill, Richard Jones et al. 2015. The Metric Tide. Report of the Independent Review of the Role of Metrics in Research Assessment and Management. Londres: Sage Publications. doi: <https://doi.org/10.13140/RG.2.1.4929.1363>, consideran los efectos negativos o no deseados de las métricas en varios aspectos de la cultura de la investigación. Mientras, De Rijcke, at al. (2016)De Rijcke, Sarah., Paul F. Wouters, Alex D. Rushforth, Thomas P. Franssen y Bjorn Hammarfelt. 2016. «Evaluation Practices and Effects of Indicator Use-A Literature Review». Research Evaluation 25(2): 161-169. examinan la literatura internacional sobre los sistemas de evaluación, las prácticas de evaluación y los usos (erróneos) de las métricas, material con el que elaboran un informe encargado por el Higher Education Funding Council for England (HEFCE). A partir de esas críticas, López López (2018)López López, Wilson. 2018. «Sobre la evaluación de la investigación y los investigadores: Criticas a las métricas y recomendaciones». Universitas Psychologica 17(4): 1-4. resume en cinco puntos los problemas relacionados con el factor de impacto en tanto que métrica de evaluación de la actividad investigadora:

Para salvar estos y otros inconvenientes contamos con propuestas innovadoras. Liu (2013)Liu, Xiaozhong, Jinsong Zhang y Chun Guo. 2013. «Full-Text Citation Analysis: A New Method to Enhance.» Journal of the American Society for Information Science and Technology 64(July): 1852-1863., por ejemplo, utiliza una forma alternativa de análisis de citas de texto junto con algoritmos supervisados de modelado de temas y análisis de redes para mejorar el análisis bibliométrico clásico y la clasificación de publicaciones/autores. No obstante, la mayoría de las evaluaciones de la actividad científica se siguen guiando por los factores de impacto.

2.2 Críticas en el contexto nacional

Las críticas respecto al uso de estas métricas en el Estado español no se han quedado atrás. Quintas-Froufe (2016)Quintas-Froufe, Natalia. 2016. «Indicadores de calidad de las publicaciones científicas en el área de Ciencias Sociales en Estado español: un análisis comparativo entre agencias evaluadoras». Revista de Investigación Educativa 34(1): 259-272. constata que, a pesar de las críticas recibidas, las bases de datos bibliográficas y bibliométricas internacionales (Journal Citation Reports -JCR- o SCOPUS) son los indicadores de calidad unánimemente aceptados tanto por la Agencia Nacional de Evaluación de la Calidad y Acreditación (ANECA), y la Agencia Nacional de Evaluación y Prospectiva (ANEP) En la misma línea, Aleixandre-Benavent et al. (2017)Aleixandre-Benavent, Rafael, J. González De Dios, Lourdes Castelló Cogollos, Carolina Navarro Molina, Adolfo Alonso-Arroyo, Antonio Vidal-Infer, Rut Lucas-Domínguez y A. Sixto-Costoya. 2017. «Bibliometría e indicadores de actividad científica (IV). Indicadores basados en las citas (2). Factor de impacto e indicadores alternativos». Acta Pediátrica Española 75(7-8): e124-e131. argumentan como el Journal Citation Report (JCR)⁸Journal Citation Report (JCR) es el índice internacional que cuenta con mayor prestigio a la hora de «medir» la relevancia de las revistas científicas. Fue construido por Eugene Garfield en 1963 y en 1975 el Institute for Scientific Information (ISI) lo convirtió en un producto comercial. Los organismos encargados de la evaluación de la actividad investigadora podríamos decir que lo llega a venerar. En la actualidad es la empresa Clarivate Analytics quien lo gestiona. Una alternativa a este índice que cuenta también con un nivel de prestigio, algo menor al JCR, es SCImago Journal Rank (SJR). Se trata de un índice creado por el grupo de investigación español Scimago. En este caso, ofrece soporte a la base de datos SCOPU, propiedad de la empresa Elsevier., de Web of Science, siendo uno de los indicadores bibliométricos más utilizados en la evaluación de la actividad científica, es también uno de los más polémicos.

Sanz-Casado, Lascurain e Iribarren (2007)Sanz-Casado, Elias, M. Luisa, Lascurain e Isabel Iribarren. 2007. «Luces y sombras en la evaluación de la investigación en ciencias sociales y humanidades», en A. Ibarra, J. Castro y J. Barrenechea (eds.), La evaluación de la actividad científica en ciencias sociales y humanidades: 15-32. Universidad del País Vasco. colocan el acento en la problemática del uso de indicadores bibliométricos para evaluar las actividades de investigación en Ciencias Sociales y Humanidades. Los autores insisten en la necesidad de: «…hacer un conjunto de consideraciones en torno a las fuentes de obtención, tratamiento y análisis de datos y, en particular, al desarrollo de indicadores bibliométricos adecuados a la variabilidad que presentan las actividades de investigación en estos campos disciplinarios» (Sanz-Casado, Lascurain e Iribarren 2007: 15Sanz-Casado, Elias, M. Luisa, Lascurain e Isabel Iribarren. 2007. «Luces y sombras en la evaluación de la investigación en ciencias sociales y humanidades», en A. Ibarra, J. Castro y J. Barrenechea (eds.), La evaluación de la actividad científica en ciencias sociales y humanidades: 15-32. Universidad del País Vasco.).

En el mismo libro, Rovira identifica algunas limitaciones de estos indicadores en la tarea de evaluar la investigación en estos mismos campos en tanto que «producción científica heterogénea, con bajo nivel de internacionalización, reducido volumen a nivel global y baja tradición de citación en revistas indexadas por el JCR del ISI» (2007: 33Sanz-Casado, Elias, M. Luisa, Lascurain e Isabel Iribarren. 2007. «Luces y sombras en la evaluación de la investigación en ciencias sociales y humanidades», en A. Ibarra, J. Castro y J. Barrenechea (eds.), La evaluación de la actividad científica en ciencias sociales y humanidades: 15-32. Universidad del País Vasco.).

Por su parte, Fernández-Cano (2021)Fernández-Cano, Antonio. 2021. «Letter to the Editor: Publish, Publish … Cursed! ». Scientometrics 126(4): 3673-3682. llega más lejos cuando reflexiona sobre las consecuencias de esa «veneración» por el factor de impacto y advierte:

En un texto reciente, Delgado López-Cózar y Martín-Martín (2019)Delgado López-Cózar, Emilio y Alberto Martín-Martín. 2019. «El Factor de Impacto de las revistas científicas sigue siendo ese número que devora la ciencia española: ¿hasta cuándo?». Anuario ThinkEPI 13(e13e09): 1-16. cuestionan las razones para la implantación de este indicador como medida de calidad de nuestra actividad investigadora, el cual: «ha penetrado en todas las instituciones con responsabilidades sobre la investigación que se genera en el país (agencias de financiación, evaluación, universidades, centros de investigación, hospitales, centros culturales) aplicándose inmisericordemente a todos los niveles». Según los autores, esta política está dañando la ciencia y alterando severamente el comportamiento moral de los científicos españoles al promover «el monocultivo científico, la cultura del “publica o perece”, y la propagación de la impactitis» (2019: 1Delgado López-Cózar, Emilio y Alberto Martín-Martín. 2019. «El Factor de Impacto de las revistas científicas sigue siendo ese número que devora la ciencia española: ¿hasta cuándo?». Anuario ThinkEPI 13(e13e09): 1-16.).

No se libran de las críticas los rankings de revistas científicas españolas con el sello de calidad de la Fundación Española para la Ciencia y la Tecnología (FECYT). En relación con la introducción del ranking de revistas durante el año 2002, Delgado López-Cozar señala los efectos potencialmente dañinos del nuevo ranking en el ecosistema de revistas científicas del campo de las Humanidades y Ciencias Sociales en Estado español y concluye que «se trata de un ranking diseñado con un enfoque viejo y obsoleto, basado en medir el impacto del medio (revista) y no el de los documentos que anidan en él» (2020: 1Delgado López-Cózar, Emilio, Ramón A. Feenstra y Daniel Pallarés-Domínguez. 2020. Investigación en Ética y Filosofía en Estado español. Hábitos, prácticas y percepciones sobre comunicación, evaluación y ética de la publicación científica. Disponible en: http://repositori.uji.es/xmlui/handle/10234/189924.). Más recientemente, este mismo autor junto con otros colaboradores dirigen una carta a las autoridades en materia científica proponiendo un «cambio radical en la evaluación de la investigación en el estado español» (Delgado López-Cózar, Ràfols y Abadal 2021Delgado López-Cózar, Emilio, Ismael Ràfols y Ernest Abadal. 2021. «Carta: Por un cambio radical en la evaluación de la investigación en Estado español». El Profesional de la Información 30(3): 1-6.).

Otras investigaciones plantean herramientas alternativas para valorar la calidad de la actividad investigadora. Así, Ortega Irizo (2003)Ortega Irizo, Francisco Javier. 2003. «Propuesta de mejora del índice agregado de impacto. Aplicación a la valoración de sexenios de investigación». Revista Española de Documentación Científica 26(4): 403-417. propone un índice agregado de impacto que, además, pudiera aplicarse a la valoración de sexenios de investigación. Mientras que Rovira (2007)Rovira, Lluis. 2007. «¿Hacia una evaluación métrica de la investigación en las Humanidades y en las Ciencias Sociales?», en A. Ibarra, J. Castro y J. Barrenechea (eds.), La evaluación de la actividad científica en ciencias sociales y humanidades: 33-52. Universidad del País Vasco., introduce los conceptos de «visibilidad pasiva» (al figurar en los índices bibliográficos o en determinadas revistas) y «visibilidad activa» (el hecho de ser citado) de las publicaciones a nivel internacional, para ser utilizados en el campo de las Ciencias Sociales y Humanidades. Por su parte, Castro, Barrenechea e Ibarra (2007)Castro Spila, Javier, Julieta Barrenechea y Andoni Ibarra. 2007. «Indicadores de actividad científica en Ciencias Sociales y Humanidades: Hacia un modelo de evaluación integral basado en patrones disciplinarios de investigación», en J. A. Ibarra, J. Castro y J. Barrenechea (eds.), La evaluación de la actividad científica en ciencias sociales y humanidades: 73-103. Álava: Universidad del País Vasco., sintetizan en tres las necesidades prioritarias a tomar en cuenta en relación con los sistemas de evaluación de las actividades de investigación: a) asumir una concepción integral de lo que se entiende por actividad de investigación, b) desarrollar y consensuar una amplia gama de indicadores que permitan valorar las diversas prácticas científicas según distintos campos disciplinares, c) desarrollar estudios longitudinales y comparados para establecer dinámicas y patrones en las actividades de investigación (según disciplinas e instituciones) (2007: 76Castro Spila, Javier, Julieta Barrenechea y Andoni Ibarra. 2007. «Indicadores de actividad científica en Ciencias Sociales y Humanidades: Hacia un modelo de evaluación integral basado en patrones disciplinarios de investigación», en J. A. Ibarra, J. Castro y J. Barrenechea (eds.), La evaluación de la actividad científica en ciencias sociales y humanidades: 73-103. Álava: Universidad del País Vasco.).

Más recientemente, López López (2018)López López, Wilson. 2018. «Sobre la evaluación de la investigación y los investigadores: Criticas a las métricas y recomendaciones». Universitas Psychologica 17(4): 1-4., siguiendo a otros autores, defiende la particularidad de cada campo, de cada investigación y de cada investigador:

El autor concluye con una afirmación que suscribimos plenamente quienes nos dedicamos a la investigación científica, pero que parece difícil de asumir por las políticas de investigación y quienes las dirigen y diseñan: «en cualquier caso, es necesario romper el supuesto de que las medidas de citación son equivalentes a las de calidad de la investigación o de la publicación» (2018: 3López López, Wilson. 2018. «Sobre la evaluación de la investigación y los investigadores: Criticas a las métricas y recomendaciones». Universitas Psychologica 17(4): 1-4.).

Tomando en cuenta los cambios que se están produciendo en las metodologías y enfoques de la evaluación de la investigación en Humanidades y Ciencias Sociales en los últimos años, Giménez Toledo (2018)Giménez Toledo, Elea. (2018). «La evaluación de las Humanidades y de las Ciencias Sociales en revisión». Revista Española de Documentación Científica 41(3): 1-15. resume en seis los criterios que sería necesario incorporar al debate para la mejora de los procedimientos de evaluación de la producción científica:

Y es que, como argumentan López Piñeiro y Hicks (2015)López Piñeiro, Carla y Diana Hicks. 2015. «Reception of Spanish Sociology by Domestic and Foreign Audiences Differs and has Consequences for Evaluation». Research Evaluation 24(1): 78-89. , una preocupación desmedida por los factores de impacto de las publicaciones científicas en Ciencias Sociales puede no sólo inducir a una mayor excelencia en la investigación, sino también a agendas de investigación más estrechas en las cuales «las preocupaciones por lo local pasan a un segundo plano para los investigadores en favor de otras más globales que pueden aceptar aquellas publicaciones de un alto factor de impacto» (2015: 1López Piñeiro, Carla y Diana Hicks. 2015. «Reception of Spanish Sociology by Domestic and Foreign Audiences Differs and has Consequences for Evaluation». Research Evaluation 24(1): 78-89. ). Lo que llevaría a cuestionar no solo al factor de impacto de modo aislado, sino en relación a las políticas globales de evaluación de la ciencia.

2.3 Declaraciones internacionales sobre «Evaluación de la Investigación»

Por todo lo indicado resulta esperanzador la aparición reciente de varias declaraciones elaboradas por expertos de reconocido prestigio a nivel internacional procedentes del mundo académico y editorial que persiguen la mejora de los procedimientos de evaluación de la actividad científica y el uso de indicadores más adecuados. Es el caso de la Declaración de San Francisco de Evaluación de la Investigación⁹La Declaration On Research Assessment (DORA) consiste en una serie de recomendaciones sobre el procedimiento de evaluación de la actividad investigadora elaborada por un grupo de editores de prestigiosas revistas académicas reunido en el Encuentro anual de la American Society for Cell Biology (ASCB) en San Francisco, California, el 16 de diciembre de 2012. <https://sfdora.org/read/read-the-declaration-espanol/>. (DORA, en inglés), de 2012, suscrita por parte de la Agencia Estatal de Investigación española en abril de 2021.

Uno de los objetivos prioritarios de DORA es «llamar la atención sobre las nuevas herramientas y procesos en la evaluación de la investigación y el uso responsable de las métricas que se alinean con los valores académicos fundamentales y promueven la coherencia y la transparencia en la toma de decisiones». Entre otras estrategias que persigue esta declaración es el de «mejorar la equidad en los procesos de evaluación de la actividad científica» y hacerlo «reclamando una mayor representación de los investigadores en el diseño de prácticas de evaluación de la investigación que aborden directamente las desigualdades estructurales del mundo académico». Por último, DORA alerta sobre el interés comercial de los sistemas de evaluación e indexación y las consecuencias que este sesgo puede tener para el devenir de la ciencia.

Existen dos documentos internacionales posteriores a DORA de gran importancia que corroboran y actualizan los mismos principios y recomendaciones para lograr una evaluación adecuada de la actividad científica: El conocido como Manifiesto de Leiden para la Métrica de la Investigación (2015) y el Acuerdo Final Europeo para la Reforma de la Evaluación de la Investigación, publicado el pasado 20 de Julio de 2022 <https://www.eua.eu/downloads/news/2022_07_19_rra_agreement_final.pdf>.

Partiendo de la constatación de que la evaluación de la investigación se ha convertido en algo rutinario y basado en métricas que cada vez se rigen más por los datos y no por el juicio de los expertos, cinco investigadores encabezados por Diana Hicks y Paul Wouters, proponen 10 principios para la medición del rendimiento de la investigación, el citado Manifiesto de Leiden publicado como comentario en la revista Nature en 2015 (Hicks et al. 2015: 430-1Hicks, Diana, Paul Wouters, Ludo Waltman, Sarah de Rijcke e Ismael Rafols. (2015). «The Leiden Manifesto for research metrics». Nature 520(7548): 429-431. Disponible en: <http://www.leidenmanifesto.org/uploads/4/1/6/0/41603901/manifiesto_cast.pdf>.). Estos principios son:

Los autores del Manifiesto mantienen que, siguiendo estos principios, la evaluación de la investigación desempeñaría un papel importante en el desarrollo de la ciencia y sus interacciones con la sociedad. Y, no, como sucede actualmente, donde las métricas han pasado de ser un instrumento para convertirse en un objetivo:

Por su parte, el Acuerdo Final Europeo para la Reforma de la Evaluación de la Investigación (2022), desarrollado por una coalición de más de 350 instituciones académicas de 40 países, adopta una visión compartida sobre cómo reformar las prácticas de evaluación para investigadores, proyectos de investigación y organizaciones que realizan investigaciones, con principios generales basados en la calidad, el impacto, la diversidad, la inclusión y la colaboración.

Las reformas propuestas, en línea con lo sustentado en este informe, se centran en cuatro compromisos centrales:

3.1 La crítica a los sexenios desde diferentes áreas de conocimiento

Las críticas a este procedimiento evaluador son muy numerosas y proceden de distintas áreas de conocimiento. La cuestión fundamental que subyace en estos estudios se refiere a qué es «impacto» y qué es «reconocido prestigio» en la consideración de cada publicación adscrita a un área de conocimiento. En lo que sigue sintetizamos algunas de ellas.

Rodríguez-Navarro (2009)Rodríguez-Navarro, Alonso. 2009. «Sound Research, Unimportant Discoveries: Research, Universities, and Formal Evaluation of Research in Spain». Journal of American Society for Information Science and Technology 60(9): 1845-1858. plantea una crítica indirecta a los sexenios como forma de medir la calidad de la investigación. Tras apuntar la ausencia de publicaciones de alto nivel, a pesar de que «la investigación española produce muchos artículos sólidos que se citan razonablemente», indica que esta tendencia negativa está causada por el amplio uso de evaluaciones formales de la investigación basadas en el número de publicaciones, los factores de impacto y las clasificaciones de las revistas (2009: 1858Rodríguez-Navarro, Alonso. 2009. «Sound Research, Unimportant Discoveries: Research, Universities, and Formal Evaluation of Research in Spain». Journal of American Society for Information Science and Technology 60(9): 1845-1858.). Y relaciona estas «evaluaciones formales» y la «ausencia de publicaciones de alto nivel en el estado español» con la inexistencia en más de un siglo de premios Nobel en los campos de la ciencia.

En el área de Educación, Galán y Zych (2011)Galán, Arturo e Izabel Zych. 2011. «Análisis de los criterios de la comisión nacional evaluadora de la actividad investigadora (CNEAI) para la concesión de los tramos de investigación en educación». Bordon 63(2): 117-139. plantean que los criterios que utiliza la CNEAI para la concesión de los sexenios «son poco específicos y no existe ningún baremo objetivo que pueda ser aplicado a la hora de valorar los méritos aportados por los solicitantes». Según el estudio esta situación ha provocado una enorme tasa de fracaso en términos absolutos y en comparación con otras áreas.

Delgado y Fernández-Llera (2012)Delgado, Francisco J. y Roberto Fernández-Llera. 2012. «Sobre la evaluación del profesorado universitario (especial referencia a ciencias económicas y jurídicas)». Revista Española de Documentación Científica 35(2): 361-375. , por su parte, ofrecen una panorámica crítica con especial atención a la investigación en el campo de la Economía y el Derecho. Los autores sugieren reducir la «burocracia» e incrementar la transparencia y la objetividad del sistema.

En el ámbito de las Ciencias Jurídicas, Cancelo Márquez y Bastida Domínguez (2013)Cancelo Márquez, Maite y María Bastida Domínguez. 2013. «La evaluación de la investigación en Estado español: los sexenios en las áreas de economía y empresa». CIRIEC-Estado español, Revista de Economía Pública, Social y Cooperativa 78: 265-292. analizan las diferencias en los resultados de la evaluación de la investigación en relación con otros campos de conocimiento, y aconsejan una profunda revisión en los métodos de evaluación. Mientras que Gómez Sancho y Muñiz Pérez (2017)Gómez Sancho, J. M. y M. A. Muñiz Pérez. 2017. «La evaluación de la investigación del profesorado en economía». XXIV Encuentro de Economía Pública: 1-18. van más allá al lamentar la escasa transparencia del Ministerio respecto a la concesión de sexenios y cuya eficacia para medir la calidad de la investigación consideran «dudosa». En sus propias palabras:

Por último, en referencia a esa área, Fernández Sarasola (2015)Fernández Sarasola, Ignacio. 2015. Algunas reflexiones en torno a la evaluación de profesorado universitario de ciencias jurídicas». Revista General de Derecho Constitucional 21(6). argumenta que los procedimientos seguidos en la evaluación de la CNEAI adolecen de serios problemas que impiden una correcta evaluación de las capacidades de su personal docente e investigador.

En el área de Filosofía y Filosofía debemos citar la investigación realizada por Moral, Delgado López-Cozar, Feenstra y Pallarés-Domínguez (2020)Delgado López-Cózar, Emilio, Ramón A. Feenstra y Daniel Pallarés-Domínguez. 2020. Investigación en Ética y Filosofía en Estado español. Hábitos, prácticas y percepciones sobre comunicación, evaluación y ética de la publicación científica. Disponible en: http://repositori.uji.es/xmlui/handle/10234/189924., sobre hábitos de comunicación científica, opiniones y percepciones acerca de los criterios, indicadores bibliométricos y sistemas de evaluación de la investigación. Sus autores concluyen que casi la mitad de las personas adscritas al área están descontentas con el reconocimiento que la CNEAI otorga a sus publicaciones.

3.2 Grado de implantación de los sexenios

Junto a las críticas por áreas que implica este procedimiento de evaluación de la investigación, otros estudios aluden al grado de implantación y a las transformaciones y los ajustes experimentados por el procedimiento en sí durante su implantación. No faltan testimonios que abundan en esta dirección. Por citar solo algunos, Merchán, Fernández-Esquinas y Pérez Yruela (2006)Merchán Hernández, Carmen, Manuel Fernández Esquinas y Manuel Pérez Yruela. 2006. «El sistema de incentivos y recompensas en la ciencia pública española». Documentos de trabajo (Instituto de Estudios Sociales Avanzados de Andalucía) 1. Instituto de Estudios Sociales Avanzados. señalan que la aparición de la CNEAI tuvo un impacto desigual en la comunidad científica en los primeros años, debido a la gran cantidad de solicitudes y al alto porcentaje de evaluaciones negativas. Tras varias revisiones de los criterios de evaluación, los solicitantes que superaron con éxito el proceso se elevaron del 60 % de la primera convocatoria (1990) a porcentajes superiores al 80 % en el periodo 1998-2005. Este incremento notable en la tasa de éxito fue resultado de la adaptación de la comunidad investigadora a los criterios fijados por las comisiones evaluadoras por un lado, y, por otro, por el componente opcional de estas evaluaciones (Jiménez-Contreras, de Moya Anegón, y López-Cózar 2003Jiménez-Contreras, Evaristo, Félix de Moya Anegón y Emilio Delgado López-Cózar. 2003. «The evolution of research activity in Spain: The impact of the National Commission for the Evaluation of Research Activity (CNEAI).» Research policy 32(1): 123-142.).

En la misma línea, la CNEAI menciona la falta de concurrencia a las convocatorias anuales, así como el éxito completo del personal investigador del CSIC que rozan el 100 % en el periodo 1996-2005.

Los datos más recientes señalan que sigue existiendo un 3,8 % de personas con la posición de cátedra de universidad y un 27,4 % de profesorado titular sin sexenios de investigación, si bien se aprecia una importante reducción respecto a años anteriores, síntoma de la extraordinaria relevancia que el sexenio ha adquirido en el sistema universitario.

Desde el curso 2015/16 contamos con series de datos estadísticos desagregados sobre la obtención de sexenios por ramas de enseñanza. Esta información es ofrecida por el Sistema Integrado de Información Universitaria (SIIU)¹³El SIIU es fruto de la adaptación de las estadísticas universitarias del Ministerio de Educación sobre la «vida universitaria» al Espacio Europeo de Educación Superior. Véase: <https://www.universidades.gob.es/portal/site/universidades/menuitem.78fe777017742d34e0acc310026041a0/?vgnextoid=514e122d36680710VgnVCM1000001d04140aRCRD>. del Ministerio de Educación, Cultura y Deporte (MECD).

En Ciencias Sociales y Jurídicas, que es donde se inscribe la Antropología Social, para el curso 2019/20, el porcentaje de profesorado con la condición de funcionariado que tiene, al menos, un sexenio alcanza el 74 %, frente al total del profesorado de todas las ramas de enseñanza que es del 81 %, mientras que la rama de Ciencias cuenta con un porcentaje de personas con sexenios del 91 %, Artes y Humanidades el 86 %, Ciencias de la Salud el 81 %, e Ingeniería y Arquitectura el 77 %. Es decir, Ciencias Sociales y Jurídicas es la rama de enseñanza que cuenta con las peores cifras.

Si lo que observamos es el porcentaje de profesorado funcionario que ha obtenido los sexenios correspondientes a su vida académica (la estadística consultada los denomina con «sexenios óptimos»), para el curso 2019/20, en el caso de Ciencias Sociales y Jurídicas el porcentaje es del 35 % (32 % de mujeres -42 % de media en el total de las ramas- y 38 % de varones -51 % de media en todos las ramas-), frente al 60 % en Ciencias, 59 % en Ingeniería y Arquitectura, 47 % en Ciencias de la Salud, y 38 % en Artes y Humanidades. No obstante, según esta misma fuente, desde el curso 2015/16 se ha experimentado una cierta mejora en el área pasando del 67 % al 74 % a lo largo de cinco cursos en lo relativo al profesorado funcionario que dispone de, al menos, un sexenio. Y en tres de los cinco cursos de la serie, desde que contamos con estadísticas, esa rama de enseñanza es la que presenta mayor crecimiento en términos absolutos. Sin embargo, si tomamos en cuenta el número de sexenios que se corresponden a la vida académica («sexenios óptimos») el crecimiento anual del resto de las ramas es superior al de Ciencias Sociales y Jurídicas. En esta posición crítica se encuentra el reconocimiento de la actividad investigadora en el área de Antropología Social en el Estado español.

4.1 Descripción de la muestra y criterios

Según las estadísticas del MECD, la composición del área de Antropología Social se expresa, parcialmente, en la Tabla 1.

Como puede verse, se trata de un área relativamente estable con un 60 % de profesorado permanente y un aumento en los últimos años de profesorado no permanente. La distribución por sexos es también bastante equivalente pasando a ser ligeramente superior el grupo de mujeres (52,4 %) en el curso 2019/20. Es decir, a la vez que crecía el profesorado no estable crecía el número de mujeres. Estas diferencias se observan si consideramos del total del profesorado solo a aquel que pertenece a algún cuerpo del funcionariado. Entre este último grupo, se observa un crecimiento en el último curso (2019/20) del número de varones, siendo su crecimiento del 6,8 % frente al de mujeres (1,4 %). No obstante, el curso anterior (2018/19) el crecimiento mayor fue el de mujeres (6,2 %) frente al de varones (-7,5 %), explicable por el proceso de jubilación de este último grupo. De cualquier manera, entre el colectivo de funcionarios en el área de Antropología Social se mantiene un mayor porcentaje de varones con una diferencia sobre las mujeres levemente decreciente en los últimos cursos (del 55,8 % en 2015/16 al 53 % en 2019/20).

Tomando estas cifras generales nos propusimos identificar la población del área de Antropología Social en universidades y centros de investigación en Estado español y su situación en relación con la obtención o no de sexenios. Los resultados se muestran en el apartado 5 de este informe.

Siguiendo los procedimientos descritos en el proceso metodológico, hemos identificado un total de 224 personas (año 2020) con derecho a solicitar sexenios. En dicho grupo se incluye tanto al personal funcionario de carrera como al resto de profesorado permanente (con contrato estable) en alguna de las figuras asimiladas por las diferentes comunidades autónomas: profesor contratado doctor, agregado, colaborador, etc. Ello explicaría la diferencia frente al de profesorado con categoría de funcionario en el área de Antropología Social que ofrece la estadística oficial (ver Tabla 1). Además, hemos incluido al personal investigador con posibilidades de solicitar sexenio del (CSIC) no contemplado en dicha estadística.

Con ese dato y a la visita de la información producida a través de los cuestionarios y otros procedimientos indirectos, hemos definido una muestra compuesta por un total de 170 personas: 49 % de mujeres frente a 51 % de varones, adscritos a veintitrés centros (de treinta y dos identificados), tal y como se detalla a continuación (ver Gráficos 1 y 2).

Estas personas que componen la muestra son aquellas de las que tenemos información contrastada mediante los distintos procedimientos metodológicos utilizados respecto al reconocimiento de sus sexenios.

Para facilitar la lectura de estos datos hemos dividido la muestra en tres tipos de universidades y centros de investigación según el número de personas adscritas en cada caso:

Con la excepción de la Universidad Pablo de Olavide, en los dos primeros grupos se concentran aquellas universidades que ofrecen entre sus titulaciones el Grado en Antropología Social y la mayoría con un Dpto. propio. Estas universidades aportan a la muestra un total de 128 personas, lo que representa el 75 % del total ¹⁷En este punto conviene recordar que hemos contabilizado los «sexenios posibles» desde el año de lectura de la tesis doctoral (ver apartado 5). Si bien este dato no refleja con exactitud el comienzo de la actividad investigadora para todas las personas por igual, nos ha parecido razonable por cuanto se trata de un requisito para la estabilización en la carrera académica y para solicitar los sexenios, facilitándonos la tarea de establecer un criterio estándar y con posibilidad de comparación..

Tomando como referencia el año de defensa de la tesis doctoral, el Gráfico 3 ilustra la distribución del personal adscrito al área, agrupado en periodos quinquenales desde 1979 hasta 2014 (años más antiguo y reciente respectivamente de lectura de tesis).

Por último, indicamos los datos de la muestra compuesta por 9 recursos administrativos presentados por diferentes miembros del área de Antropología Social ante la denegación de algún sexenio (Tabla 2).

6.1. Resultados

Una alegación común de nuestros colegas en varios de los recursos revisados se refiere, según el grupo asesor que los evalúa, al hecho de que varias de sus investigaciones no consiguen alcanzar la categoría de «obra de investigación». Este criterio estándar es aplicado por las comisiones exclusivamente en función de si la publicación está o no en determinadas revistas indexadas. Y ello, sin que en ninguna orden ministerial o normativa de evaluación estén presentes cuáles son los criterios que se consideran para que una publicación sea resultado o no de un proceso de investigación. Muy especialmente, parecería quedar en entredicho el valor de investigación de ciertas aportaciones «etnológicas», que es fundamental en la producción científica de nuestra área. Este desprecio o, cuando menos, desconocimiento hacia lo etnológico/etnográfico denota una falta de comprensión profunda sobre la epistemología antropológica.

En otro caso, el o la autora de uno de los recursos alega que no se valoran sus publicaciones en uno de los idiomas oficiales del estado español, aunque la revista especializada donde ha publicado su artículo sea internacional y de referencia para los especialistas en la materia y cumpla los requisitos de calidad de revisión externa anónima por pares. Frente a la afirmación del comité evaluador de que se publica en un idioma «local», la persona que recurre argumenta que este tipo de publicaciones en un idioma minoritario limita su divulgación, pero nada tiene que ver con las aportaciones científicas que hace a su campo de especialización dado que «todos los especialistas de su ámbito leen esas publicaciones». Como hemos argumentado en este informe, para los y las antropólogas el énfasis en el análisis de lo local es parte del material empírico con el que trabajamos, lo que denota un importante desconocimiento de la metodología propia de la antropología en el comité evaluador. En ese sentido, coincidimos con la crítica hecha por Salamanca Castro (2018)Salamanca Castro, Ana Belén. 2018. «El Tribunal Supremo dictamina a favor de la evaluación del contenido de las publicaciones para valorar la actividad investigadora». Nure Inv. 15(96): 2018-2020. en la línea de que la mayoría de las revistas indexadas en JCR publican en inglés, mientras que los estudios cualitativos (que son la base de la producción científica en antropología) se expresan preferentemente en el idioma local donde se han realizado ante la dificultad de traducción lingüística o del contexto cultural. La importancia de publicar, argumenta esta autora, radica en la necesidad de comunicar resultados de investigación a la comunidad científica, independientemente del idioma en que se exprese; pero tiene también un valor de aplicabilidad a los ámbitos locales donde se ha realizado la investigación que, especialmente en el caso de la Antropología, raras veces es anglosajón. Y concluye «…el objetivo de la publicación de los resultados de un artículo original es (o debería ser) la difusión del conocimiento adquirido con el fin de que este sea accesible al resto de la comunidad científica, no fines prácticos o intereses personales» (2018:2). Es decir, los recursos consultados coinciden que tiende a haber una minusvaloración de aportaciones cuyo ámbito de estudio lingüístico o etnológico es local o regional. De forma tácita se reproduce así una suerte de «supremacismo anglosajón» en la definición de lo que es ciencia de impacto o de excelencia.

Otra observación frecuente alegada en varios de los recursos relacionada con la anterior tiene que ver con la escasa valoración por parte de los comités de artículos publicados en revistas científicas internacionales de habla hispana indexadas en bases de datos como REDALYC, Latindex, o Hapi, frente a la valoración casi en exclusiva de publicaciones en revistas JCR o SJR. Este desprecio hacia lo «local» se proyecta así en una distinción más amplia entre el «contenido» y el «continente» (la revista). Haciéndonos eco de la sentencia del Tribunal Supremo, Sala de lo Contencioso, Sección 4, Sentencia de 12 junio 2018, Rec. 1281/2017, nos permitimos recordar aquí que: «la valoración de las aportaciones dependerá en última instancia de su contenido y de que se cumplan los criterios especificados en el apéndice de la Resolución. Y a ello han de referirse el comité de expertos o los especialistas en los informes que emitan al respecto y en los que se fundamente la decisión de la CNEAI».

De igual modo varios recurrentes alegan además que los comités evaluadores tampoco tienen en cuenta la fuente de financiación, o proyecto, de las investigaciones de las que proceden las publicaciones (Unión Europea, administraciones autonómicas o nacionales). Y lo que resulta aún más incomprensible, la condición de Investigador Principal durante el tramo evaluado del candidato, ya sea en proyectos de investigación del Plan Estatal u otros financiados con fondos europeos. Esta omisión es inconsistente con el énfasis que se hace en las diferentes convocatorias ministeriales sobre la importancia de contribuir al conocimiento con investigaciones originales y nuevas. Sin embargo, como se desprende de los recursos presentados en la mayoría existe una minusvaloración del contexto de producción de las aportaciones. Tan es así que, si bien la inclusión del Curriculum Vitae es exigencia de la convocatoria, la evaluación de las aportaciones casi nunca toma en consideración otros aspectos de la producción investigadora en la que éstas se inscriben, ni su aportación a la formación de futuros investigadores e investigadoras a través de tesis doctorales dirigidas, o la participación en una investigación considerada un valor científico. Nuevamente, solo son tomados en cuenta los índices de impacto de las revistas donde los resultados de tales investigaciones se han publicado.

Otros recursos revisados detectan también inconsistencias en las valoraciones de la CNEAI. En concreto tres de ellos alegan que publicaciones realizadas en la misma revista o editorial, con idénticas características, han sido valoradas con una puntuación más alta por el mismo grupo asesor. En un caso, incluso, un/a recurrente afirma que una de sus referencias fue valorada de manera negativa mientras que, al coautor del mismo artículo, evaluado en la misma revista y por el mismo Comité, se le valoró positivamente lo que redundó en el reconocimiento del correspondiente sexenio que a él/ ella se le había denegado.

Del mismo modo, como se desprende de los recursos, hay gran frustración entre nuestros colegas ante el desconocimiento y la infravaloración por parte de las comisiones evaluadoras de la posición de las revistas o editoriales en los rankings generales o específicos de nuestra área de conocimiento. Siendo especialmente notoria la ausencia de un criterio para entender la clasificación de editoriales en el área de antropología.

Esta queja se hace eco de otras alegaciones donde varios recurrentes protestan ante la falta de representación de antropólogas/os en las comisiones de evaluación/comités asesores. Ello da pie a una pobre y equivocada aplicación de los criterios de evaluación a nuestra disciplina. Se observa, por ejemplo, de forma recurrente un generalizado desconocimiento de las comisiones respecto al impacto que determinadas editoriales y revistas tienen en algunos países latinoamericanos en el marco de nuestra disciplina.

Del mismo modo, frecuentemente, varios recurrentes solicitan una adecuada valoración de la perspectiva comparativa utilizada en las aportaciones, que se traduce en la subestimación del trabajo de coordinación en la edición de libros colectivos y special issues, en una disciplina como la antropología, cuya epistemología es de raíz comparativa (en el tiempo y en el espacio). Esta alegación tiene que ver también con una pobre lectura de la calidad científica en la dimensión «internacional» que maneja la CNEAI. La cual se restringe al idioma científico en que las aportaciones están escritas, obviando otros factores como la composición de los comités editoriales de las revistas con investigadores/as procedentes de universidades de diferentes países europeos y americanos, así como por el origen plurinacional.

Otra fuente de motivos para las reclamaciones alude a la falta de consistencia entre la evaluación «cualitativa» y la «cuantitativa». Por ejemplo, cuando dos artículos con la misma evaluación cualitativa obtienen distinta evaluación cuantitativa. De modo análogo, se recurre frecuentemente ante la arbitrariedad en la asignación y descripción de algunas aportaciones como «bajo impacto SJR» o «bajo impacto JCR», bien porque se distorsionan los baremos introducidos en la convocatoria, bien porque la convocatoria no incluye tales distinciones. Reiteradamente, nos encontramos con alegaciones que hacen ver que los comités de evaluación entran en apreciaciones cualitativas sobre el valor de una publicación sin justificación epistémica alguna (por ejemplo, «es un medio de difusión apropiado» o «es un medio inadecuado»), y sin correspondencia directa con los baremos explicitados en la convocatoria.

Hemos dejado para el último lugar, varias alegaciones que denuncian el empleo de fórmulas genéricas por parte de los comités de evaluación en sus respuestas y, lo que es peor aún, aquellas cuyo hilo de la argumentación se interrumpe de forma súbita quedando inconclusa la argumentación, del tipo: «Las aportaciones presentadas por el solicitante para el periodo sometido a evaluación no alcanzan los mínimos exigidos en la convocatoria. Se trata…»; o, en el caso de otro recurso: «El conjunto de las aportaciones no le permite alcanzar la puntuación mínima para lograr el tramo y examinado el CV completo no se ha encontrado…», o «examinado el CV completo no se ha encontrado…». Y en esa misma línea, cuando el informe de evaluación hace idéntico comentario a las cinco aportaciones presentadas, sin justificar en ningún caso su valoración negativa: «No es una innovación del conocimiento ni contribuye a su progreso».

En un campo como la antropología, donde la producción de conocimiento suele estar anclada siempre en un largo proceso de investigación y aprendizaje con comunidades locales, el empleo de estas proformas genéricas y vacías es doblemente ofensivo: por un lado, por el menosprecio con el que se trata al investigador o investigadora, pero también por el desmán hacia sus interlocutores etnográficos.