La evaluación de la investigación ha sido una actividad constante de la producción de conocimiento científico. Buena aparte de su formalización se ha realizado en las últimas décadas. El uso de indicadores bibliométricos y cuantitativos de productividad han sido las herramientas más utilizadas, pero en la actualidad existen ya importantes críticas a una parte de los procedimientos seguidos. Guiados por estas críticas, presentamos en este informe un diagnóstico sobre el estado del reconocimiento de la actividad investigadora en el área de Antropología social en España. Nos referimos al reconocimiento en forma de “sexenios de investigación” que realiza la Comisión Nacional Evaluadora de la Actividad Investigadora (dependiente de la Agencia Nacional de Evaluación de la Calidad y Acreditación, Organismo Autónomo de la Administración General del Estado español). Partiendo de un estudio comparado por áreas sobre las trampas de estos procedimientos de evaluación basado en métricas, se identifican algunos de los obstáculos principales que impiden lograr una mayor tasa de éxito en el área de Antropología social. Finalmente, se sugieren medidas concretas de mejora.
Abstract
Research evaluation has been a constant activity in the production of scientific knowledge. A significant portion of its formalization has taken place in recent decades. Bbibliometric and quantitative productivity indicators have been the most widely employed tools, but there are now significant criticisms of some of the procedures followed. Guided by these criticisms, we present in this report a diagnosis of the state of recognition of research activity in the field of social anthropology in Spain. We refer to this recognition in the form of “sexenios de investigación” (six-year research periods) conducted by the National Commission for Research Activity Evaluation (dependent on the National Agency for Quality Assessment and Accreditation, an autonomous body of the Spanish government). Based on a comparative study of the pitfalls of these metrics-based evaluation procedures across different areas, we identify some of the main obstacles hindering a higher success rate in the field of social anthropology. Finally, we propose specific measures for improvement.
Antropología SocialEvaluación de la investigaciónSexeniosCNEAIASAEESocial AnthropologyResearch EvaluationSexeniosCNEAIASAEEPresentación
La evaluación de la investigación ha sido siempre un principio del quehacer científico, aunque solo recientemente se ha presentado como un proceso externo y formal. Este proceso de «evaluación de la ciencia» se ha caracterizado hasta el momento por el uso de indicadores bibliométricos y cuantitativos de productividad, los cuales se han presentado como pruebas «objetivas» de calidad (Pitchard 1969). Si bien el análisis estadístico y la aplicación de técnicas cuantitativas ha permitido observar el estado de la ciencia de forma global (Spinak 2001), también ha tenido como consecuencia la imposición de determinadas «métricas» de evaluación comunes a todos los campos de conocimiento.
Como era de esperar, todos estos procesos han tenido su traducción en la evaluación de la actividad investigadora individual del profesorado universitario y del personal de centros de investigación. Esta evaluación es realizada anualmente, en el caso de España, por la Comisión Nacional Evaluadora de la Actividad Investigadora (CNEAI)1 en periodos de seis años, consecutivos o no, conocidos como «tramos de investigación» o, más comúnmente, «sexenios»2.
El objetivo de este informe es hacer una primera aproximación al grado de implantación de este procedimiento de evaluación (sexenios, en adelante) en el área de la Antropología Social y, a partir de ahí, identificar los obstáculos principales en relación con el procedimiento empleado que impiden lograr una mayor tasa de éxito. Como veremos, existe una disonancia entre los «criterios CNEAI» y los «criterios de la Antropología» de lo que significa «calidad científica» en nuestra área, situación que sugiere la urgente necesidad de repensar y recalibrar ese procedimiento de evaluación. A la vista de los resultados, el fin último de este informe, cuyos resultados han sido socializados y consensuados con todos los Dptos. y unidades de investigación de antropología social del estado, es elevar al organismo oficial evaluador una serie de recomendaciones y propuestas concretas de mejora.
Esta iniciativa surge en mayo de 2020 mediante la creación de un grupo de trabajo3 en el seno de la Asociación de Antropología del Estado Español (ASAEE)4 como una aportación frente al malestar creciente provocado por las bajas tasas de éxito obtenidas en las sucesivas evaluaciones de la actividad científica del profesorado universitario y del personal de las escalas científicas de los organismos públicos de investigación adscrito al área de la Antropología Social en el Estado español.
Este informe se organiza en siete apartados. Tras la presentación, los dos primeros epígrafes introducen un estado de la cuestión sobre el sistema de evaluación utilizado que incluye: una revisión crítica a nivel internacional y nacional5 sobre la lógica que subyace a este procedimiento y los instrumentos utilizados (apartado 1), para posteriormente situar el grado de implantación de los sexenios de investigación en el Estado español y las críticas que ha suscitado desde distintas áreas de conocimiento (apartado 2).
Los siguientes cuatro apartados (3, 4, 5 y 6) constituyen el cuerpo central de este documento en el que ofrecemos nuestro análisis aplicado al área de Antropología Social. Concretamente, en el apartado 3 se explica el proceso metodológico seguido para la construcción del corpus de datos y se caracteriza la muestra con la que se ha trabajado. Los apartados 4 y 5 contienen la descripción de la muestra y el análisis comparativo entre los sexenios reconocidos por la CNEAI a las personas miembros del área y los sexenios posibles, contados a partir del año de obtención del grado de doctor o doctora. En todos los casos se introduce la consideración diferencial de género al entender que se trata de un factor clave. Fuera de las lógicas de las métricas y a diferencia de informes similares a éste elaborados desde otras áreas de conocimiento, el apartado 6 añade como punto crítico un análisis cualitativo realizado a partir de un conjunto de recursos de alzada presentados por colegas del área que han obtenido una denegación en algún sexenio. Las reclamaciones presentadas son las que se analizan en este informe. Esta revisión del contenido de los recursos administrativos ofrece una primera aproximación a los recursos intelectuales con los que la disciplina reflexiona y valora sobre su propia producción de saberes y nos permiten esbozar otra forma de respuesta a la pregunta, «¿Qué se entiende por “calidad científica” en Antropología?», que planea a lo largo de todo el informe. Para terminar, en el apartado 7 se ofrece un conjunto breve de conclusiones y recomendaciones dirigidas al organismo evaluador, y en anexo se incluye un documento de autoevaluación para facilitar el cálculo previo de la puntuación a los y las solicitantes de sexenios, de acuerdo a los actuales criterios.
La evaluación de la actividad investigadora. Una aproximación critica al uso de métricas universales
Antes de comenzar con la presentación de la información producida para este trabajo es necesario aludir y poner en valor las peculiaridades de la investigación antropológica que, por su propia naturaleza metodológica, se encuentra muy alejada de las métricas de evaluación de la actividad investigadora aplicadas a otras disciplinas.
La Antropología Social basa buena parte de sus saberes y de su identidad como disciplina en el desarrollo de la etnografía, una metodología que consiste en prolongadas estancias de tiempo en el «campo» manteniendo relaciones sociales con las personas que habitan un determinado territorio o constituyen comunidades dispersas geográficamente. El resultado de este trabajo no puede reducirse a los estrechos márgenes que imponen muchas revistas científicas en sus artículos. Una etnografía requiere tiempo para realizarse y espacio para ser contada, los cuales son minusvalorados por el procedimiento actual de evaluación.
Como veremos en este informe, un artículo científico en determinadas revistas indexadas o de reconocido prestigio tiene mucho más valor que un libro en el que se expongan los resultados del proceso etnográfico. Aunque la extensión, trabajo y dedicación de uno y otro resultado científico no tiene posible comparación, el reconocimiento que se obtiene por un artículo en revista indexada suele ser mucho mayor que el de la publicación de una monografía etnográfica, que, en el mejor de los casos, se valorará según algún ranking de editoriales6.
Críticas en el contexto internacional
La crítica a la evaluación de la actividad investigadora mediante el uso exclusivo de métricas universales (en especial el «factor de impacto») no es exclusiva del campo de la Antropología Social. Se extiende a la lógica de la investigación científica en su conjunto y, por tanto, a otras áreas de conocimiento.
Per Seglen (2017a)7 resume en 4 las razones por las que el factor de impacto de las revistas resulta ser un instrumento inadecuado para tal fin. Según el autor:
Oculta la diferencia en los índices de citación de los artículos (los artículos de la mitad más citada de una revista se citan diez veces más que la mitad menos citada).
Se determina por tecnicismos no relacionados con la calidad científica de sus artículos.
Depende del campo de investigación: es probable que los factores de impacto sean altos en las revistas que cubren grandes áreas de investigación básica con una literatura de rápida expansión, pero de corta duración que utilizan muchas referencias por artículo.
Los índices de citación de los artículos son los que determinan el factor de impacto de la revista, y no a la inversa.
En la misma línea, una revista del prestigio de Nature (2005), critica que la evaluación de la calidad de la investigación se apoye tanto en el inflado estatus del factor de impacto:
Todos los años, a finales de junio, los ojos de los editores científicos se dirigen a Filadelfia, donde el Instituto de Información Científica (ISI) publica un dato que ansían: el factor de impacto de cada revista. A su debido tiempo, los burócratas de las agencias de investigación incluirán las cifras de impacto en sus indicadores de rendimiento, y los científicos que se preocupan por estas cosas anotarán tranquilamente qué número de revista les hace ganar más puntos (Nature editorial 2005: 1003-04)
El resultado de todo el proceso es un énfasis excesivo en una métrica limitada. Las propias cifras de la revista Nature corroboran esta idea. En las fechas de la publicación del artículo, el 86 % de las citas recibidas fueron generadas por tan solo el 25 % de los artículos publicados en ella. Mientras, la gran mayoría de los artículos restantes no alcanzó más de veinte citas. El artículo citado de Nature concluye con una afirmación que hacemos nuestra en este informe:
Todo esto no tendría mucha importancia si no fuera por la malsana dependencia de los factores de impacto por parte de los administradores y empleadores de investigadores de todo el mundo para evaluar la calidad científica de las naciones e instituciones, y a menudo incluso para juzgar a los individuos (2005: 10004)
Otros trabajos han mostrado con más detalle las fallas de este sistema de evaluación a partir del exclusivo factor de impacto de las revistas. Rossner, Van Epps y Hill (2008) polemizaban con Thomson Scientific, una de las empresas mundiales encargadas de la elaboración de factores de impacto, poniendo en duda la validez científica de los procedimientos seguidos para tales asignaciones dado que no se pueden reproducir.
Por su parte, Vanclay (2012) revela otros puntos débiles en este indicador y propone realizar mejoras sustanciales:
Hay indicios de que la comunidad científica busca y necesita una mejor certificación de los procedimientos de las revistas para mejorar la calidad de la ciencia publicada. Una certificación exhaustiva de los procedimientos editoriales y de revisión podría ayudar a garantizar procedimientos adecuados para detectar envíos duplicados y fraudulentos (Vanclay 2012: 211)
En una revisión más exhaustiva, Wilsdon et al. (2015), consideran los efectos negativos o no deseados de las métricas en varios aspectos de la cultura de la investigación. Mientras, De Rijcke, at al. (2016) examinan la literatura internacional sobre los sistemas de evaluación, las prácticas de evaluación y los usos (erróneos) de las métricas, material con el que elaboran un informe encargado por el Higher Education Funding Council for England (HEFCE). A partir de esas críticas, López López (2018) resume en cinco puntos los problemas relacionados con el factor de impacto en tanto que métrica de evaluación de la actividad investigadora:
No corrige los problemas derivados de la distribución de citación, que suelen estar sesgados en muchas formas. Las fuentes de las citas son muy diversas. En una revista no solo se publican artículos derivados de investigaciones o revisiones, sin embargo, este indicador solo tiene en cuenta este tipo de publicaciones, lo que suele distorsionarlo (Rossner, Van Epps y Hill 2008).
Puede ser manipulado por la política editorial, por ejemplo, al disminuir considerablemente el número de artículos. O, lo que hacen las casas editoriales que cuentan con cientos de revistas: recomiendan ciertos artículos en sus plataformas lo que claramente sesga las citaciones. Una revista que publica pocos artículos al año y recibe un número medio de citas no puede equipararse a una que publica un numero alto de artículos al año, aspecto que las hace incomparables.
Sitúa en el mismo nivel de comparación en forma ingenua revistas con infraestructuras editoriales robustas, recursos económicos y tecnológicos altos y décadas de historia de su posicionamiento en comunidades, con revistas universitarias que apenas están empezando a consolidarse.
Los datos resultantes del factor de impacto no son siempre transparentes, razón por la cual las simulaciones que hacen los editores no pocas veces han arrojado resultados que resultan incomparables.
No recoge citas que se encuentran en distintos formatos y actividades que podrían dar cuenta de otro tipo de impactos (López López 2018: 1-2).
Para salvar estos y otros inconvenientes contamos con propuestas innovadoras. Liu (2013), por ejemplo, utiliza una forma alternativa de análisis de citas de texto junto con algoritmos supervisados de modelado de temas y análisis de redes para mejorar el análisis bibliométrico clásico y la clasificación de publicaciones/autores. No obstante, la mayoría de las evaluaciones de la actividad científica se siguen guiando por los factores de impacto.
Críticas en el contexto nacional
Las críticas respecto al uso de estas métricas en el Estado español no se han quedado atrás. Quintas-Froufe (2016) constata que, a pesar de las críticas recibidas, las bases de datos bibliográficas y bibliométricas internacionales (Journal Citation Reports -JCR- o SCOPUS) son los indicadores de calidad unánimemente aceptados tanto por la Agencia Nacional de Evaluación de la Calidad y Acreditación (ANECA), y la Agencia Nacional de Evaluación y Prospectiva (ANEP) En la misma línea, Aleixandre-Benavent et al. (2017) argumentan como el Journal Citation Report (JCR)8, de Web of Science, siendo uno de los indicadores bibliométricos más utilizados en la evaluación de la actividad científica, es también uno de los más polémicos.
Sanz-Casado, Lascurain e Iribarren (2007) colocan el acento en la problemática del uso de indicadores bibliométricos para evaluar las actividades de investigación en Ciencias Sociales y Humanidades. Los autores insisten en la necesidad de: «…hacer un conjunto de consideraciones en torno a las fuentes de obtención, tratamiento y análisis de datos y, en particular, al desarrollo de indicadores bibliométricos adecuados a la variabilidad que presentan las actividades de investigación en estos campos disciplinarios» (Sanz-Casado, Lascurain e Iribarren 2007: 15).
En el mismo libro, Rovira identifica algunas limitaciones de estos indicadores en la tarea de evaluar la investigación en estos mismos campos en tanto que «producción científica heterogénea, con bajo nivel de internacionalización, reducido volumen a nivel global y baja tradición de citación en revistas indexadas por el JCR del ISI» (2007: 33).
Por su parte, Fernández-Cano (2021) llega más lejos cuando reflexiona sobre las consecuencias de esa «veneración» por el factor de impacto y advierte:
Se publican enormes cantidades de artículos, pero no se leen, porque el objetivo es principalmente «publicar por publicar», o la publicación por sí misma. La herramienta correctiva habitual para mejorar la comunicación científica -la revisión por pares- no puede funcionar adecuadamente, y se introducen sesgos y perversiones que minan la confianza de la sociedad en la empresa científica. Un oscuro paisaje se despliega sobre el mundo de la información científica, obligándonos a cuestionar y mejorar su estado actual (2021: 3673).
En un texto reciente, Delgado López-Cózar y Martín-Martín (2019) cuestionan las razones para la implantación de este indicador como medida de calidad de nuestra actividad investigadora, el cual: «ha penetrado en todas las instituciones con responsabilidades sobre la investigación que se genera en el país (agencias de financiación, evaluación, universidades, centros de investigación, hospitales, centros culturales) aplicándose inmisericordemente a todos los niveles». Según los autores, esta política está dañando la ciencia y alterando severamente el comportamiento moral de los científicos españoles al promover «el monocultivo científico, la cultura del “publica o perece”, y la propagación de la impactitis» (2019: 1).
No se libran de las críticas los rankings de revistas científicas españolas con el sello de calidad de la Fundación Española para la Ciencia y la Tecnología (FECYT). En relación con la introducción del ranking de revistas durante el año 2002, Delgado López-Cozar señala los efectos potencialmente dañinos del nuevo ranking en el ecosistema de revistas científicas del campo de las Humanidades y Ciencias Sociales en Estado español y concluye que «se trata de un ranking diseñado con un enfoque viejo y obsoleto, basado en medir el impacto del medio (revista) y no el de los documentos que anidan en él» (2020: 1). Más recientemente, este mismo autor junto con otros colaboradores dirigen una carta a las autoridades en materia científica proponiendo un «cambio radical en la evaluación de la investigación en el estado español» (Delgado López-Cózar, Ràfols y Abadal 2021).
Otras investigaciones plantean herramientas alternativas para valorar la calidad de la actividad investigadora. Así, Ortega Irizo (2003) propone un índice agregado de impacto que, además, pudiera aplicarse a la valoración de sexenios de investigación. Mientras que Rovira (2007), introduce los conceptos de «visibilidad pasiva» (al figurar en los índices bibliográficos o en determinadas revistas) y «visibilidad activa» (el hecho de ser citado) de las publicaciones a nivel internacional, para ser utilizados en el campo de las Ciencias Sociales y Humanidades. Por su parte, Castro, Barrenechea e Ibarra (2007), sintetizan en tres las necesidades prioritarias a tomar en cuenta en relación con los sistemas de evaluación de las actividades de investigación: a) asumir una concepción integral de lo que se entiende por actividad de investigación, b) desarrollar y consensuar una amplia gama de indicadores que permitan valorar las diversas prácticas científicas según distintos campos disciplinares, c) desarrollar estudios longitudinales y comparados para establecer dinámicas y patrones en las actividades de investigación (según disciplinas e instituciones) (2007: 76).
Más recientemente, López López (2018), siguiendo a otros autores, defiende la particularidad de cada campo, de cada investigación y de cada investigador:
El Factor de Impacto podría ser mejorado y ser tomado como parte de un sistema más amplio de medidas cienciométricas (Lee, Hah, y Kim 2018), que deberían definirse, no por los indicadores globales de la revista en un periodo de tiempo que suele ser arbitrario y no normalizado de acuerdo a las dinámicas de comunicación y usos de cada comunidad, sino por la introducción de mediciones que den cuenta de cada línea de investigación, e incluso, cada artículo e investigador (López López 2018: 3)
El autor concluye con una afirmación que suscribimos plenamente quienes nos dedicamos a la investigación científica, pero que parece difícil de asumir por las políticas de investigación y quienes las dirigen y diseñan: «en cualquier caso, es necesario romper el supuesto de que las medidas de citación son equivalentes a las de calidad de la investigación o de la publicación» (2018: 3).
Tomando en cuenta los cambios que se están produciendo en las metodologías y enfoques de la evaluación de la investigación en Humanidades y Ciencias Sociales en los últimos años, Giménez Toledo (2018) resume en seis los criterios que sería necesario incorporar al debate para la mejora de los procedimientos de evaluación de la producción científica:
Utilización de datos completos sobre producción científica y desarrollo de fuentes de indicadores para revistas y libros académicos, al margen de las bases de datos comerciales.
Evaluación más cualitativa y/o con enfoques bottom up.
Acceso abierto y su implicación en la evaluación científica.
Métricas alternativas y citas abiertas.
Métricas responsables.
Impacto social de la investigación.
Y es que, como argumentan López Piñeiro y Hicks (2015), una preocupación desmedida por los factores de impacto de las publicaciones científicas en Ciencias Sociales puede no sólo inducir a una mayor excelencia en la investigación, sino también a agendas de investigación más estrechas en las cuales «las preocupaciones por lo local pasan a un segundo plano para los investigadores en favor de otras más globales que pueden aceptar aquellas publicaciones de un alto factor de impacto» (2015: 1). Lo que llevaría a cuestionar no solo al factor de impacto de modo aislado, sino en relación a las políticas globales de evaluación de la ciencia.
Declaraciones internacionales sobre «Evaluación de la Investigación»
Por todo lo indicado resulta esperanzador la aparición reciente de varias declaraciones elaboradas por expertos de reconocido prestigio a nivel internacional procedentes del mundo académico y editorial que persiguen la mejora de los procedimientos de evaluación de la actividad científica y el uso de indicadores más adecuados. Es el caso de la Declaración de San Francisco de Evaluación de la Investigación9 (DORA, en inglés), de 2012, suscrita por parte de la Agencia Estatal de Investigación española en abril de 2021.
Uno de los objetivos prioritarios de DORA es «llamar la atención sobre las nuevas herramientas y procesos en la evaluación de la investigación y el uso responsable de las métricas que se alinean con los valores académicos fundamentales y promueven la coherencia y la transparencia en la toma de decisiones». Entre otras estrategias que persigue esta declaración es el de «mejorar la equidad en los procesos de evaluación de la actividad científica» y hacerlo «reclamando una mayor representación de los investigadores en el diseño de prácticas de evaluación de la investigación que aborden directamente las desigualdades estructurales del mundo académico». Por último, DORA alerta sobre el interés comercial de los sistemas de evaluación e indexación y las consecuencias que este sesgo puede tener para el devenir de la ciencia.
Existen dos documentos internacionales posteriores a DORA de gran importancia que corroboran y actualizan los mismos principios y recomendaciones para lograr una evaluación adecuada de la actividad científica: El conocido como Manifiesto de Leiden para la Métrica de la Investigación (2015) y el Acuerdo Final Europeo para la Reforma de la Evaluación de la Investigación, publicado el pasado 20 de Julio de 2022 <https://www.eua.eu/downloads/news/2022_07_19_rra_agreement_final.pdf>.
Partiendo de la constatación de que la evaluación de la investigación se ha convertido en algo rutinario y basado en métricas que cada vez se rigen más por los datos y no por el juicio de los expertos, cinco investigadores encabezados por Diana Hicks y Paul Wouters, proponen 10 principios para la medición del rendimiento de la investigación, el citado Manifiesto de Leiden publicado como comentario en la revista Nature en 2015 (Hicks et al. 2015: 430-1). Estos principios son:
La evaluación cuantitativa debe complementar la evaluación cualitativa de los expertos.
Medir los resultados en función de las misiones de investigación de la institución, el grupo o el investigador.
Proteger la excelencia en la investigación localmente relevante.
Mantener los procesos de producción y análisis de datos abiertos, transparentes y sencillos.
Permitir que los evaluados verifiquen los datos y el análisis.
Tener en cuenta las variaciones en las prácticas de publicación y citación según el campo.
Basar la evaluación de los investigadores individuales en un juicio cualitativo de su carrera.
Evitar la concreción y la falsa precisión.
Reconocer los efectos sistémicos de la evaluación y los indicadores.
Examinar periódicamente los indicadores y actualizarlos.
Los autores del Manifiesto mantienen que, siguiendo estos principios, la evaluación de la investigación desempeñaría un papel importante en el desarrollo de la ciencia y sus interacciones con la sociedad. Y, no, como sucede actualmente, donde las métricas han pasado de ser un instrumento para convertirse en un objetivo:
Las mejores decisiones se toman combinando estadísticas sólidas con sensibilidad hacia el objetivo y la naturaleza de la investigación que se evalúa. Se necesitan tanto pruebas cuantitativas como cualitativas; cada una es objetiva a su manera. La toma de decisiones sobre la ciencia debe basarse en procesos de alta calidad informados por los datos de mayor calidad (Hicks, et al. 2015: 431)
Por su parte, el Acuerdo Final Europeo para la Reforma de la Evaluación de la Investigación (2022), desarrollado por una coalición de más de 350 instituciones académicas de 40 países, adopta una visión compartida sobre cómo reformar las prácticas de evaluación para investigadores, proyectos de investigación y organizaciones que realizan investigaciones, con principios generales basados en la calidad, el impacto, la diversidad, la inclusión y la colaboración.
Las reformas propuestas, en línea con lo sustentado en este informe, se centran en cuatro compromisos centrales:
Reconocer la diversidad de contribuciones y carreras en investigación de acuerdo con las necesidades y la naturaleza de la investigación.
Basar la evaluación de la investigación principalmente en la evaluación cualitativa para la cual la revisión por pares es central, respaldada por el uso responsable de indicadores cuantitativos.
Abandonar los usos inapropiados en la evaluación de la investigación de las métricas basadas en revistas y publicaciones, en particular los usos inapropiados del factor de impacto de la revista (JIF) y el índice h.
Evitar los usos de los rankings de las organizaciones de investigación en la evaluación de la investigación
Sexenios de investigación en el estado español
En el año 1989 el gobierno de España estableció un procedimiento para la evaluación de la actividad investigadora entre el profesorado universitario y el personal de centros de investigación del Estado español10. El procedimiento consistía, y se ha mantenido sin apenas variaciones hasta el momento, en evaluar la calidad de dicha actividad a partir de las publicaciones realizadas en tramos de seis años, consecutivos o no. Cada año, el Boletín Oficial del Estado publica tres resoluciones relacionadas con este procedimiento: criterios de evaluación que se aplicarán a cada área/campo de conocimiento, aspectos administrativos relativos a los plazos y formas de presentación de solicitudes y, finalmente, la composición de los comités asesores que evalúan las solicitudes. Este procedimiento de evaluación es gestionado por la CNEAI, integrada dentro de la ANECA.
El procedimiento para obtener un sexenio sigue un modelo estándar para todas las áreas de conocimiento. De manera resumida se trata de aportar los datos de cinco publicaciones (se pueden incluir alguna más de forma adicional) y sustentar los indicios de calidad de cada una de ellas y sus respectivos resúmenes. Todo ello limitado a series de seis años de actividad investigadora, no necesariamente consecutivos.
Si bien este procedimiento tiene como fin establecer un complemento retributivo a manera de reconocimiento del rendimiento en el ámbito de la investigación, la deriva adquirida desde su implantación supera ampliamente ese objetivo inicial. De hecho, aunque el procedimiento ha variado en relación con lo que se considera «calidad» de la producción científica, los sexenios se han instalado en el mundo académico del Estado español como un criterio que regula nuestra actividad docente e investigadora cotidiana hasta el punto de que una parte de la actividad académica, como señala Vázquez Espí (2011), sólo pueden desarrollarla los «funcionarios sexeniados». Hoy día «tener un sexenio» es requisito para dirigir una tesis doctoral, formar parte de tribunales -incluidos los doctorales-, participar en comisiones de evaluación y contratación, participar como docente en Máster, formar parte de programas de doctorado u ostentar determinados cargos11. Por otro lado, resulta inevitable aludir al sentido político que tiene la implementación de este procedimiento dado que no solo evalúa a los individuos, sino indirectamente también a las instituciones. Nos referimos a los sistemas de valoración de la productividad científica en relación con la posición que ocupan universidades y centros de investigación en los rankings generales, como el de Shanghai12.
La crítica a los sexenios desde diferentes áreas de conocimiento
Las críticas a este procedimiento evaluador son muy numerosas y proceden de distintas áreas de conocimiento. La cuestión fundamental que subyace en estos estudios se refiere a qué es «impacto» y qué es «reconocido prestigio» en la consideración de cada publicación adscrita a un área de conocimiento. En lo que sigue sintetizamos algunas de ellas.
Rodríguez-Navarro (2009) plantea una crítica indirecta a los sexenios como forma de medir la calidad de la investigación. Tras apuntar la ausencia de publicaciones de alto nivel, a pesar de que «la investigación española produce muchos artículos sólidos que se citan razonablemente», indica que esta tendencia negativa está causada por el amplio uso de evaluaciones formales de la investigación basadas en el número de publicaciones, los factores de impacto y las clasificaciones de las revistas (2009: 1858). Y relaciona estas «evaluaciones formales» y la «ausencia de publicaciones de alto nivel en el estado español» con la inexistencia en más de un siglo de premios Nobel en los campos de la ciencia.
En el área de Educación, Galán y Zych (2011) plantean que los criterios que utiliza la CNEAI para la concesión de los sexenios «son poco específicos y no existe ningún baremo objetivo que pueda ser aplicado a la hora de valorar los méritos aportados por los solicitantes». Según el estudio esta situación ha provocado una enorme tasa de fracaso en términos absolutos y en comparación con otras áreas.
Delgado y Fernández-Llera (2012), por su parte, ofrecen una panorámica crítica con especial atención a la investigación en el campo de la Economía y el Derecho. Los autores sugieren reducir la «burocracia» e incrementar la transparencia y la objetividad del sistema.
En el ámbito de las Ciencias Jurídicas, Cancelo Márquez y Bastida Domínguez (2013) analizan las diferencias en los resultados de la evaluación de la investigación en relación con otros campos de conocimiento, y aconsejan una profunda revisión en los métodos de evaluación. Mientras que Gómez Sancho y Muñiz Pérez (2017) van más allá al lamentar la escasa transparencia del Ministerio respecto a la concesión de sexenios y cuya eficacia para medir la calidad de la investigación consideran «dudosa». En sus propias palabras:
A pesar de la falta de este tipo de informes de resultados, es posible tratar de observar qué está pasando en los sexenios a nivel de área de conocimiento con los datos que proporciona el Ministerio desde el curso 2011-12. Hemos considerado interesante cruzarlos con los que proporciona la base de datos de la Web of Science, que es en la que se deben publicar los trabajos para que cumplan los requisitos de la evaluación. Curiosamente, mientras las evaluaciones de la investigación en Ciencias Sociales, y especialmente en Economía y Empresa, son las peores en nuestro país, las publicaciones en los últimos quince años muestran una evolución en su comportamiento muchísimo mejor que el resto de áreas. Esto nos sugiere que los requisitos exigidos pueden estar mal alineados con la realidad (2017: 17)
Por último, en referencia a esa área, Fernández Sarasola (2015) argumenta que los procedimientos seguidos en la evaluación de la CNEAI adolecen de serios problemas que impiden una correcta evaluación de las capacidades de su personal docente e investigador.
En el área de Filosofía y Filosofía debemos citar la investigación realizada por Moral, Delgado López-Cozar, Feenstra y Pallarés-Domínguez (2020), sobre hábitos de comunicación científica, opiniones y percepciones acerca de los criterios, indicadores bibliométricos y sistemas de evaluación de la investigación. Sus autores concluyen que casi la mitad de las personas adscritas al área están descontentas con el reconocimiento que la CNEAI otorga a sus publicaciones.
Grado de implantación de los sexenios
Junto a las críticas por áreas que implica este procedimiento de evaluación de la investigación, otros estudios aluden al grado de implantación y a las transformaciones y los ajustes experimentados por el procedimiento en sí durante su implantación. No faltan testimonios que abundan en esta dirección. Por citar solo algunos, Merchán, Fernández-Esquinas y Pérez Yruela (2006) señalan que la aparición de la CNEAI tuvo un impacto desigual en la comunidad científica en los primeros años, debido a la gran cantidad de solicitudes y al alto porcentaje de evaluaciones negativas. Tras varias revisiones de los criterios de evaluación, los solicitantes que superaron con éxito el proceso se elevaron del 60 % de la primera convocatoria (1990) a porcentajes superiores al 80 % en el periodo 1998-2005. Este incremento notable en la tasa de éxito fue resultado de la adaptación de la comunidad investigadora a los criterios fijados por las comisiones evaluadoras por un lado, y, por otro, por el componente opcional de estas evaluaciones (Jiménez-Contreras, de Moya Anegón, y López-Cózar 2003).
En la misma línea, la CNEAI menciona la falta de concurrencia a las convocatorias anuales, así como el éxito completo del personal investigador del CSIC que rozan el 100 % en el periodo 1996-2005.
Los datos para la serie más amplia que se dispone (1989-2005) demuestran que son más los investigadores que no se han sometido a evaluación que los evaluados negativamente. Entre 1989 y 2005 un 31 % de los profesores de las universidades españolas no se habían sometido a evaluación, mientras que eran tan solo un 11 % los evaluados negativamente. Estas cifras están condicionadas por el cuerpo docente al que se pertenece. Un 10 % de los catedráticos y un 30 % de titulares, cuerpos que tienen encomendadas labores investigadoras, no se habían presentado o no habían obtenido nunca un tramo de investigación (CNEAI 2005c).
Los datos más recientes señalan que sigue existiendo un 3,8 % de personas con la posición de cátedra de universidad y un 27,4 % de profesorado titular sin sexenios de investigación, si bien se aprecia una importante reducción respecto a años anteriores, síntoma de la extraordinaria relevancia que el sexenio ha adquirido en el sistema universitario.
Desde el curso 2015/16 contamos con series de datos estadísticos desagregados sobre la obtención de sexenios por ramas de enseñanza. Esta información es ofrecida por el Sistema Integrado de Información Universitaria (SIIU)13 del Ministerio de Educación, Cultura y Deporte (MECD).
En Ciencias Sociales y Jurídicas, que es donde se inscribe la Antropología Social, para el curso 2019/20, el porcentaje de profesorado con la condición de funcionariado que tiene, al menos, un sexenio alcanza el 74 %, frente al total del profesorado de todas las ramas de enseñanza que es del 81 %, mientras que la rama de Ciencias cuenta con un porcentaje de personas con sexenios del 91 %, Artes y Humanidades el 86 %, Ciencias de la Salud el 81 %, e Ingeniería y Arquitectura el 77 %. Es decir, Ciencias Sociales y Jurídicas es la rama de enseñanza que cuenta con las peores cifras.
Si lo que observamos es el porcentaje de profesorado funcionario que ha obtenido los sexenios correspondientes a su vida académica (la estadística consultada los denomina con «sexenios óptimos»), para el curso 2019/20, en el caso de Ciencias Sociales y Jurídicas el porcentaje es del 35 % (32 % de mujeres -42 % de media en el total de las ramas- y 38 % de varones -51 % de media en todos las ramas-), frente al 60 % en Ciencias, 59 % en Ingeniería y Arquitectura, 47 % en Ciencias de la Salud, y 38 % en Artes y Humanidades. No obstante, según esta misma fuente, desde el curso 2015/16 se ha experimentado una cierta mejora en el área pasando del 67 % al 74 % a lo largo de cinco cursos en lo relativo al profesorado funcionario que dispone de, al menos, un sexenio. Y en tres de los cinco cursos de la serie, desde que contamos con estadísticas, esa rama de enseñanza es la que presenta mayor crecimiento en términos absolutos. Sin embargo, si tomamos en cuenta el número de sexenios que se corresponden a la vida académica («sexenios óptimos») el crecimiento anual del resto de las ramas es superior al de Ciencias Sociales y Jurídicas. En esta posición crítica se encuentra el reconocimiento de la actividad investigadora en el área de Antropología Social en el Estado español.
Proceso metodológico
Para conocer el estado de la evaluación de la actividad investigadora por parte de la CNEAI en el área de Antropología Social en el Estado español, el proceso metodológico de producción de datos se presentaba, a priori, como un trámite. Sin embargo, nos encontramos con enormes dificultades en el paso previo: identificar quienes componemos esa área. Algunos de los obstáculos fueron los siguientes:
Inexistencia de registro administrativo público del MECD referido al área de Antropología Social.
Inexistencia de registro público oficial del profesorado del área de Antropología Social en las universidades y centros de investigación de Estado español (aunque sí algunas estadísticas parciales).
Negativa de la ANECA a facilitar datos, mediante petición cursada a través de la ASAEE, sobre el estado de los tramos de investigación solicitados y concedidos en el área. Según la ley de protección de datos, al tratarse de información personal que solo se puede facilitar con expresa autorización de las personas afectadas, no se ofrece púbicamente desagregadas por áreas de conocimiento14.
Deficiente actualización de los datos del profesorado adscrito al área en las webs oficiales de departamentos, universidades y centros de investigación.
Alto grado de dispersión de antropólogos y antropólogas adscritos a departamentos universitarios y áreas de conocimiento diferentes a la de antropología social (arqueología, historia, sociología, trabajo social, educación social, derecho, criminología, entre otros)15. En el caso de las universidades de titularidad privada esta situación es aún mayor.
En suma, la falta de datos que identificasen al profesorado universitario y los científicos titulares en el área repercutió en que el proceso metodológico para la producción de datos se dilatase en el tiempo y precisase de diversas estrategias. De forma resumida este proceso se dividió en cuatro fases, cada una de las cuales se corresponde con la utilización de un instrumento para recopilar la información.
1ª. Cuestionario a los departamentos y centros de investigación (noviembre y diciembre de 2020). Un primer cuestionario anónimo diseñado y remitido por los firmantes del presente texto, a través de la ASAEE, a los y las responsables de una primera selección de departamentos universitarios y centros de investigación con el ruego de centralizar la de información de sus miembros. La información que solicitamos se refería al conjunto del profesorado del área «sexeniable», esto es, con contrato laboral estable (funcionarios y no), e incluyendo a los profesores y profesoras eméritos. Las variables contempladas, desagregadas por sexo, fueron cuatro: a) profesorado con derecho a solicitar sexenios, b) número global de sexenios «concedidos», c) «denegados» y d) «posibles».
La respuesta de los y las responsables fue excelente, y ello a pesar de la cantidad abrumadora y creciente de trabajo de gestión que realizan las personas que ostentan un cargo en la universidad pública. Si bien en el caso de alguna de las universidades más grandes ello redundó en la dificultad de contar con respuestas completas y representativas de la mayoría del personal, por otro lado, el conocimiento directo «persona a persona» resultó ser bastante eficaz.
En total se enviaron diecisiete cuestionarios a los y las responsables de los departamentos universitarios de Antropología Social como un área independiente o compartida y se obtuvieron un total de ciento quince respuestas de colegas «sexeniables». Es decir, personal funcionario de carrera de los cuerpos docentes de las universidades públicas españolas, del CSIC, profesorado de investigación, personal investigador científico y personal científico titular, y otras figuras contractuales equivalentes de la universidad que disfrutan de un contrato estable en las diferentes comunidades autónomas.
Las universidades participantes fueron: Universitat de Barcelona, Universitat Autónoma de Barcelona, Universitat Rovira y Virgili, Universidad Autónoma de Madrid, Universidad Nacional de Educación a Distancia, Universidad de Granada, Universidad de Sevilla, Universidad de Alicante, Universidad de Valencia, Universidad de Santiago de Compostela, Universidad La Laguna, y Universidad del País Vasco y la Universidad Internacional de La Rioja. Las unidades/institutos del Consejo Superior de Investigaciones Científicas fueron: Instituto de Lengua, Literatura y Antropología, Institución Milá y Fontanals de Investigación en Humanidades e Instituto de Ciencias del Patrimonio.
Con las respuestas obtenidas procesamos los datos y construimos una matriz que nos permitió obtener una primera aproximación a la diversidad de situaciones en relación con el reconocimiento de la actividad investigadora a través de los sexenios dentro del área. Sin embargo, esta información resultó incompleta. En algunas universidades fue imposible obtener una respuesta representativa, mientras que en otras -aquellas donde no hay un departamento o no se oferta la titulación- la encuesta no llegó a todas las personas en situación de responder. Por ello, decidimos diseñar y enviar un segundo cuestionario para completar y contrastar la información obtenida en el primero.
2ª. Cuestionario en línea individual (diciembre 2020 y enero de 2021). Este segundo cuestionario -también anónimo-, fue diseñado y enviado con la aplicación Forms a través de la lista de correos electrónicos facilitada por ASAEE. La información solicitada era prácticamente idéntica a la del anterior (número de sexenios obtenidos, denegados y posibles), pero añadimos una pregunta adicional en el caso de los sexenios denegados, sobre si se había reclamado o no a la CNEAI y cuál había sido el resultado obtenido.
Este cuestionario se envió a ocho Universidades que no habían sido incluidas en el anterior o cuya información era incompleta: Universidad Complutense de Madrid (Departamento de la Facultad de Geografía e Historia y Departamento de la Facultad de Ciencias Políticas y Sociología): Facultad de Ciencias Políticas), Universidad Pablo de Olavide, Universidad de Almería, Universidad de Murcia y Universidad de Jaén. Además, repetimos el envío en tres casos del primer grupo (Universidad de Granada, Universidad de Sevilla y Universidad Nacional de Educación a Distancia) en los que albergábamos dudas sobre las respuestas a la primera encuesta. El total de respuestas obtenido con este segundo cuestionario fue de 60 personas.
El envío individual en línea facilitó la tarea de completar datos, permitió corregir ciertos errores y ampliar la muestra a universidades y centros de investigación donde la presencia de profesorado de Antropología Social era minoritaria. Así mismo, abrió la vía a la indagación sobre los recursos de alzada presentados ante la CNEAI.
Una vez depurados y procesados los datos de las dos encuestas, sumamos un total de 152 respuestas de colegas con información contrastada sobre sexenios obtenidos, denegados y posibles.
3ª. Captura de datos de las webs de los departamentos de las universidades o centros de investigación y realización de entrevistas individuales (febrero-mayo 2021). A partir de esta muestra, en una tercera fase se completó la identificación del profesorado del área mediante el barrido sistemático de los datos disponibles en las diferentes webs institucionales. Este procedimiento indirecto, al que sumamos las conversaciones informales y en algunos casos entrevistas individuales desarrolladas con colegas del área, nos permitió completar y depurar los datos disponibles para lograr una muestra definitiva. Como veremos a continuación, esta estrategia metodológica se pudo seguir en parte porque la comunidad de antropólogos y antropólogas del Estado español vinculados a centros de investigación y universidades, de la que formamos parte y con la que mantenemos vínculos sociales y personales previos los autores y autoras de este informe, se asemeja a las que estudiamos frecuentemente las personas que nos dedicamos a la investigación etnográfica, también en cuanto a sus proporciones reducidas16.
Con toda la información obtenida mediante procedimientos directos (encuestas, entrevistas) e indirectos (páginas web), construimos una matriz en la que se registraron los siguientes datos desagregados por sexo: número de sexenios disponibles, número de sexenios posibles, año obtención del grado de doctor o doctora, categoría profesional, y universidad de pertenencia. La muestra resultante se describe en el siguiente epígrafe (apartado 4.1).
Por último, complementariamente al envío de la segunda encuesta y al procesamiento de la información, solicitamos a un grupo de colegas que habían obtenido la denegación de uno varios sexenios el recurso de alzada presentado y la respuesta obtenida por parte de la CNEAI. El acceso a nueve recursos nos permitió analizar el discurso de la institución, a través de los comités asesores, sobre qué se considera «calidad» en relación con la producción científica en nuestra área y contrastarla con la nuestra (apartado 6).
Descripción de la muestra y criterios
Según las estadísticas del MECD, la composición del área de Antropología Social se expresa, parcialmente, en la Tabla 1.
Evolución del profesorado en el área según sexo y vinculación contractual. Fuente: Datos del Sistema Integrado de Información Universitaria (SIIU), MECD.
Cursos
Personal docente e investigador
Profesorado funcionario
Total
Mujeres
Varones
Total
Mujeres
Varones
2019/20
353
185
168
149
70
79
2018/19
340
177
163
143
69
74
2017/18
330
163
167
145
65
80
2017/16
330
163
167
148
67
81
2016/15
327
157
170
154
68
86
Como puede verse, se trata de un área relativamente estable con un 60 % de profesorado permanente y un aumento en los últimos años de profesorado no permanente. La distribución por sexos es también bastante equivalente pasando a ser ligeramente superior el grupo de mujeres (52,4 %) en el curso 2019/20. Es decir, a la vez que crecía el profesorado no estable crecía el número de mujeres. Estas diferencias se observan si consideramos del total del profesorado solo a aquel que pertenece a algún cuerpo del funcionariado. Entre este último grupo, se observa un crecimiento en el último curso (2019/20) del número de varones, siendo su crecimiento del 6,8 % frente al de mujeres (1,4 %). No obstante, el curso anterior (2018/19) el crecimiento mayor fue el de mujeres (6,2 %) frente al de varones (-7,5 %), explicable por el proceso de jubilación de este último grupo. De cualquier manera, entre el colectivo de funcionarios en el área de Antropología Social se mantiene un mayor porcentaje de varones con una diferencia sobre las mujeres levemente decreciente en los últimos cursos (del 55,8 % en 2015/16 al 53 % en 2019/20).
Tomando estas cifras generales nos propusimos identificar la población del área de Antropología Social en universidades y centros de investigación en Estado español y su situación en relación con la obtención o no de sexenios. Los resultados se muestran en el apartado 5 de este informe.
Siguiendo los procedimientos descritos en el proceso metodológico, hemos identificado un total de 224 personas (año 2020) con derecho a solicitar sexenios. En dicho grupo se incluye tanto al personal funcionario de carrera como al resto de profesorado permanente (con contrato estable) en alguna de las figuras asimiladas por las diferentes comunidades autónomas: profesor contratado doctor, agregado, colaborador, etc. Ello explicaría la diferencia frente al de profesorado con categoría de funcionario en el área de Antropología Social que ofrece la estadística oficial (ver Tabla 1). Además, hemos incluido al personal investigador con posibilidades de solicitar sexenio del (CSIC) no contemplado en dicha estadística.
Con ese dato y a la visita de la información producida a través de los cuestionarios y otros procedimientos indirectos, hemos definido una muestra compuesta por un total de 170 personas: 49 % de mujeres frente a 51 % de varones, adscritos a veintitrés centros (de treinta y dos identificados), tal y como se detalla a continuación (ver Gráficos 1 y 2).
Distribución de la muestra según sexo.
Fuente: elaboración propia.
Distribución de la muestra según sexo y adscripción institucional.
Fuente: elaboración propia.
Estas personas que componen la muestra son aquellas de las que tenemos información contrastada mediante los distintos procedimientos metodológicos utilizados respecto al reconocimiento de sus sexenios.
Para facilitar la lectura de estos datos hemos dividido la muestra en tres tipos de universidades y centros de investigación según el número de personas adscritas en cada caso:
Con más de 15 personas: 4 universidades (UB, UNED, UAB y UGR)
Entre 8 y 14 personas: 6 universidades (UPO, URV, US, UAM, UCM y UPV).
Con menos de 7 personas: 12 universidades (UV, UOC, UJ, UAL, UM, UCLM, UNEX, UHU, UdL, UA, UNICAN, UdG) y 3 centros del CSIC (ILLA, INCIPIT, IMF)
Con la excepción de la Universidad Pablo de Olavide, en los dos primeros grupos se concentran aquellas universidades que ofrecen entre sus titulaciones el Grado en Antropología Social y la mayoría con un Dpto. propio. Estas universidades aportan a la muestra un total de 128 personas, lo que representa el 75 % del total 17.
Tomando como referencia el año de defensa de la tesis doctoral, el Gráfico 3 ilustra la distribución del personal adscrito al área, agrupado en periodos quinquenales desde 1979 hasta 2014 (años más antiguo y reciente respectivamente de lectura de tesis).
Distribución de la muestra según sexo y año (agrupados) de obtención grado de doctor.
Fuente: elaboración propia.
Por último, indicamos los datos de la muestra compuesta por 9 recursos administrativos presentados por diferentes miembros del área de Antropología Social ante la denegación de algún sexenio (Tabla 2).
Resumen de la muestra de recursos administrativos analizados. Fuente: Datos del Sistema Integrado de Información Universitaria (SIIU).
Recurso
1
2
3
4
5
6
7
8
9
Tramo de investigación
2000-10
2006-11
2011-16
2011-16
2012-18
2005-12
2012-18
2011-17
Fecha resolución
jul-14
jul-12
jul-17
jun-17
Jul-19
nov-13
jun-19
jun-18
jun-13
Género
Varón
Varón
Mujer
Varón
Mujer
Mujer
Mujer
Mujer
Mujer
Análisis de los datos
En las siguientes tablas (3 y 4) se presentan los datos oficiales sobre la obtención de sexenios en el área de Antropología Social a partir del SIIU.
Evolución del número de sexenios obtenidos por los Cuerpos Docentes Universitarios del área. Fuente: Datos del Sistema Integrado de Información Universitaria (SIIU).
Curso
CDU Total
CDU con al menos un sexenio
Nº de sexenios
Nº medio de sexenios
2019-2020
149
121
319
2,14
2018-2019
142
115
307
2,16
2017-2018
144
115
301
2,09
2016-2017
146
116
299
2,05
2015-2016
152
118
291
1,91
Evolución en el porcentaje de sexenios obtenidos por el profesorado funcionario del área. Fuente: Datos del Sistema Integrado de Información Universitaria (SIIU).
Curso
1 sexenios
2 sexenios
3 sexenios
4 sexenios
5 sexenios
6 sexenios
2019-2020
17,45
20,81
22,82
14,77
4,70
0,67
2018-2019
14,79
21,83
26,06
12,68
4,93
0,70
2017-2018
13,19
27,08
23,61
10,42
4,17
1,39
2016-2017
16,44
24,66
22,60
9,59
4,11
2,05
2015-2016
19,74
22,37
22,37
7,24
4,61
1,32
Según estos datos, entre 2015-20 la media de sexenios reconocidos se sitúa en 2, con un crecimiento progresivo (del 1,91 al 2,14). Además, un 19 % del profesorado (solo funcionariado) no tienen ningún sexenio y un 17 % dispone de, al menos, uno.
Por otro lado, 2 de cada 10 personas disponen de un sexenio, y un poco más de 2 de cada 10 tienen reconocido entre 2 y 3 sexenios, respectivamente. El salto cualitativo se produce entre los funcionarios que tienen reconocidos 4 sexenios y que representan algo más de 1 de cada 10, mientras los que tienen 5 y 6 sexenios no llegan a 1 de cada 10.
Si bien estos datos ofrecen una aproximación global al reconocimiento de la investigación por parte de la CNEAI en el área, son limitados. En primer lugar, porque solo se refieren a funcionarios de carrera, y, en segundo lugar, porque no están desagregados por sexo, edad, ni tampoco distinguen entre sexenios reconocidos y posibles, aportaciones fundamentales de este informe. Por el contrario, según nuestras pesquisas la media de sexenios reconocidos a las personas que componen la muestra es de 2,1 (1,9 en el caso de las mujeres y 2,3 en el de los varones), y el promedio de sexenios posibles se eleva a 3,8. Estos datos reflejan de manera más precisa la baja tasa de éxito en el reconocimiento investigador en el área vía sexenios, al tiempo que permiten una mejor aproximación a la variedad de situaciones.
Para explicar cómo hemos llegado a ese resultado, comenzamos analizando el número de sexenios que las personas de la muestra tienen reconocidos desagregados por sexo y contrastamos este dato con el número de sexenios posibles. Dado que el reconocimiento se realiza en periodos de seis años y tomando como referencia para el cierre de nuestro análisis el año 2020, podría darse el caso de personas que están en mitad de un periodo para solicitar un nuevo sexenio. Para corregir esa posible desviación, a la hora de analizar el número de sexenios posibles, hemos tomado en cuenta el número que indica el año de lectura de tesis doctoral menos uno por poder encontrarse en proceso de solicitud de uno nuevo.
Las Tablas 5 y 6 reflejan los resultados de dicha comparación. La primera nos indica el número de sexenios obtenidos por las personas de la muestra desagregado según sexo y porcentaje en relación con el total (170 sujetos). La tabla 5, por su parte, refleja los datos cruzados entre número de sexenios obtenidos y posibles, también desagregados por sexo, en relación con el total.
Número de personas según sexenios obtenidos en relación con el total, desagregado por sexo. Fuente: elaboración propia.
Sexenios
Frecuencias
% según muestra
% según sexo
Varones
Mujeres
Totales
Varones
Mujeres
Totales
Varones
Mujeres
Totales
0
9
11
20
10,3
13,3
11,8
45,0
55,0
100
1
19
26
45
21,8
31,3
26,5
42,2
57,8
100
2
21
15
36
24,1
18,1
21,2
58,3
41,7
100
3
16
22
38
18,4
26,5
22,4
42,1
57,9
100
4
14
7
21
16,1
8,43
12,4
66,7
33,3
100
5
6
0
6
6,9
0
3,53
100,0
0,0
100
6
2
2
4
2,3
2,41
2,35
50,0
50,0
100
Total
87
83
170
100
100
100
51,2
48,8
100
Número de personas según sexenios obtenidos y posibles, desagregado por sexo. Fuente: elaboración propia.
Sexenios posibles
Sexenios obtenidos
Varones
Mujeres
Total
0
1
2
3
4
5
6
0
1
2
3
4
5
6
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
1
0
2
0
0
0
0
0
1
0
0
0
0
0
0
3
2
2
6
3
0
0
0
0
1
11
1
0
0
0
0
24
3
3
4
11
6
0
0
0
3
7
7
7
0
0
0
48
4
1
5
5
7
2
0
0
6
7
4
8
1
0
0
46
5
3
1
0
3
9
2
0
0
1
3
5
2
0
1
30
6
0
1
2
0
3
1
0
0
0
0
2
3
0
0
12
Totales
9
19
21
16
14
6
2
11
26
15
22
7
0
2
170
Sin sexenios correspondiente
9
11
7
3
3
3
0
11
15
7
7
4
0
0
80
% sobre muestra
5
6
4
2
2
2
0
6
9
4
4
2
0
0
47
% sobre sexenio
100
58
33
19
21
50
0
100
58
47
32
57
0
0
47
Con sexenios correspondiente
0
8
14
13
11
3
2
0
11
8
15
3
0
2
90
% sobre muestra
0
5
8
8
6
2
1
0
6
5
9
2
0
1
53
% sobre sexenio
0
42
67
81
79
50
100
0
42
53
68
43
0
100
53
Como se desprende de la Tabla 5, el primer grupo está formado por 20 personas (9 varones y 11 mujeres), un 10 % del total de la muestra, que carecen de sexenios, aunque según el año de lectura de su tesis doctoral, deberían tener de 2 a 5.
El segundo grupo lo componen 45 personas (19 varones y 26 mujeres) que tienen reconocido un solo sexenio y, según el año de lectura de su tesis doctoral, deberían tener entre 1 a 5. De ellos, solo 18 (11 mujeres y 7 varones) disfrutaría de los sexenios que le corresponden, esto es, entre uno y dos. El grupo restante, un 15 % del total de la muestra (15 mujeres y 11 varones) podrían tener entre 3 y 4, y en 2 casos entre 5 y 6. Ello da como resultado hasta el momento que el 25 % de las personas de la muestra no disponen de los sexenios posibles.
El tercer grupo está formado por 36 personas (21 varones y 26 mujeres) con dos sexenios reconocidos, aunque según el año de obtención de su grado de doctor, deberían tener entre 2 y 6. De ellos, 22 (8 mujeres y 14 varones) tendrían el número que les corresponde, esto es, entre 2 y 3. Mientras el grupo restante (7 mujeres y 7 varones), un 8 % del total de la muestra, deberían tener entre 4 a 6, y en cuatro casos de 5 o 6. Este resultado eleva la cifra de personas cuyo reconocimiento de la investigación no se ajusta a la realidad al 33 %.
El cuarto grupo está formado por 38 personas (16 varones y 22 mujeres) que cuentan con tres sexenios y, según el año de lectura de su tesis doctoral, deberían tener entre 3 a 6. De ellos, 28 (15 mujeres y 13 varones) se ajustan a la cantidad de sexenios posibles, esto es, entre tres y cuatro. El grupo restante (7 mujeres y 3 varones), deberían tener entre 5 a 6. Ello da como resultado un 9 % más de personas que deberían tener más de 3 sexenios y nos los tienen que sumado a los anteriores arroja un total de 42 % de las personas de la muestra.
El siguiente grupo está formado por 21 personas (14 varones y 7 mujeres) que tienen cuatro sexenios y, según el año de lectura de su tesis doctoral, deberían tener entre 4 a 6. De ellos/as, 14 personas (8 % del total: 3 mujeres y 11 varones) se ajustan al reconocimiento de sexenios, en este caso entre 4 y 5. El grupo restante (4 mujeres y 3 varones), deberían tener entre 5 a 6 sexenios. Esos nuevos datos elevan al 46 % las personas de la muestra que no disponen del reconocimiento de sexenios posibles.
El penúltimo grupo está formado por 6 personas (todos varones), los cuales tienen reconocidos 5 sexenios y deberían tener entre 5 y 6 sexenios. De ellos, 3, se ajustarían a los sexenios posibles, entre 5 y 6.
El último grupo está formado por 4 personas (2 varones y 2 mujeres) con 6 sexenios, número que en este caso si se ajusta al de los posibles.
En conclusión, comparando sexenios reconocidos y posibles obtenemos que el 48 % de las personas del área de Antropología Social de la muestra analizada (170 personas de 224 que cumplen los requisitos para solicitar sexenios) no cuenta con dicho reconocimiento. Esta estimación coincide plenamente con los resultados del cuestionario enviado en primer lugar a universidades y centros de investigación (véase apartado 4.1), que establecía una tasa de éxito en la obtención de sexenios de un 61 % de media, (59,1 % varones y 41,9 % mujeres), siendo esa proporción ligeramente más equilibrada en la Tabla 4, donde el 51,2 % de la muestra son varones con sexenios y el 48,8 % son mujeres.
Llegados a este punto resulta evidente que estos resultados son incompletos si no abordamos desde una perspectiva cualitativa las razones por las cuales los y las colegas del área solicitan o no los sexenios, o reclaman en caso de denegación, y su relación con el sexo, el género, la edad, y el sistema de mejoras económicas y laborales que promueve cada institución a las personas «sexeniadas» (reducción de la carga docente, por ejemplo), análisis que excede los medios disponibles para la realización de este informe. Sin embargo, sí podemos afirmar que el actual sistema de evaluación de la investigación discrimina de forma estructural los productos científicos de la disciplina. Y como esta situación afecta no solamente a las carreras académicas del personal docente e investigador sino a la obtención de proyectos, a las oportunidades de contratación de becarios pre y postdoctorales, y el mismo futuro de la disciplina y sus contribuciones a la resolución de los presentes retos sociales.
Los recursos de la antropología
Para compensar mínimamente la ausencia de un análisis cualitativo esbozamos en esta oportunidad algunos de los recursos y prácticas intelectuales que la Antropología Social emplea en nuestro país a la hora de reflexionar y poner en valor su propia producción de saberes. ¿Qué entendemos los y las antropólogas por «calidad científica»? Para ello, analizamos una muestra de «recursos de alzada» interpuestos por investigadores e investigadoras del área contra la denegación del reconocimiento de sexenios de investigación.
Hemos leído estos recursos de alzada a contrapelo, no sólo en su calidad de documentos administrativos, sino como recursos intelectuales que abren un espacio y un tiempo para acercarnos a los valores de la investigación etnográfica de la mano de aquellos que la ejercen, de la ética de una escritura y un modo de producción de saberes siempre atentos a sus contextos de enunciación, interpelación e intervención. Los recursos de alzada de la disciplina son así una ventana a los recursos intelectuales, compromisos académicos y ética colectiva de la Antropología.
Al carecer de la posibilidad de examinar los currículos del profesorado de Antropología Social evaluado por la ANECA, debido a la actual Ley de Protección de Datos Personales, nos hemos apoyado en las redes y los contactos personales para interpelar a la comunidad investigadora, varios de cuyos integrantes nos hicieron llegar generosamente sus recursos de alzada, así como las resoluciones de todos ellos. Este material se anonimizó antes de ponerse a disposición del grupo de trabajo.
Una primera observación resultante del análisis realizado es la asimetría entre los criterios de producción de conocimiento que valora la comunidad antropológica y aquellos que son puestos en valor por la CNEAI, especialmente en lo que se refiere a la metodología etnográfica y su base en el trabajo de campo intensivo de larga duración. Por otro lado, se constata una tendencia por parte de los comités asesores a minusvalorar o ignorar el lugar que las editoriales españolas especializadas en Antropología Social ocupan en los rankings de publicaciones internacionales, ambos fenómenos muy probablemente relacionados con la ausencia de representantes de esta área de conocimiento en los comités evaluadores.
La disonancia que insistentemente observamos entre los «criterios CNEAI» y los «criterios de la antropología» en los recursos revisados, avala el argumento esgrimido a lo largo de este informe que sugiere la necesidad de repensar y recalibrar estos procedimientos de evaluación. Como veremos, los «recursos de la Antropología», se alinean con los principios de la Declaración de San Francisco (DORA) (apartado 1), donde se llama a valorar los contenidos sobre los continentes, la calidad sobre la cantidad, y la singularidad epistémica de cada disciplina sobre la homogeneización de los modos de producción de saberes.
Resultados
Una alegación común de nuestros colegas en varios de los recursos revisados se refiere, según el grupo asesor que los evalúa, al hecho de que varias de sus investigaciones no consiguen alcanzar la categoría de «obra de investigación». Este criterio estándar es aplicado por las comisiones exclusivamente en función de si la publicación está o no en determinadas revistas indexadas. Y ello, sin que en ninguna orden ministerial o normativa de evaluación estén presentes cuáles son los criterios que se consideran para que una publicación sea resultado o no de un proceso de investigación. Muy especialmente, parecería quedar en entredicho el valor de investigación de ciertas aportaciones «etnológicas», que es fundamental en la producción científica de nuestra área. Este desprecio o, cuando menos, desconocimiento hacia lo etnológico/etnográfico denota una falta de comprensión profunda sobre la epistemología antropológica.
En otro caso, el o la autora de uno de los recursos alega que no se valoran sus publicaciones en uno de los idiomas oficiales del estado español, aunque la revista especializada donde ha publicado su artículo sea internacional y de referencia para los especialistas en la materia y cumpla los requisitos de calidad de revisión externa anónima por pares. Frente a la afirmación del comité evaluador de que se publica en un idioma «local», la persona que recurre argumenta que este tipo de publicaciones en un idioma minoritario limita su divulgación, pero nada tiene que ver con las aportaciones científicas que hace a su campo de especialización dado que «todos los especialistas de su ámbito leen esas publicaciones». Como hemos argumentado en este informe, para los y las antropólogas el énfasis en el análisis de lo local es parte del material empírico con el que trabajamos, lo que denota un importante desconocimiento de la metodología propia de la antropología en el comité evaluador. En ese sentido, coincidimos con la crítica hecha por Salamanca Castro (2018) en la línea de que la mayoría de las revistas indexadas en JCR publican en inglés, mientras que los estudios cualitativos (que son la base de la producción científica en antropología) se expresan preferentemente en el idioma local donde se han realizado ante la dificultad de traducción lingüística o del contexto cultural. La importancia de publicar, argumenta esta autora, radica en la necesidad de comunicar resultados de investigación a la comunidad científica, independientemente del idioma en que se exprese; pero tiene también un valor de aplicabilidad a los ámbitos locales donde se ha realizado la investigación que, especialmente en el caso de la Antropología, raras veces es anglosajón. Y concluye «…el objetivo de la publicación de los resultados de un artículo original es (o debería ser) la difusión del conocimiento adquirido con el fin de que este sea accesible al resto de la comunidad científica, no fines prácticos o intereses personales» (2018:2). Es decir, los recursos consultados coinciden que tiende a haber una minusvaloración de aportaciones cuyo ámbito de estudio lingüístico o etnológico es local o regional. De forma tácita se reproduce así una suerte de «supremacismo anglosajón» en la definición de lo que es ciencia de impacto o de excelencia.
Otra observación frecuente alegada en varios de los recursos relacionada con la anterior tiene que ver con la escasa valoración por parte de los comités de artículos publicados en revistas científicas internacionales de habla hispana indexadas en bases de datos como REDALYC, Latindex, o Hapi, frente a la valoración casi en exclusiva de publicaciones en revistas JCR o SJR. Este desprecio hacia lo «local» se proyecta así en una distinción más amplia entre el «contenido» y el «continente» (la revista). Haciéndonos eco de la sentencia del Tribunal Supremo, Sala de lo Contencioso, Sección 4, Sentencia de 12 junio 2018, Rec. 1281/2017, nos permitimos recordar aquí que: «la valoración de las aportaciones dependerá en última instancia de su contenido y de que se cumplan los criterios especificados en el apéndice de la Resolución. Y a ello han de referirse el comité de expertos o los especialistas en los informes que emitan al respecto y en los que se fundamente la decisión de la CNEAI».
De igual modo varios recurrentes alegan además que los comités evaluadores tampoco tienen en cuenta la fuente de financiación, o proyecto, de las investigaciones de las que proceden las publicaciones (Unión Europea, administraciones autonómicas o nacionales). Y lo que resulta aún más incomprensible, la condición de Investigador Principal durante el tramo evaluado del candidato, ya sea en proyectos de investigación del Plan Estatal u otros financiados con fondos europeos. Esta omisión es inconsistente con el énfasis que se hace en las diferentes convocatorias ministeriales sobre la importancia de contribuir al conocimiento con investigaciones originales y nuevas. Sin embargo, como se desprende de los recursos presentados en la mayoría existe una minusvaloración del contexto de producción de las aportaciones. Tan es así que, si bien la inclusión del Curriculum Vitae es exigencia de la convocatoria, la evaluación de las aportaciones casi nunca toma en consideración otros aspectos de la producción investigadora en la que éstas se inscriben, ni su aportación a la formación de futuros investigadores e investigadoras a través de tesis doctorales dirigidas, o la participación en una investigación considerada un valor científico. Nuevamente, solo son tomados en cuenta los índices de impacto de las revistas donde los resultados de tales investigaciones se han publicado.
Otros recursos revisados detectan también inconsistencias en las valoraciones de la CNEAI. En concreto tres de ellos alegan que publicaciones realizadas en la misma revista o editorial, con idénticas características, han sido valoradas con una puntuación más alta por el mismo grupo asesor. En un caso, incluso, un/a recurrente afirma que una de sus referencias fue valorada de manera negativa mientras que, al coautor del mismo artículo, evaluado en la misma revista y por el mismo Comité, se le valoró positivamente lo que redundó en el reconocimiento del correspondiente sexenio que a él/ ella se le había denegado.
Del mismo modo, como se desprende de los recursos, hay gran frustración entre nuestros colegas ante el desconocimiento y la infravaloración por parte de las comisiones evaluadoras de la posición de las revistas o editoriales en los rankings generales o específicos de nuestra área de conocimiento. Siendo especialmente notoria la ausencia de un criterio para entender la clasificación de editoriales en el área de antropología.
Esta queja se hace eco de otras alegaciones donde varios recurrentes protestan ante la falta de representación de antropólogas/os en las comisiones de evaluación/comités asesores. Ello da pie a una pobre y equivocada aplicación de los criterios de evaluación a nuestra disciplina. Se observa, por ejemplo, de forma recurrente un generalizado desconocimiento de las comisiones respecto al impacto que determinadas editoriales y revistas tienen en algunos países latinoamericanos en el marco de nuestra disciplina.
Del mismo modo, frecuentemente, varios recurrentes solicitan una adecuada valoración de la perspectiva comparativa utilizada en las aportaciones, que se traduce en la subestimación del trabajo de coordinación en la edición de libros colectivos y special issues, en una disciplina como la antropología, cuya epistemología es de raíz comparativa (en el tiempo y en el espacio). Esta alegación tiene que ver también con una pobre lectura de la calidad científica en la dimensión «internacional» que maneja la CNEAI. La cual se restringe al idioma científico en que las aportaciones están escritas, obviando otros factores como la composición de los comités editoriales de las revistas con investigadores/as procedentes de universidades de diferentes países europeos y americanos, así como por el origen plurinacional.
Otra fuente de motivos para las reclamaciones alude a la falta de consistencia entre la evaluación «cualitativa» y la «cuantitativa». Por ejemplo, cuando dos artículos con la misma evaluación cualitativa obtienen distinta evaluación cuantitativa. De modo análogo, se recurre frecuentemente ante la arbitrariedad en la asignación y descripción de algunas aportaciones como «bajo impacto SJR» o «bajo impacto JCR», bien porque se distorsionan los baremos introducidos en la convocatoria, bien porque la convocatoria no incluye tales distinciones. Reiteradamente, nos encontramos con alegaciones que hacen ver que los comités de evaluación entran en apreciaciones cualitativas sobre el valor de una publicación sin justificación epistémica alguna (por ejemplo, «es un medio de difusión apropiado» o «es un medio inadecuado»), y sin correspondencia directa con los baremos explicitados en la convocatoria.
Hemos dejado para el último lugar, varias alegaciones que denuncian el empleo de fórmulas genéricas por parte de los comités de evaluación en sus respuestas y, lo que es peor aún, aquellas cuyo hilo de la argumentación se interrumpe de forma súbita quedando inconclusa la argumentación, del tipo: «Las aportaciones presentadas por el solicitante para el periodo sometido a evaluación no alcanzan los mínimos exigidos en la convocatoria. Se trata…»; o, en el caso de otro recurso: «El conjunto de las aportaciones no le permite alcanzar la puntuación mínima para lograr el tramo y examinado el CV completo no se ha encontrado…», o «examinado el CV completo no se ha encontrado…». Y en esa misma línea, cuando el informe de evaluación hace idéntico comentario a las cinco aportaciones presentadas, sin justificar en ningún caso su valoración negativa: «No es una innovación del conocimiento ni contribuye a su progreso».
En un campo como la antropología, donde la producción de conocimiento suele estar anclada siempre en un largo proceso de investigación y aprendizaje con comunidades locales, el empleo de estas proformas genéricas y vacías es doblemente ofensivo: por un lado, por el menosprecio con el que se trata al investigador o investigadora, pero también por el desmán hacia sus interlocutores etnográficos.
Conclusiones y recomendaciones
En vista de los resultados obtenidos la primera conclusión de este informe, cuyos resultados han sido socializado y consensuados por Dptos. universitarios y centros de investigación de antropología social, se refiere al bajo reconocimiento de la actividad investigadora vía sexenios en el área de Antropología Social, lo que sin duda repercute en su implantación.
Según la muestra analizada compuesta por ciento setenta personas del área adscritas a un total de veintitrés instituciones, entre universidades y centros de investigación, un 48 % no dispone de los sexenios que les corresponden o posibles contabilizados a partir de la lectura de la tesis doctoral, estimación coincidente con los resultados del cuestionario enviado en primer lugar a universidades y centros de investigación (apdo. 4.1. y 5). Estas cifras demuestran que el sistema de evaluación actual discrimina de forma estructural los productos científicos de la disciplina, perjudicando no solamente las carreras académicas del personal docente e investigador sino la obtención de proyectos, las oportunidades de formación y contratación para becarios pre y postdoctorales, y el mismo futuro de la Antropología Social y sus contribuciones a la resolución de los presentes retos sociales.
En segundo lugar, el informe constata cómo esa baja tasa de éxito en el reconocimiento de la actividad investigadora se debe en parte a la divergencia existente entre los «criterios CNEAI» y los «criterios de la Antropología» en relación con qué se entiende por calidad científica. La revisión de la literatura al respecto sugiere que esta diferencia tiene muchos y muy dispares fundamentos. Entre los específicos de nuestra área destaca, para empezar, la notable ausencia de antropólogos y antropólogas en las comisiones de evaluación/comités asesores, y se extiende a la hegemonía de ciertas culturas evaluadoras y su obsesión por las métricas y los índices de impacto JCR y SJR. Siguiendo las actuales recomendaciones internacionales sobre las prácticas de evaluación de la ciencia: DORA (2012), Manifiesto de Leiden (Hicks et al. 2015) y el más reciente Acuerdo Final para la Reforma de la Evaluación de la Investigación (2022), esta disociación de criterios exige repensar y recalibrar el procedimiento adoptado (apdo. 2.3).
Como ha sido señalado, el fundamento de la Antropología es la investigación etnográfica, cuyos ritmos no son comparables a los de otras Ciencias Sociales. Los tiempos de la Antropología se miden en años, dando pie a procesos colaborativos y corales de lenta maduración, cuyas concomitancias éticas y políticas acaban formando parte de los resultados mismos de la investigación. La monografía etnográfica es la expresión más completa de este modo de indagación. Por tanto, resulta profundamente inadecuado a los modos de conocer de la comunidad antropológica cuando exigimos que sus resultados sean presentados y medidos según «proformas» propias de otras disciplinas, cuyos plazos y criterios no aplican en nuestra área de conocimiento. En su lugar, las investigaciones más recientes proponen tener en cuenta esas especificidades haciendo uso de metodologías alternativas que tomen en cuenta las variaciones en las prácticas de publicación y citación según cada campo científico (apdo. 2.2).
La crítica nacional e internacional más reciente en este campo incide en la necesidad de situar la investigación asociada a la publicación de artículos, de libros y capítulos de libros en revistas o editoriales de prestigio como una parte de la actividad académica. Sin embargo, el hecho de que la evaluación de la investigación (a través del uso de métricas universales) sea la única evaluación académica que se lleva a cabo de manera sistemática, revierte en que ésta se considere como el único índice de valoración de la profesión académica en su conjunto, lo que resulta, cuando menos, inadecuado (apdos. 2 y 3).
Por ello, consideramos que cualquier medida correctora que trate de evaluar adecuadamente la naturaleza de la investigación científica, debería comenzar por contemplar al menos cuatro aspectos o recomendaciones generales:
Contar con un panel de evaluadores perteneciente al área, de modo que se garantice el conocimiento de las características propias de la disciplina en la que se produce esa investigación. Este panel permitiría la presencia de profesionales de la Antropología en los comités evaluadores como requisito previo para baremar solicitudes presentadas por miembros del área de conocimiento. Se trata de una condición necesaria, aunque no suficiente, para garantizar que prevalece la valoración de la calidad científica de los «contenidos» en Antropología por encima de los «continentes»: valoración de la contribución en términos de progreso del «conocimiento científico», innovación, adecuación metodológica, valoración de la comparación, revisión por pares, etc. En definitiva, se trata de reclamar una mayor representación del personal investigador, como sugiere la declaración DORA, en el diseño de prácticas de evaluación de la investigación que aborden directamente las desigualdades estructurales del mundo académico (apdo. 2.3).
Explicitar los baremos (si se opta por su uso) y su congruencia en relación con el CV valorado. A ello se debe añadir la importancia de permitir que las personas evaluadas verifiquen los datos y el análisis que se hace de ellos.
Valorar la totalidad del CV del investigador/a, especialmente en lo que concierne a la dirección de proyectos nacionales o internacionales conseguidos en convocatorias públicas con fondos nacionales y/o europeos, y de tesis doctorales durante el tramo a evaluar.
Examinar y actualizar periódicamente los indicadores que se utilizan para la evaluación de la actividad científica.
Para concluir este informe proponemos una serie de recomendaciones específicas, mientras no se disponga de modelos alternativos en la evaluación de los sexenios de investigación, para el caso del área de Antropología Social. Estas recomendaciones son las siguientes:
Ampliar la producción científica evaluable para dar cabida a los contenidos, formatos y metodologías propias de la antropología, y muy especialmente: comisariado de exposiciones, catálogos de exposiciones, dirección y realización de documentales etnográficos y la producción de contenido audiovisual y/o digital (publicación de investigaciones en acceso abierto y en repositorios institucionales producida con fondos públicos).
Realizar una reordenación total del baremo que debe usarse en la valoración de las aportaciones de la disciplina de la antropología. Más específicamente recomendamos:
2.1. Asignar una puntuación de 25 puntos a las monografías (SPI Q1 & Q2). La monografía es el epítome de la producción antropológica, punto final de un largo camino de investigación etnográfica, pensamiento colectivo y análisis teórico. La extensión de una monografía antropológica alcanza un promedio de 9-12 artículos de revista (c. 100,000 palabras), pero a diferencia de la individualidad argumental de estos, la monografía demanda coherencia estructural y organicidad narrativa a lo largo de toda la obra.
2.2. Asignar una puntuación de 25 puntos a los documentales etnográficos exhibidos en festivales y/o en congresos, y cuyas exigencias de investigación, producción y edición son del mismo orden que las asociadas a la publicación de una monografía.
2.3. Asignar una puntuación de 15 puntos al comisariado de exposiciones y/o publicación de catálogos asociados a la misma y derivados de proyectos de investigación, por razones idénticas a las aducidas en los puntos anteriores. El trabajo de comisariado de una exposición es un trabajo ingente que demanda la revisión y puesta al día de diversos corpus de cultura material, lógicas expositivas y lenguajes audiovisuales. En tanto que ejercicio de producción académica, la exposición tiene un alcance mediático, una repercusión epistémica y un impacto material (en los sistemas expositivos de otros museos y centros culturales) sencillamente incomparable al de ningún artículo de revista.
2.4. Asignar una puntuación de 10 puntos a la coordinación y edición de obras colectivas (en inglés, edited books o special issues), epítomes del pensamiento comparativista que siempre y necesariamente ha guiado el trabajo antropológico.
2.5. Asignar una valoración de 5 puntos a los capítulos en obras colectivas. La redacción y exposición de ideas en cada uno de cada uno de ellos requiere la lectura y comprensión, adaptación y ajuste de cada una de las aportaciones. El desprestigio mostrado desde las agencias de evaluación hacia las obras coordinadas y los capítulos de libro denota un desconocimiento preocupante de la filosofía comparativa que guía el trabajo de las humanidades y ciencias sociales.
Hacer explícito el valor de las aportaciones cuyo ámbito de investigación lingüística o etnológica sea local o regional.
Incorporar en la evaluación el índice de difusión de las aportaciones: las reseñas en revistas científicas, citas recibidas en libros y revistas, presencia en bibliotecas universitarias y centros de investigación, así como las propuestas que se hacen en los artículos de Salamanca Castro (2018) y Álvarez Álvarez y Fernández Sarasola (2020), el primero para las ciencias biotécnicas y el segundo para las jurídicas. Cabe recordar que en ambos casos siguen la sentencia del Tribunal Supremo del 12 de junio de 2018. La primera propone la evaluación de la actividad investigadora «a partir de otros índices diferentes a los JCR» (pg.3) que los complementen revisando el grado que tienen una revista científica en cuanto a su difusión anual y real. En cuanto a los segundos sugieren, aparte de la necesidad de compatibilizar los criterios cuantitativos y cualitativos, elaborar un ranking de revistas a partir de la consideración de los expertos de cada área de conocimiento, o des las asociaciones profesionales. , y alejarse de lo que ellos llaman «la pérdida de control», ahora en manos de bibliotoeconomistas que «desconocen totalmente el contenido de las publicaciones» (pag. 7) para acercarse a la «autoevaluación» realizada por cada área de conocimiento.
Por último, recomendamos introducir una modificación en la redacción del enunciado de la convocatoria de tramos de investigación (BOE, 2021), donde dice: «Con carácter orientador y no excluyente, se considera que, para alcanzar una evaluación positiva en las áreas de Antropología Social, Trabajo Social y Servicios Sociales e Historia del Pensamiento y de los Movimientos Sociales, al menos dos de las cinco aportaciones sean artículos publicados en revistas que cumplan los criterios del apartado 3.a) o 3.b), o que, en casos concretos que el comité y las personas expertas puedan estimar, cuenten con una calidad científica similar a las incluidas en los apartados mencionados y satisfagan los criterios que se especifican en el apéndice de esta Resolución».
En su lugar, proponemos: «Con carácter orientador y no excluyente, se considera que, para alcanzar una evaluación positiva en las áreas de Antropología Social, Trabajo Social y Servicios Sociales e Historia del Pensamiento y de los Movimientos Sociales, una aportación sea una monografía etnográfica en una editorial SPI o bien que al menos dos de las cinco aportaciones sean artículos publicados en revistas que cumplan los criterios del apartado 3.a) o 3.b) (…)».
Epílogo
Este documento, con sus principales conclusiones y recomendaciones, fue presentado a la ANECA en Madrid a Clelia Martínez Maza, directora de la División de Evaluación de Profesorado, por parte de la presidenta de la ASAEE Cristina Sánchez-Carretero (CSIC) y José Luis Molina (UAB).
La representante de la ANECA se mostró receptiva a las propuestas de la ASAEE para la mejora del reconocimiento de la investigación antropológica en los sistemas de evaluación de los sexenios y sugirió algunos cambios en algunas de ellas para homologarlas con otras áreas de conocimiento. Con esta información la presidenta de la ASAEE envió una versión final de las propuestas que fueron finalmente publicadas en el BOE nº 305 de miércoles 21 de diciembre de 2022.
Esperamos haber contribuido a un mejor reconocimiento por parte del sistema de evaluación de las contribuciones singulares realizadas por la antropología al conocimiento científico.
Equipo de la ASAEE para el reconocimiento de la actividad investigadora.
Notas
La Comisión Nacional Evaluadora de la Actividad Investigadora (CNEAI), forma parte de la Agencia Nacional de Evaluación de la Calidad y Acreditación (ANECA) y realiza la evaluación de la actividad investigadora de los profesores universitarios y del personal de las escalas científicas de los organismos públicos de investigación de la Administración General del Estado, con el objeto de que les sea reconocido un complemento de productividad (sexenio). Esta comisión está presidida por el director de la ANECA y está formada por un representante designado por cada una de las Comunidades Autónomas con competencia en materia de universidades y/o investigación, y rango de al menos de director general. Asimismo, formarán parte de la CNEAI doce académicos e investigadores, que serán designados por la persona titular de la Secretaría de Estado con competencia en materia de Universidades.
La CNEAI distingue entre «sexenios de investigación», que evalúan la actividad investigadora del profesorado universitario e investigador en todas las áreas de conocimiento, y «sexenios de transferencia», que evalúa la actividad de transferencia del conocimiento e innovación. En este informe, al hablar de sexenios, nos referimos exclusivamente a los primeros.
El grupo de trabajo fue coordinado por Beatriz Pérez Galán (UNED) y está constituido por los autores y autoras de este informe.
La ASAEE es el órgano de representación de la Antropología en el Estado español y está compuesta por asociaciones territoriales y profesionales de la Antropología, departamentos universitarios, OPIs, museos, empresas, cooperativas, así como socios y socias a nivel individual <https://asaee-antropologia.org>. Su objetivo es servir de interlocución entre instituciones y profesionales que trabajan en y para el desarrollo de la Antropología en el Estado.
En esta ocasión se ha optado por presentar de manera separada las críticas «internacionales» y «nacionales» de los sistemas de evaluación mediante métricas al entender que nos estamos refiriendo a evaluaciones de carácter institucional que nutren una parte de sus argumentaciones en las políticas de cada Estado.
Es el caso de Scholarly Publishers Indicators (SPI), un sistema de información que ofrece indicadores y herramientas relacionados con las editoriales científicas o de interés para la investigación en Ciencias Sociales y Humanidades. Fue creado como uno de los resultados del proyecto de investigación «Categorización de publicaciones científicas en Ciencias Humanas y Sociales» financiado por el Consejo Superior de Investigaciones Científicas (CSIC). Véase: <http://ilia.cchs.csic.es/SPI/proyecto.html>.
En la revista Allergy: European Journal of Allergy and Clinical Immunology, el mismo autor proponía la eliminación del factor de impacto (Seglen 2017b).
Journal Citation Report (JCR) es el índice internacional que cuenta con mayor prestigio a la hora de «medir» la relevancia de las revistas científicas. Fue construido por Eugene Garfield en 1963 y en 1975 el Institute for Scientific Information (ISI) lo convirtió en un producto comercial. Los organismos encargados de la evaluación de la actividad investigadora podríamos decir que lo llega a venerar. En la actualidad es la empresa Clarivate Analytics quien lo gestiona. Una alternativa a este índice que cuenta también con un nivel de prestigio, algo menor al JCR, es SCImago Journal Rank (SJR). Se trata de un índice creado por el grupo de investigación español Scimago. En este caso, ofrece soporte a la base de datos SCOPU, propiedad de la empresa Elsevier.
La Declaration On Research Assessment (DORA) consiste en una serie de recomendaciones sobre el procedimiento de evaluación de la actividad investigadora elaborada por un grupo de editores de prestigiosas revistas académicas reunido en el Encuentro anual de la American Society for Cell Biology (ASCB) en San Francisco, California, el 16 de diciembre de 2012. <https://sfdora.org/read/read-the-declaration-espanol/>.
El antecedente de este procedimiento se sitúa en la Ley Orgánica 11/1983, de 25 de agosto, de Reforma Universitaria, que preveía la evaluación de la actividad docente e investigadora. El Real Decreto 1086/1989, de 28 de agosto, sobre retribuciones del profesorado universitario, establece la creación concreta de un incentivo por productividad mediante evaluación positiva cada seis años gestionado por una Comisión Nacional. Posteriormente, la Orden de 2 de diciembre de 1994, desarrolla el RD anterior estableciendo el procedimiento concreto. Existen modificaciones posteriores a esta Orden (Orden del 16 de noviembre de 2000) así como otras resoluciones e instrumentos legales complementarios a todo el entramado normativo que regula la solicitud de sexenios. Véase: Ruiz-Pérez, López-Cózar y Jiménez-Contreras (2010), Vázquez Espí (2011), Gómez Sancho y Muñiz Pérez (2017), y Cabezas-Clavijo y Torres-Salinas (2014).
También para ser director o directora de la ANECA o miembro de sus Comités Asesores se ha de contar con tres tramos de investigación o sexenios (RD 1112/2015).
La Clasificación Académica de las Universidades del Mundo (en inglés: Academic Ranking of World Universities, ARWU), también conocido como Ranking de Shanghái (Shanghai Ranking), es un listado recopilado por un grupo de especialistas de la Universidad Jiao Tong de Shanghái, China, para valorar la calidad de las 1.000 mejores universidades del mundo. Los criterios utilizados para evaluar la calidad se relacionan con las publicaciones de su personal investigador en revistas indexadas de prestigio y el número de citas obtenido por los investigadores.
El SIIU es fruto de la adaptación de las estadísticas universitarias del Ministerio de Educación sobre la «vida universitaria» al Espacio Europeo de Educación Superior. Véase: <https://www.universidades.gob.es/portal/site/universidades/menuitem.78fe777017742d34e0acc310026041a0/?vgnextoid=514e122d36680710VgnVCM1000001d04140aRCRD>.
Guichot Reina (2019) analiza desde un punto de vista jurídico-administrativo la publicidad de la actividad docente e investigadora universitaria en el estado estableciendo una relación entre transparencia y protección de datos. Para el autor: «La evaluación se acoge en su doble faceta de derecho y de deber del profesorado. Por tanto, desde la normativa sobre protección de datos, resulta evidente que siempre que los datos se destinen a la finalidad de evaluación de cada uno de los órganos citados y sean adecuados y no excesivos, cabe el tratamiento sin consentimiento, que es necesario para el desempeño de relación laboral y administrativa que une a su personal con la Universidad» (2019: 4). Y se pregunta si es posible la publicidad de las evaluaciones realizadas tanto por las agencias externas como por las propias Universidades, dado que no se regulaba en la versión inicial de la LOU. En coherencia con esta finalidad esencial del sistema universitario de evaluación de la docencia y la investigación e información a la comunidad universitaria de los resultados de la evaluación, la Ley Orgánica núm. 4/2007 que modificó la LOU estableció lo siguiente en su punto 4: «Igualmente, no será preciso el consentimiento del personal de las universidades para la publicación de los resultados de los procesos de evaluación de su actividad docente, investigadora y de gestión realizados por la universidad o por las agencias o instituciones públicas de evaluación» (2019: 4-5).
En el caso de las universidades que cuentan con un grado en Antropología Social y, muy posiblemente, con un departamento de Antropología Social (con área sola o compartida), existe una cierta facilidad de identificación del profesorado del área. Pero en aquellas que cuentan con pocos profesores y profesoras adscritos al área, su identificación resulta difícil.
Según cifras del MECD incluye a 353 personas en 2020, último año de la serie sobre la que hemos realizado nuestras pesquisas. De ellas, aproximadamente un tercio, no posee los requisitos para solicitar sexenios, lo que les excluye de este estudio (ver gráfico 1).
En este punto conviene recordar que hemos contabilizado los «sexenios posibles» desde el año de lectura de la tesis doctoral (ver apartado 5). Si bien este dato no refleja con exactitud el comienzo de la actividad investigadora para todas las personas por igual, nos ha parecido razonable por cuanto se trata de un requisito para la estabilización en la carrera académica y para solicitar los sexenios, facilitándonos la tarea de establecer un criterio estándar y con posibilidad de comparación.
Como se indica al comienzo de este ANEXO, estos criterios son definidos por la CNEAI como orientaciones y fueron facilitados en la convocatoria de 2019. Se pueden consultar en: <http://www.aneca.es/Programas-de-evaluacion/Evaluacion-de-profesorado/CNEAI/Convocatoria-de-tramos-de-investigacion-de-la-CNEAI-2019>.
Bibliografía citadaAleixandre-BenaventRafaelGonzález De DiosJ.Castelló CogollosLourdesNavarro MolinaCarolinaAlonso-ArroyoAdolfoVidal-InferAntonioLucas-DomínguezRutSixto-CostoyaA.2017Bibliometría e indicadores de actividad científica (IV). Indicadores basados en las citas (2). Factor de impacto e indicadores alternativosActa Pediátrica Española757-8e124e131Alfageme GonzálezMaría BegoñaCaballero RodríguezKatia2010Evaluación y profesorado en la universidad españolaEducatio Siglo XXI281271294Álvarez ÁlvarezLeonardoFernández SarasolaIgnacio2020La evaluación de la ciencia en Estado español. La necesaria compatibilización de los estándares formales y materiales de evaluación científica La evaluación de la ciencia en Estado español. La necesaria compatibilización de los estándares formales y materiales de evaluación científicaRevista IUS212010La evaluación de la investigación en Humanidades y Ciencias socialesXI Taller de reflexión y debate de AQU Catalunya con las universidades catalanasAQU Agencia per a la Qualitat del Sistema Universitari de CatalunyaBermúdez SánchezMaría Paz2019Evaluación de la Calidad de la Investigación y de la Educación Superior XVI FECIESCabezas-ClavijoAlvaroTorres-SalinasDaniel2014Los sexenios de investigaciónBarcelonaUniversitat Oberta de CatalunyaCancelo MárquezMaiteBastida DomínguezMaría2013La evaluación de la investigación en Estado español: los sexenios en las áreas de economía y empresaCIRIEC-Estado español, Revista de Economía Pública, Social y Cooperativa78265292Castro SpilaJavierBarrenecheaJulietaIbarraAndoni2007Indicadores de actividad científica en Ciencias Sociales y Humanidades: Hacia un modelo de evaluación integral basado en patrones disciplinarios de investigaciónIbarraJ. A.CastroJ.BarrenecheaJ.La evaluación de la actividad científica en ciencias sociales y humanidades73103ÁlavaUniversidad del País VascoChamorro GonzálezJesús María2018La valoración de sexenios de investigación por la comisión nacional de evaluación de la actividad investigadoraActualidad Administrativa1213CICE2020Declaración de San Francisco de Evaluación de la Investigación DORA. Poniendo ciencia en la evaluación de la investigaciónCIC. Cuadernos de Información y Comunicación25279283De RijckeSarahWoutersPaul F.RushforthAlex D.FranssenThomas P.HammarfeltBjorn2016Evaluation Practices and Effects of Indicator Use-A Literature ReviewResearch Evaluation252161169Delgado López-CózarEmilio2014Sexenios 2014: algo más que retoques estéticosEC3 Reports11Delgado López-CózarEmilio2017Sexenios 2017, sin cambios en lo importante: número y tipo de aportaciones para obtener el sexenio21https://www.researchgate.net/profile/Emilio_Delgado_Lopez-Cozar/publication/321747478_Sexenios_2017_sin_cambios_en_lo_importante_numero_y_tipo_de_aportaciones_para_obtener_el_sexenio/links/5a2f8adeaca2726d0bd6e9be/Sexenios-2017-sin-cambios-en-lo-importantDelgado López-CózarEmilio2018Sexenios 2018, cambios relevantes: reformando la evaluación de la transferencia de conocimiento y con novedades del Tribunal Supremohttps://www.researchgate.net/publication/329530475Delgado López-CózarEmilio2020El Ranking de revistas científicas españolas con Sello de calidad Fecyt: un constructo bibliométrico artificioso y obsoletoAnuario ThinkEPI14e14e0115Delgado López-CózarEmilio2021Sexenios 2020: Una revisión de estilo y un insólito a la par que loable esfuerzo de transparencia en el reino de los índices de impactohttps://www.researchgate.net/publication/348884798Delgado López-CózarEmilioFeenstraRamón A.Pallarés-DomínguezDaniel2020Investigación en Ética y Filosofía en Estado español. Hábitos, prácticas y percepciones sobre comunicación, evaluación y ética de la publicación científicahttp://repositori.uji.es/xmlui/handle/10234/189924Delgado López-CózarEmilioMartín-MartínAlberto2019El Factor de Impacto de las revistas científicas sigue siendo ese número que devora la ciencia española: ¿hasta cuándo?Anuario ThinkEPI13e13e09116Delgado López-CózarEmilioRàfolsIsmaelAbadalErnest2021Carta: Por un cambio radical en la evaluación de la investigación en Estado españolEl Profesional de la Información30316DelgadoFrancisco J.Fernández-LleraRoberto2012Sobre la evaluación del profesorado universitario (especial referencia a ciencias económicas y jurídicas)Revista Española de Documentación Científica352361375Dialnet2020Dialnet en cifrasDORA2012Declaración de San Francisco sobre la evaluación de la investigaciónFernández SarasolaIgnacio2015Algunas reflexiones en torno a la evaluación de profesorado universitario de ciencias jurídicasRevista General de Derecho Constitucional216European University Association20072022Acuerdo Final para la Reforma de la Evaluación de la Investigación (Agreement on Reforming Research Assesment)https://www.eua.eu/downloads/news/2022_07_19_rra_agreement_final.pdfFernández-CanoAntonio2021Letter to the Editor: Publish, Publish … Cursed!Scientometrics126436733682GalánArturo2017Sobre sexenios y acreditaciones: un nuevo retrocesoBlog Aula Magna 2.0. Revistas Científicas de Educación en Red14http://cuedespyd.hypotheses.org/2577GalánArturoZychIzabel2011Análisis de los criterios de la comisión nacional evaluadora de la actividad investigadora (CNEAI) para la concesión de los tramos de investigación en educaciónBordon632117139Giménez ToledoElea2018La evaluación de las Humanidades y de las Ciencias Sociales en revisiónRevista Española de Documentación Científica413115Gobierno de España1983Ley Orgánica 11/1983, Ley de Reforma UniversitariaBoletín Oficial del Estado2092403424042https://www.boe.es/eli/es/lo/1983/08/25/11Gobierno de España1987Real Decreto 1086/1989, de 28 de agosto. sobre retribuciones del profesorado universitarioBoletín Oficial del Estado2163654436551Gobierno de España1994Orden de 2 de diciembre de 1994 por la que se establece el procedimiento para la evaluación de la actividad investigadora en desarrollo del Real Decreto 1086/1989, de 28 de agosto, sobre retribuciones del profesorado universitarioBoletín Oficial del Estado2892740027438Gobierno de España1996Resolución de 6 de noviembre de 1996, de la Dirección General de Enseñanza Superior-Presidencia de la Comisión Nacional Evaluadora de la Actividad Investigadora, por la que se establecen los criterios específicos en cada uno de los campos de evaluaciónBoletín Oficial del Estado2803502735032Gobierno de España2005Resolución de 25 de octubre de 2005, de la Presidencia de la Comisión Nacional Evaluadora de la Actividad Investigadora, por la que se establecen los criterios específicos en cada uno de los campos de evaluaciónBoletín Oficial del Estado2663647036476Gobierno de España2006Orden de 16 de noviembre de 2000 por la que se actualiza la de 2 de diciembre de 1994, por la que se establece el procedimiento para la evaluación de la actividad investigadora en desarrollo del Real Decreto 1086/1989, de 28 de agosto, sobre retribuciónBoletín Oficial del Estad27948124816Gobierno de España2010Resolución de 23 de noviembre de 2010, de la Presidencia de la Comisión Nacional Evaluadora de la Actividad Investigadora, por la que se establece un nuevo campo relativo a la transferencia de conocimiento e innovación y se actualizan los criterios específicos en cada uno de los campos de evaluaciónBoletín Oficial del Estado297101663101666Gobierno de España2014Resolución de 18 de noviembre de 2009, de la Secretaría General de Universidades, por la que se fija el procedimiento y plazo de presentación de solicitudes de evaluación de la actividad investigadora a la Comisión Nacional Evaluadora de la Actividad InvestigadoraBoletín Oficial del Estado2891898719106Gobierno de España2019Resolución de 12 de noviembre de 2019, de la Comisión Nacional Evaluadora de la Actividad Investigadora, por la que se publican los criterios específicos aprobados para cada uno de los campos de evaluaciónBoletín Oficial del Estado284130004130024Gobierno de España2020Resolución de 17 de abril de 2020, de la Agencia Nacional de Evaluación de la Calidad y Acreditación, por la que se nombran nuevos expertos para asesorar al Comité Asesor del campo de Transferencia del Conocimiento e Innovación de la Comisión Nacional EvaBoletín Oficial del Estado1143002630027Gómez SanchoJ. M.Muñiz PérezM. A.2017La evaluación de la investigación del profesorado en economíaXXIV Encuentro de Economía Pública118Guichot ReinaEmilio2019La publicidad de la actividad docente e investigadora universitariaActualidad Administrativa113HicksDianaWoutersPaulWaltmanLudode RijckeSarahRafolsIsmael2015The Leiden Manifesto for research metricsNature5207548429431http://www.leidenmanifesto.org/uploads/4/1/6/0/41603901/manifiesto_cast.pdfIbarra UnzuetaJoseba AndoniCastroJavierBarrenecheaJulieta2007aLa evaluación de la actividad científica en ciencias sociales y humanidadesUniversidad del País VascoIbarra UnzuetaJoseba AndoniCastroJavierBarrenecheaJulieta2007bPresentación. El desafío de evaluar la investigación en las Ciencias Sociales y las HumanidadesAndoni IbarraJosebaCastroJavierBarrenecheaJulietaLa evaluación de la actividad científica en ciencias sociales y humanidades914Universidad del País VascoJiménez-ContrerasEvaristode Moya AnegónFélixDelgado López-CózarEmilio2003The evolution of research activity in Spain: The impact of the National Commission for the Evaluation of Research Activity (CNEAI)Research policy321123142LiuXiaozhongZhangJinsongGuoChun072013Full-Text Citation Analysis: A New Method to EnhanceJournal of the American Society for Information Science and Technology6418521863López LópezWilson2018Sobre la evaluación de la investigación y los investigadores: Criticas a las métricas y recomendacionesUniversitas Psychologica17414López PiñeiroCarlaHicksDiana2015Reception of Spanish Sociology by Domestic and Foreign Audiences Differs and has Consequences for EvaluationResearch Evaluation2417889Macías AlegreAdrian2015Reseña de Los Sexenios de InvestigaciónRevista Española de Documentación Científica38412Martos MartínezGonzalo2009La doctrina de los Tribunales sobre el procedimiento de evaluación de la actividad investigadoraActualidad Jurídica Aranzadi766111Merchán HernándezCarmenFernández EsquinasManuelPérez YruelaManuel2006El sistema de incentivos y recompensas en la ciencia pública españolaDocumentos de trabajoInstituto de Estudios Sociales Avanzados de Andalucía2005Not-so-Deep ImpacteditorialNature4357045100310042022Support Europe’s Bold Vision For Responsible Research AssessmenteditorialNature607https://www.nature.com/articles/d41586-022-02037-8Nieto MarínSantiagoRodríguez CondeMaría José2006Reconocimiento administrativo de la actividad investigadora en la universidad. Reflexión acerca de los denominados sexenios de investigación a partir de unos datos empíricosEnseñanza24315346IrizoOrtegaJavierFrancisco2003Propuesta de mejora del índice agregado de impacto. Aplicación a la valoración de sexenios de investigaciónRevista Española de Documentación Científica264403417Perona MataCarmen2020El sexenio de transferencia en la docencia e investigación, finalizado el proyecto piloto y sus resultadosActualidad Administrativa1216PritchardAlan1969Statiscal Bibliography or Bibliometrics?Journal of Documentation254348349Quintas-FroufeNatalia2016Indicadores de calidad de las publicaciones científicas en el área de Ciencias Sociales en Estado español: un análisis comparativo entre agencias evaluadorasRevista de Investigación Educativa341259272RepisoRafaelAguadedJosé IgnacioCastillo-EsparciaAntonioMonteroJulio2019Sexenio de transferencia: luces y sombras de un proyecto necesario. Análisis de una muestra de denegaciones en Ciencias de la Información y estudio de la edición de revistas y comisiones de agencia como méritoAnuario ThinkEPI14e14a02116Rey RochaJesúsMartín SempereMaría José2007Evaluación de la investigación en Ciencias Sociales y Humanas: algunas consideraciones desde la experiencia del Grupo de Estudios de la Actividad CientíficaIbarraA.CastroJ.BarrenecheaJ.La evaluación de la actividad científica en ciencias sociales y humanidades5371Universidad del País VascoRodríguez-NavarroAlonso2009Sound Research, Unimportant Discoveries: Research, Universities, and Formal Evaluation of Research in SpainJournal of American Society for Information Science and Technology60918451858RossnerMikeVan EppsHeatherHillEmma2008Irreproducible Results: A Response to Thomson ScientificJournal of Cell Biology1802254255RoviraLluis2007¿Hacia una evaluación métrica de la investigación en las Humanidades y en las Ciencias Sociales?IbarraA.CastroJ.BarrenecheaJ.La evaluación de la actividad científica en ciencias sociales y humanidades3352Universidad del País VascoRuiz-PérezRafaelDelgado López-CózarEmilioJiménez-ContrerasEvaristo2010Principles and Criteria Used by the National Evaluation Committee of Research Activity (CNEAI-Spain) for the Assessment of Scientific Publications: 1989-2009Psicothema224898908Ana BelénSalamanca Castro2018El Tribunal Supremo dictamina a favor de la evaluación del contenido de las publicaciones para valorar la actividad investigadoraNure Inv.159620182020Salvador CoderchPabloAzagra MaloAlbertGómez LigüerreCarlos2008Criterios de evaluación de la actividad investigadora en derecho civil, derecho privado y análisis del derechoIndret: Revista para el Análisis del Derecho3571Sánchez-SantamaríaJoséAliagaFrancisco M.2019Sexenios de Investigación en el Subcampo 7.2 en la CNEAI: ¿En qué punto estamos? ¿Se ha avanzado o hay un camino de ida y vuelta a cuestiones por resolver?Blog Aula Magna 2.0. Revistas Científicas de Educación en Red7217Sanz-CasadoEliasLascurainM. LuisaIribarrenIsabel2007Luces y sombras en la evaluación de la investigación en ciencias sociales y humanidadesIbarraA.CastroJ.BarrenecheaJ.La evaluación de la actividad científica en ciencias sociales y humanidades1532Universidad del País VascoSeglenPer O.1997aCitations and Journal Impact Factors: Questionable Indicators of Research QualityAllergy: European Journal of Allergy and Clinical Immunology521110501056SeglenPer O.1997bWhy the Impact Factor of Journals should not be Used for Evaluating ResearchBritish Medical Journal3147079498502SpinakErnesto2001Indicadores cienciométricosAcimed9Suppl4249VanclayJerome K.2012Impact Factor: Outdated Artefact or Stepping-Stone to Journal Certification?Scientometrics922211238Vázquez EspíM. Carmen012011Historia de un sexenio. Miserias de la evaluación científica en Estado EspañolComunicación13WilsdonJamesAllenLizBelfioreEleonoraCampbellPhilipCurryStephenHillStevenJonesRichard2015The Metric Tide. Report of the Independent Review of the Role of Metrics in Research Assessment and ManagementLondresSage Publications10.13140/RG.2.1.4929.1363Documento de autoevaluación para la solicitud de sexenios
En la publicación de la ANECA Orientaciones aplicadas por los comités evaluadores en la convocatoria 2019 de sexenios de investigación se indican las puntuaciones que los diferentes comités aplican a la evaluación de las cinco aportaciones sujetas a evaluación (con dos publicaciones adicionales que se listan como reserva en caso de que alguna de las cinco principales sea descartada). Para facilitar el cálculo de la puntuación según el sistema actual ofrecemos un resumen de las principales aportaciones de este documento.
El comité 7.1 «Ciencias sociales, Políticas, del Comportamiento y de Estudios de Género», especifica para el caso de Sociología, Antropología y Trabajo Social las siguientes indicaciones:
Se valoran preferentemente los artículos publicados en revistas JCR/SJR (al menos dos aportaciones deben pertenecer a revistas presentes en estos índices en cualquier cuartil, aunque también se admiten FECYT/ERIHplus).
Se valoran los libros y capítulos de libro en Scholarly Publishers Indicators (SPI) (1º cuartil de las editoriales españolas, 1º y 2º cuartil para las no españolas).
No se valoran manuales, actas, enciclopedias, artículos de divulgación, prólogos y traducciones.
Para obtener el sexenio es necesario obtener un mínimo de 30 puntos sobre 50 (10 puntos como máximo para cada una de las cinco aportaciones), o bien 6 puntos sobre 10 (cociente que se obtiene al dividir la puntuación obtenida por 5).
Las valoraciones de cada aportación atendiendo a donde se ha publicado se detallan en la siguiente lista:
JCR Q1 (10 puntos)
JCR Q2/SJR Q1 (9 puntos)
JCR Q3/SJR Q2 (8 puntos)
JCR Q4/SJR Q3 (7 puntos)
SJR Q4 (6 puntos)
Latindex (3-5 puntos)
FECYT (5-6 puntos)
ERIH plus (5 puntos)
SPI Q1y Q2 para libros completos (3-7 puntos)
Libros completos no SPI (1 puntos)
Capítulos de libros SPI Q1 y Q2 (2-5 puntos)
Es importante observar que los libros no publicados en editoriales SPI solamente valen un punto según este baremo, por lo que en la práctica es imposible alcanzar los 30 puntos si se incluyen entre las aportaciones a evaluar por la comisión, salvo que el resto de las aportaciones sumen esos 30 puntos.
En las evidencias de calidad es importante justificar bien las aportaciones dado que el rango de puntuación es muy amplio (3-7 puntos para libros y 2-5 puntos para capítulos de libro). Se recomienda hacer este ejercicio de autoevaluación para realizar una selección de las aportaciones ajustada a los criterios de evaluación que se aplican en la práctica a la evaluación de los sexenios. Esta autoevaluación no implica en absoluto asumir los criterios de evaluación impuestos a nuestra disciplina con unas métricas importadas de otros ámbitos.
Es importante observar que los libros no publicados en editoriales SPI solamente valen un punto según estos baremos, por lo que en la práctica es imposible alcanzar los 30 puntos si se incluyen entre las aportaciones a evaluar por la comisión.
En las evidencias de calidad es importante justificar bien las aportaciones dado que el rango de puntuación es muy amplio (3-7 puntos para libros y 2-5 puntos para capítulos de libro).
Se recomienda hacer este ejercicio de autoevaluación para realizar una selección de las aportaciones ajustada a los criterios de evaluación que se aplican en la práctica a la evaluación de los sexenios. Esta autoevaluación no implica en absoluto asumir los criterios de evaluación impuestos a nuestra disciplina con unas métricas importadas de otros ámbitos.
Aportación
1
2
3
4
5
Total
Artículo de revista en JCR Q1 (10 puntos)
Artículo de revista en JCR Q2/SJR Q1 (9 puntos)
Artículo de revista en JCR Q3/SJR Q2 (8 puntos)
J Artículo de revista en CR Q4/SJR Q3 (7 puntos)
Artículo de revista en SJR Q4 (6 puntos)
Artículo de revista en Latindex (3-5 puntos)
Artículo de revista en FECYT (5-6 puntos)
Artículo de revista en ERIHplus (5 puntos)
Libros completos con editoriales en SPI Q1y Q2 (3-7 puntos)
Libros completos sin editoriales SPI (1 puntos)
Capítulos de libros con editoriales en SPI Q1 y Q2 (2-5 puntos)