Remerciez-le!

Remerciez @Admin pour avoir partagé cet document gratuitement, de la manière la plus simple, en partageant sur les réseaux sociaux.

DU BON USAGE DE LA BIBLIOMETRIE POUR L'ÉVALUATION INDIVIDUELLE DES CHERCHEURS R

DU BON USAGE DE LA BIBLIOMETRIE POUR L'ÉVALUATION INDIVIDUELLE DES CHERCHEURS Rapport remis le 17 janvier 2011 à Madame la Ministre de l'Enseignement Supérieur et de la Recherche Rapport de l’Académie des sciences - 17 janvier 2011 SOMMAIRE Résumé …………………..….......................………………………….……...………… p. 01 Recommandations ……………….…..….....………………………….……...………… p. 05 Introduction du rapport général …..................………………..………………….…….. p. 08 I. Définition et objectifs de la bibliométrie ……….....……………….……...………… p. 09 II. Place respective de la bibliométrie et de l'évaluation qualitative par les pairs ……... p. 10 II.1 Les faiblesses de l'évaluation par les pairs ……......................................….…p. 10 II.2 La bibliométrie, comme outil pour l'évaluation ..........................................…. p. 11 II.3 Les écueils de la bibliométrie ……..……...…..................................……....…p. 12 III. Diversité des habitudes et pratiques des différentes disciplines ….…………........…p. 13 IV. Les auteurs et l'importance de leurs contributions respectives ……….……………. p. 15 V. Le choix des indicateurs et bases de données …………....………………...……….. p. 18 V.1 Les bases de données ……......................................................................….… p. 18 V.2 Le facteur d'impact .....................................................................................…. p. 19 V.3 Le nombre total de citations ……..…….....…..................................……....…p. 20 V.4 Les nouveaux indicateurs, en particulier H, G, et autres ……..……...…....… p. 21 V.5 Conclusion sur le choix des indicateurs ……..…….....…................……....…p. 22 VI. Comment utiliser la bibliométrie pour l'évaluation individuelle des chercheurs …...p. 22 VI.1 Quels sont les indicateurs à utiliser ? ............................................................... p. 22 VI.2 Comment calculer et valider les indices ? ....................................................... p. 22 VI.3 Quelles sont les erreurs à ne pas commettre dans l'usage de la bibliométrie pour l'évaluation individuelle des chercheurs? ……………........………...... p. 23 VI.4 Qui peut utiliser les indices? …..…..........……………………………..…….p. 24 VI.5 Comment utiliser ces indices? …….…………………………..………...….. p. 25 VI.6 Les indices bibliométriques doivent-ils apparaître systématiquement dans les dossiers de candidatures ? ................................................................. p. 25 VI.7 Aller au-delà des nombres : les notices bibliographiques …..….................... p. 26 VI.8 L'importance de replacer les citations d'un article dans la distribution des citations des articles de la revue considérée .............................................. p. 26 VII. Importance d'une réflexion nationale sur l'amélioration des indicateurs ………......p. 26 VII.1 Tests rétrospectifs …............................…………………………..................p. 27 VII.2 Mise au point de critères pour détecter les valeurs d'originalité, d'innovation, de rayonnement, et de création d'école de pensée ……..........p. 27 VII.3 Études pour affiner les indicateurs existants ……................…………......... p. 27 VII.4 Fabrication de nouveaux indicateurs ......………………….........…..…........p. 27 VII.5 Établissement des règles de bon usage de la bibliométrie pour l'évaluation des chercheurs ……..................................................……........ p. 28 VIII. Conclusion ……..………………………………...……………………………......p. 28 Rapport de l’Académie des sciences - 17 janvier 2011 Annexe 1 : Composition du groupe de travail et personnalités auditionnées …………...p. 30 Annexe 2 : Résumé et recommandations du Rapport 2009 de l'Académie sur l'évaluation individuelle des chercheurs et des enseignants-chercheurs en sciences exactes et expérimentales .................................................…….. p. 32 Annexe 3 : Pratiques bibliométriques selon les différentes disciplines .....………......… p. 38 Annexe 4 : L'éthique de la publication des travaux scientifiques - Les critères de Vancouver ..................................................................................................... p. 50 Annexe 5 : Glossaire ........................................................................................................ p. 67 Rapport de l’Académie des sciences - 17 janvier 2011 1 Du bon usage de la bibliométrie pour l’évaluation individuelle des chercheurs Résumé L’évaluation individuelle des chercheurs reste très subjective et soumise à de nombreux biais potentiels. L’Académie a souhaité se pencher sur les pratiques bibliométriques quantitatives censées être plus objectives, et émettre un certain nombre de recommandations sur l’usage de la bibliométrie qui pourrait, moyennant le respect de règles rigoureuses, aider à l’évaluation qualitative. Ces règles devraient être reconnues à un niveau au moins européen. Le problème est d’autant moins simple que l’évaluation bibliométrique fait débat, avec des avis souvent tranchés pour ou contre son utilisation, dépendant en grande partie, mais pas seulement, des disciplines. I - Importance de l’évaluation par les pairs et ses limites I - 1 Importance de l’évaluation par les pairs L’évaluation par les pairs a été longtemps la seule façon d’évaluer les chercheurs. Elle garde une valeur irremplaçable pour apprécier la contribution scientifique d’un chercheur en termes d’originalité de pensée, de qualité de travail, d’innovation conceptuelle et technologique, de création d’école et de rayonnement d’une façon générale. I - 2 Limites de l’évaluation par les pairs Néanmoins, cette évaluation pose des problèmes pratiques liés à la lourdeur d’un examen approfondi des dossiers, amplifié par le nombre excessif des évaluations demandées de toute part. En outre, on peut reprocher dans de nombreux cas à l’évaluation par les pairs une certaine subjectivité, aggravée par la compétence parfois insuffisante de certains évaluateurs ainsi que par des conflits ou communautés d’intérêt potentiels, effets de groupe ou favoritisme quelconque. L’ensemble de ces questions déontologiques devrait faire l’objet d’une déclaration écrite des évaluateurs, comme cela a été proposé par l’Académie dans son rapport à la Ministre du 8 juillet 2009. Il n’en reste pas moins que la bibliométrie ne peut en aucun cas se substituer à l’évaluation qualitative par les pairs, c’est-à-dire par des experts de la discipline qui pourraient cependant l’utiliser avec toutes les précautions nécessaires comme un outil d’aide à la décision. II - Fondements de la bibliométrie La bibliométrie procède du calcul de divers indicateurs (nombre de citations, facteurs intégrés H, G, ou autres) à partir de bases de données bibliographiques couvrant la quasi totalité de la littérature scientifique et de leurs citations dans la plupart des disciplines. Rapport de l’Académie des sciences - 17 janvier 2011 2 II - 1 Les principaux indicateurs Plusieurs indicateurs bibliométriques sont couramment utilisés. Le nombre de publications a relativement peu de valeur, car il ne tient pas compte de la qualité de ces publications. Le nombre total de citations est plus intéressant mais souffre de certains biais, en particulier l’importance exagérée que peuvent prendre un ou deux articles qui ne sont pas nécessairement les plus importants. Les facteurs intégrés, tels que le facteur H, le plus utilisé aujourd’hui, et le facteur G, peuvent utilement compléter le nombre de citations. Quant au facteur d’impact qui s’adresse aux revues et non pas aux chercheurs, il est néanmoins souvent pris en compte pour évaluer la qualité d’un article. Cette pratique, très utilisée dans certaines disciplines comme la biologie et la médecine, est dangereuse car les revues les plus prestigieuses, à facteur d’impact très élevé, contiennent un pourcentage significatif d’articles de qualité moyenne, même s’il reste vrai que la publication d’un article dans ces grandes revues représente un indice de notoriété, à condition que le chercheur considéré ait joué un rôle prédominant dans le travail en question. Il faut par ailleurs noter, et cela a une réelle importance, qu’il existe des critères quantitatifs d’évaluation qui ne sont pas à proprement parler bibliométriques tels que les conférences invitées, les grands contrats, les distinctions, les brevets, les logiciels, etc. Cette remarque est particulièrement importante pour la recherche appliquée dont l’impact n’est pas toujours bien apprécié par la bibliométrie. II - 2 Les bases de données Les bases de données actuelles sont de bonne qualité et en constante progression pour la plupart des disciplines, sachant néanmoins que toutes les disciplines ne sont pas couvertes (notamment les SHS). Encore faut-il veiller à ce que les personnes calculant les indices bibliométriques aient accès aux meilleures bases et dans leur intégralité. Les bases de données pourraient toutes être utilement complétées par des bases descriptives des articles en référence comme la base Mathreviews des Mathématiques (fichier bibliographique avec commentaires). II - 3 Avantages et dérives potentielles de la bibliométrie La bibliométrie est « apparemment » facile d’usage et fournit des nombres attrayants pour un évaluateur en raison de leur simplicité et de leur nature factuelle. Néanmoins, elle comporte de très nombreux biais et il est important de mentionner que pour être réalisée de façon incontestable, elle nécessite du temps, de la rigueur, et une certaine expérience. Il est indispensable de rappeler qu’aucun indicateur ni aucun ensemble d’indicateurs ne peuvent résumer à eux seuls la qualité de la production scientifique d’un chercheur. Par ailleurs, l’importance prise par la bibliométrie dans certaines disciplines peut même inciter certains chercheurs à adapter l’orientation de leurs recherches aux domaines ou aux technologies privilégiés par les revues à haut facteur d’impact dans lesquelles il souhaitent publier, au détriment de l’originalité et de l’innovation. II - 4 Validation des données Le calcul des indicateurs peut donner lieu à de nombreuses erreurs comme en témoignent leurs variations selon les bases de données. Le rapport présente les principales d’entre elles et la façon de les éviter. Dans l’idéal, ce devrait être le chercheur concerné, supposé être le meilleur expert de son propre cas, qui calcule ses indicateurs (dans les disciplines où les bases sont disponibles) avant de les soumettre à une validation par des personnes en ayant la charge au niveau d’un organisme de recherche ou d’une université. L’idée d’un identifiant par chercheur est une piste qu’ont retenue certaines bases de données. De plus, les chercheurs devraient fournir au jury les fichiers électroniques pdf des principaux articles présentés dans leurs Rapport de l’Académie des sciences - 17 janvier 2011 3 dossiers de façon à ce que l’utilisation éventuelle de la bibliométrie soit complétée par la lecture des travaux eux-mêmes. II - 5 Distribution et valeurs de références Les indicateurs de la bibliométrie n’ont pas de valeur intrinsèque. Ils doivent être uploads/Science et Technologie/ 2011-academie-des-sciences-du-bon-usage-de-la-bibliometrie-pour-l-x27-evaluation-individuelle-des-chercheurs.pdf