Remerciez-le!

Remerciez @Admin pour avoir partagé cet document gratuitement, de la manière la plus simple, en partageant sur les réseaux sociaux.

Partie VI - Chapitre 4 273 Extrait de DEMEUSE, M. (éd.) (2004). Introduction au

Partie VI - Chapitre 4 273 Extrait de DEMEUSE, M. (éd.) (2004). Introduction aux théories et aux méthodes de la mesure en sciences psychologiques et en sciences de l’éducation. Liège : Les Editions de l’Université de Liège. DOCIMOLOGIE CRITIQUE : DES DIFFICULTÉS DE NOTER DES COPIES ET D’ATTRIBUER DES NOTES AUX ÉLÈVES1 Dieudonné Leclercq Julien Nicaise Marc Demeuse 1. L'histoire de la problématique L'école est un lieu dans lequel l'évaluation est omniprésente. Il semble même parfois à certains que l'élève fréquente davantage l'école pour récolter des notes que pour apprendre véritablement quelque chose. Avec la massification et la démocratisation de l'accès à tous les niveaux scolaires, il faut pouvoir comptabiliser échecs et succès à travers un système de notation de façon à rendre un "verdict" en fin d'année. La notation est ainsi une réponse à la division du travail et à l'unicité de l'élève et du temps: il doit être possible de prendre, à un moment donné, une décision relative à chaque élève, ce qui implique la prise en compte d'informations provenant de sources multiples. Si donc l'école a vu se systématiser et se professionnaliser "l'art de bien enseigner" à travers la didactique, elle a connu le même développement de "l'art de bien évaluer" à travers la docimologie. Dans la suite du texte, nous envisagerons principalement les travers de l'évaluation classique des élèves, nous en pointerons les limites, en suivant les chemins de la docimologie critique. Nous ne développerons donc pas les solutions et les remèdes. D'autres cours existent dans le cursus des étudiants - principalement de ceux qui suivront la formation de la licence en sciences de l'éducation - qui leur permettent d'envisager les améliorations possibles. Ce chapitre ne constitue donc qu'une introduction critique à la docimologie pratique, la problématique étant d'être conscient et attentif aux difficultés rencontrées lors de l'évaluation. Les développements de la docimologie et de la mise en cause des notes scolaires remontent au début du vingtième siècle. Dès les années 1910, les Etats-Unis firent confiance aux QCM dans les tests de sélection, par souci d’objectivité et en réponse à la difficulté de noter. A partir de 1922, en France, Henri Piéron s’attaque aux problèmes posés par la subjectivité de la note. Dès 1929, il attire l’attention en ces termes : « C’est un principe général que, pour être reçu à un examen, il faut avoir la moyenne, …dès lors, …pour un grand nombre de candidats, 1 Ce chapitre résulte d'une synthèse de différents documents: Leclercq, D. (1999). Chapitre 3 - Les production de "synthèse" et la docimologie critique. In Edumétrie et Docimologie. Université de Liège. Nicaise, J. (2001). Pratiques, sens et sens pratique au cœur des évolutions institutionnelles: les instituteurs de sixième primaire et le jugement professoral. Université de Liège: mémoire de licence (non publié). Nicaise, J. (2002). De la non-objectivité du jugement professoral en matière d’évaluation des performances des élèves. Les Cahiers du Service de Pédagogie expérimentale, 11-12. Il s'inspire aussi très largement de l'ouvrage de G. de Landsheere (1971) qui devient malheureusement très difficile de se procurer. Leclercq, Nicaise et Demeuse Docimologie critique 274 Partie VI - Chapitre 4 ce sera …le hasard qui décidera de leur admission ou de leur recalage. En effet, on sait que… c’est dans la région moyenne qu’ils se massent… ». (Piéron, 1963, p.9) Aux USA, en Angleterre, et même en Belgique, diverses expériences mettent en évidence le manque de fiabilité des notes scolaires. Piéron (1963, p. 13) cite notamment les travaux menés à ce sujet, en 1931, par Andréa Jadoulle, la célèbre psychopédagogue du Laboratoire de pédagogie d’Angleur2. En France, Laugier et Weinberg étudient ce même phénomène dès 1927. C’est en 1931 qu’une impulsion déterminante sera donnée par la subsidiation, par la Carnegie Corporation de New York, d’une recherche pilotée par l’International Institute of Education du Teacher’s College de l’université Columbia, et fonctionnant via des commissions nationales : américaine, anglaise, écossaise, finlandaise, française, suisse et allemande (cette dernière étant arrêtée par la nazification de 1933). La commission française utilisa des copies notées lors du fameux baccalauréat. En 1934 fut publié, par la commission française, le rapport « Etudes docimologiques » (Laugier, Piéron, Piéron, Toulouse et Weinberg, 1934). Le baccalauréat offrait une situation exceptionnelle puisque les mêmes questions sont posées à de très nombreux étudiants, durant de véritables examens, et sont collectées et corrigées par de nombreux correcteurs sélectionnés. A travers cette situation, complètement externe (encart 1), l'équipe française met en évidence de nombreux biais de notation. On se doute que la guerre interrompit ce processus de recherche sur le continent européen. Encart 1 - Epreuves internes et épreuves externes a) Les examens internes En Belgique, quel que soit le niveau d'enseignement considéré, les examens sont généralement administrés par les enseignants qui ont donné les cours. C’est eux qui créent les questions et qui corrigent les copies. Cette façon de faire a des avantages comme celui de « coller » à la matière qui a effectivement été enseignée, ou celui d’une familiarité des élèves au type de questions. Il a le désavantage de laisser libre cours aux différences (de sévérité par exemple) intercorrecteurs ou interétablissements, ce qui pose le problème éthique de l’équité et de l’égalité de traitement, tout spécialement quand l’examen est « sanctionnant » et quand le professeur sait de qui il corrige la copie. b) Les examens externes à correction subjective Dans un souci d’égalité de traitement, la France, depuis Napoléon, pratique le baccalauréat, examen (le même pour tous les étudiants d’une même « Académie ») conçu et corrigé par des enseignants n’ayant pas participé à l’encadrement des candidats évalués dont les copies sont rendues anonymes. On devine les précautions à prendre par les formateurs pour respecter « le programme » et par les concepteurs des questions pour « éviter les fuites ». Ces examens restent toutefois subjectifs quant à la correction. c) Les examens externes à correction objective Poussant encore plus loin le souci d’ « equity » et de « unbiased evaluation », les Américains ont non seulement conçu, à la charnière du secondaire et de l’enseignement supérieur, des examens (par exemple le Scholastic Aptitude Test ou SAT) qui sont les mêmes pour tous, mais dont la correction est objective (ce sont des QCM). D’où l’expression « objective tests », par un élargissement de sens légèrement abusif. Le terme "docimologie" apparaît quant à lui en 1929 sous la plume d'Henry Piéron et est popularisé par celui-ci dans son ouvrage intitulé "Examens et docimologie", en 1963. Ce mot puise sa racine dans le grec (examiner, épreuve). A ses débuts, la docimologie est surtout 2 « En Belgique où, sur l'initiative d'un échevin éclairé, René Jadot, avait été fondé à Angleur un laboratoire de psychopédagogie, des expériences avaient été faites par Mlle Jadoulle en 1931, confiant à 4 correcteurs le soin de noter des compositions (problèmes et questions relatives à l'intelligence d'un test) en 2e et en 6e année. Les conclusions étaient très pessimistes, un élève se trouvant classé 6e, 14e ou 23e sur une trentaine. » (Péron, 1963, p. 13). En Belgique, on doit aussi à G. de Landsheere un ouvrage intitulé Evaluation continue et examens: précis de docimologie, publié à Bruxelles, chez Labor, et à Paris, chez Nathan, en 1971. Cet ouvrage a été publié et republié pendant plus de 20 ans. Leclercq, Nicaise et Demeuse Docimologie critique Partie VI - Chapitre 4 275 critique ou négative: elle met en évidence les problèmes, sans les résoudre, du moins de manière pratique, au niveau où le problème se pose, c'est-à-dire au niveau des enseignants chargés de procéder à l'évaluation. Progressivement cependant, les chercheurs s'attachent à proposer des solutions qui permettent de limiter au mieux le caractère subjectif de la notation. Comme nous allons le voir par la suite, ce caractère subjectif n'est pas à imputer uniquement au maître chargé de noter l'élève, il relève de mécanismes souvent complexes et qui mettent en jeu enseignants, élèves et système éducatif. Les méthodes employées pour étudier les biais de notation reposent sur différentes procédures, selon le type de biais à mettre en évidence. On peut ainsi utiliser, de manière expérimentale, les approches suivantes: (a) Une même série de copies est corrigée plusieurs fois par le même correcteur, à des moments différents, sans que celui-ci s’en rendre compte, ce qui permet de mesurer la stabilité intra-correcteurs; (b) Une même série de copies est corrigée par plusieurs correcteurs différents, ce qui permet de mesurer la concordance inter-correcteurs; (c) Une même copie est placée dans un ensemble de copies dans des positions différentes (précédée de copies meilleures ou plus faibles), ce qui permet de mesurer l’effet de contraste, ou de séquence; (d) Une même copie est placée dans un ensemble de copies dont les valeurs sont plus ou moins dispersées largement (tantôt parmi des copies ayant toutes reçu la même note lors d'une évaluation préalable, tantôt parmi des copies très variées en qualité); etc. (e) Une même copie est corrigée par plusieurs groupes de correcteurs auxquels on fournit des informations complémentaires différentes sur l'élèves, ses notes antérieures… 2. Les trois uploads/Litterature/ docimologie.pdf