Remerciez-le!

Remerciez @Admin pour avoir partagé cet document gratuitement, de la manière la plus simple, en partageant sur les réseaux sociaux.

1. Cf. H. Laugier, Études docimologiques sur le perfectionnement des examens et

1. Cf. H. Laugier, Études docimologiques sur le perfectionnement des examens et concours, Paris, Conservatoire National des arts et métiers, 1934, 88p. H. Piéron, Examens et docimologie, Paris, P.U.F., 1963. 2. Voir notamment D. Leclercq, Qualité des questions et signification des scores, avec application aux QCM, Bruxelles, éd. Labor, 1987, 174p. 3. Sont ici présentés les travaux d'une équipe de recherche, à l'Université de Montréal, composée notamment de Serge Normand (Service Pédagogique), de Norman Molhant (ÉcoSystématica, société pourvoyeuse de logiciels sur mesure), de Michaël Strobel (professeur à la Faculté des sciences de l'éducation). Les premières pages de ce chapitre sont un résumé de l'enseignement de M. Strobel. Le modèle logistique qui suit doit beaucoup aux travaux de N. Molhant (nwm@cafe.edu). CHAPITRE I ÉLÉMENTS DE DOCIMOLOGIE La docimologie ou science des examens est relativement récente. Elle doit le jour aux travaux d’H. Laugier et H. Piéron . Elle s’est développée en France, en Belgique, aux États- 1 Unis, au Québec, dans les facultés des sciences de l’éducation et les ministères. Depuis peu, sous le nom d’édumétrie, elle tente de prendre de l’extension dans une direction plus formative, par l’analyse d’unités d’apprentissage comme la question à choix multiple (Q.C.M.). Elle est en passe de devenir la science de la mesure en éducation . 2 Dans les écoles et les lycées, la tendance est encore de penser qu’elle ne touche que les mathématiciens ou les éducateurs férus de statistiques. Et pourtant tous les enseignants n'ont-ils pas affaire à des listes de résultats d'examens ou de tests ? Ils deviendraient plus aisément docimologues si la docimologie, abandonnant ses habitudes langagières mathématiques, abstruses aux non initiés, se laissait traduire en un langage plus accessible . 3 Présentons les choses concrètement. On réunit, disons, une soixantaine de Q.C.M. dans un questionnaire qu'on administre à un groupe d'une centaine d'usagers représentatifs de la population visée. Les réponses saisies peuvent entrer dans un tableau à deux dimensions à raison d'une ligne par individu et d'une colonne verticale par question. 6 1. On appelle distracteur une réponse proposée en vue d'écarter (de distraire) le répondant de la réponse la meilleure, car celle-ci ne doit être retenue que par ceux qui l'identifient distinctement, sans deviner (guessing). Notons d'emblée, toutefois, que nous ne fixons pas d'avance la solution (réponse à considérer comme bonne). Nous considérons plutôt le questionnaire pédagogique comme une sorte d’enquête. Dans ce cas, toute réponse vraisemblable devient une solution potentielle. Autrement dit, tous les choix, au moment du choix, sont à égalité et pourraient s'appeler distracteurs (comme c’est le cas pour distractor, en anglais). La détermination de la norme validée ne doit plus se faire a priori (voir plus loin). Ce tableau contient non seulement les numéros de réponse des individus à chaque question, mais des abstentions (-) quand on reconnaît ne pas savoir, et des rejets (+), quand on estime la question mal posée. Ranger les données dans un cadre, les voir en deux dimensions, c’est déjà se faire une idée plus précise du genre de problème que pose l'analyse des phénomènes de langue envisagés sous l'angle de la statistique. Voyons ce que représentent les lignes, horizontales, et les colonnes, verticales. À gauche, verticalement, les données sont précédées des titres de lignes (les noms des répondants). Au sommet, les données sont normalement surmontées des titres de colonnes (ici, la ligne de titre des colonnes n’apparaît pas, faute d'espace pour les numéros de question dans le questionnaire, qui vont de 01 à 60). Chaque « donnée » est donc identifiée, par sa position : réponse de l'individu N à la question x. La donnée consiste en un seul caractère : 1, 2, 3, 4, -, +, puisqu'il s'agit des quatre choix de réponses d'une question fermée, à quatre distracteurs , plus l'abstention ou le rejet. 1 Chaque nom précède ainsi une ligne de numéros qui sont les réponses choisies par l'étudiant, pour une série de questions, dans leur ordre. L'intérêt de ce tableau est qu'il montre toutes les données telles quelles, simplement, sans leur faire subir encore aucun traitement. L'information recueillie par un questionnaire expérimental est donc constituée au départ d'une masse de détails : un nombre x de choix pour un nombre y de répondants. La RISBERG | 314+344++33233324132+12++3++323+3324+1113242++12441442211113 VERHAEG | 31314244+342432132244212424412244322423143343221234242342121 LECUYER | 4++1223+234+3+3222132321122+112421+4113131224412414144244244 BOUMAZA | 113334441323432212132323244424344241223332433332323242344422 THORINS | 3+213433313242224223212133311344222131323124122121434234142- POMEL V | 12413-41132-24-24233432-42333432414122-33211423-341223-2-424 ESPIAGO | 1121444+4313+3324224+222321131232223441133244212323142113444 BELGHER | 444142411313-321+2144112131113133144221342243311414112324321 BOUCHET | 4234234++31242+142132321124333414424211142444442121114244124 TENFICH | 343433422332243434134433214321234231323132443324411333212324 HARCETE | 1141314211--33324233-242224434+334412--232-4--2-4213-23414-- MAHUREV | 11423122+14+43324213214222143433144144414-44-4221123-231+-4- NEXERER | 34+2244+13344244323344124422433-4441232144444332441322342424 RIPOLLE | 1241324+1344422212122323231432431311221132424322121142133412 ALLAMER | 3133324++4334234421343223332112-112-413332444222424142243222 LAUGAAM | 34413243134++21211332133132233231211342441244322244144122243 7 1. Il s'agit des valeurs provisoires attribuées par les correcteurs. On verra plus loin comment ces valeurs se modifient pour rejoindre progressivement une échelle qui reflète le jugement du groupe des répondants. 2. La procédure qui suit est empruntée à Michaël Strobel. Sur la permutation des lignes et des colonnes d’une matrice de réponses et les «méthodes visuelles», cf. Benzécri, t.1, p.82-3. multiplicité et la probable complexité sous-jacente de cette information exigent un traitement, mathématique et interprétatif. Pour réduire la masse des données, il s'agit d'extraire des indices généraux, par exemple la note obtenue par chaque étudiant, puis la moyenne de ces notes, mais aussi le nombre d'étudiants à avoir choisi telle réponse plutôt qu'une autre, la moyenne des « bonnes » réponses; etc. Les choix de réponse. ANADIST commence comme tout logiciel de statistiques par remplacer les réponses par leur valeur présumée (1 pour ce que les rédacteurs considéraient comme la meilleure solution, 0 pour la pire erreur, > et < pour les deux réponses de valeur intermédiaire ). Il 1 additionne ensuite les valeurs par ligne (résultat de l'étudiant) et par colonne (difficulté de la question). Maintenant, un brin de ménage pour y voir plus clair : on trie les lignes suivant les 2 résultats (les plus habiles en haut) puis on trie les colonnes (les questions les plus faciles au début). Ainsi les bonnes réponses se trouveront-elles concentrées dans le coin supérieur gauche. Réciproquement, le coin inférieur droit rassemblerait une majorité d'erreurs. Si la connaissance, dans un groupe, était parfaitement homogène, c'est-à-dire strictement corrélative à l'habileté des répondants comme à la difficulté des questions, non seulement toutes les moins bonnes solutions et tous les moins bons étudiants se trouveraient dans la partie inférieure droite, mais les frontières entre les meilleures solutions, les presque meilleures, les rejets, les abstentions, les presque pires et les moins bonnes seraient des lignes de séparation nettes et sans ambiguïté... comme c’est le cas dans le tableau, fictif, ci-dessous. 8 1. Terme technique, le plus souvent non traduit. D. Leclercq distingue habilement réponse « au hasard » et réponse devinée. Voir Qualité des questions et signification des scores , p.93 et 94. On peut constater que LAUGAAM est passé au premier rang vu la majorité de bonnes réponses qu’il avait, tandis que RISBERG a un maximum d’erreurs graves. Si nous avions indiqué les numéros des Q.C.M. au sommet de chaque colonne, on verrait qu’elles ne sont plus dans l’ordre 123456789... mais dans l’ordre de leur difficulté croissante. La première colonne a le plus grand nombre de 1 et le moins grand nombre de 0, et ainsi de suite. Naturellement, il existe quantité de causes de distorsions : le « guessing » par exemple, 1 c'est-à-dire le fait que ceux qui ne savent pas quoi répondre osent prendre le risque de se tromper, et courir leur chance plutôt que de s’abstenir; mais aussi le peu de validité de certains distracteurs, les choix offerts ne convenant pas toujours à des sous-groupes délimités par leur compétence spécifique; et encore l'hétérogénéité possible du groupe, dans lequel tous les niveaux de compétence ne sont pas nécessairement représentés. Les frontières sont d'habitude floues, apparemment tout à fait floues, à un point tel qu'il est souvent presque impossible de les reconnaître visuellement. Un statisticien (Cronbach) a pu calculer le degré de cohérence des matrices de réponses aux tests : la consistance des frontières, en quelque sorte. L'indice alpha de Cronbach est égal à 1 pour des diagonales parfaites. En revanche, si le nombre de bonnes réponses, en dépit des remaniements dans les rangs des lignes et des colonnes, restait aléatoirement réparti, cet indice vaudrait zéro. En pratique, en dessous de 0.50, ou bien on s'est trompé de grille de correction, ou bien le groupe est composé de sous-groupes hétéroclites, ou bien le questionnaire mesure des choses trop différentes les unes des autres. Le « Cronbach » )) comme on dit entre docimologues )) est un indice global remarquable. On peut le considérer comme une mesure de la convenance réciproque entre LAUGAAM | 11111111111111111111111111111111111111111111111111>>>>>>>>>> VERHAEG | 1111111111111111111111111111111111111111>>>>>>>>>>>>>>>>>>>> POMEL V | 111111111111111111111111111111>>>>>>>>>>>>>>>>>>>>>>>>>>>>>> RIPOLLE | 11111111111111111111>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>++++++++++ ALLAMER | 1111111111>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>++++++++++++++++++++ BELGHER | >>>>>>>>>>>>>>>>>>>>>>>>>>>>>>++++++++++++++++++++++++++++++ HARCETE | >>>>>>>>>>>>>>>>>>>>++++++++++++++++++++++++++++++---------- BOUCHET | >>>>>>>>>>++++++++++++++++++++++++++++++-------------------- THORINS | ++++++++++++++++++++++++++++++------------------------------ NEXERER | ++++++++++++++++++++------------------------------<<<<<<<<<< MAHUREV | ++++++++++------------------------------<<<<<<<<<<<<<<<<<<<< ESPIAGO | ------------------------------<<<<<<<<<<<<<<<<<<<<<<<<<<<<<< TENFICH | --------------------<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<0000000000 BOUMAZA | ----------<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<00000000000000000000 LECUYER | <<<<<<<<<<<<<<<<<<<<<<<<<<<<<<000000000000000000000000000000 BROUSSE | <<<<<<<<<<<<<<<<<<<<0000000000000000000000000000000000000000 RISBERG | <<<<<<<<<<00000000000000000000000000000000000000000000000000 9 un groupe et un questionnaire. Supposons, par exemple, qu'un changement dans la clé de correction ait pour effet de faire monter le Cronbach : cela voudrait dire qu'aux uploads/Geographie/ docimologie-pdf.pdf