Remerciez-le!

Remerciez @Admin pour avoir partagé cet document gratuitement, de la manière la plus simple, en partageant sur les réseaux sociaux.

See discussions, stats, and author profiles for this publication at: https://ww

See discussions, stats, and author profiles for this publication at: https://www.researchgate.net/publication/306395890 La plateforme ExAMS, un "assessment management system" pour instrumenter la construction et la gestion qualité des évaluations des apprentissages Chapter · January 2011 CITATIONS 4 READS 852 5 authors, including: Some of the authors of this publication are also working on these related projects: e-JIREF - Evaluer: Journal international de recherche en éducation et formation View project Evaluation des apprentissages et technologies de l'information et de la communication View project Jean-Luc Gilles University of Teacher Education, State of Vaud (UTE Vaud) Lausanne 92 PUBLICATIONS 160 CITATIONS SEE PROFILE Pascal Detroz University of Liège 40 PUBLICATIONS 81 CITATIONS SEE PROFILE All content following this page was uploaded by Jean-Luc Gilles on 06 September 2016. The user has requested enhancement of the downloaded file. - 1 – A paraître en 2011 dans "Evaluation des apprentissages et technologies de l'information et de la communication – Tome 2", Jean-Guy Blais et Jean-Luc Gilles (Ed.), Les presses de l'université de Laval La plateforme ExAMS, un assessment management system pour instrumenter la construction et la gestion de la qualité des évaluations des apprentissages Jean-Luc Gilles Unité recherche et développement, Haute école pédagogique du canton de Vaud, Lausanne, Suisse Pascal Detroz Vincianne Crahay Institut de formation et de recherche en enseignement supérieur, Système méthodologique d'aide à la réalisation de tests, Université de Liège, Belgique Salvatore Tinnirello Assessment Systems and e-Solutions Group, Liège, Belgique Pierre Bonnet Faculté de médecine, Département des sciences biomédicales et précliniques, Université de Liège, Belgique Introduction Les préoccupations relatives à la qualité de l’évaluation des apprentissages que nous vivons actuellement peuvent être resituées dans le contexte d'un mouvement mondial d'introduction des principes de gestion de la qualité qui pénètre les activités liées à l'éducation et à la formation depuis les années 1990 (Ramsden 1991; Nightingale et O'Neil 1994; Kaufman et collab. 1995; Zink et Schmidt 1995; Segers et collab. 2003). Les pratiques évaluatives des établissements universitaires n'échappent - 2 – A paraître en 2011 dans "Evaluation des apprentissages et technologies de l'information et de la communication – Tome 2", Jean-Guy Blais et Jean-Luc Gilles (Ed.), Les presses de l'université de Laval évidemment pas à cette tendance récente; c'est ce que soulignaient Blais et ses collègues en 1997 : Dans le contexte social actuel les établissements d’enseignement supérieur sont de plus en plus souvent amenés à faire la démonstration de la qualité de la formation dispensée. En ce sens, l’évaluation des apprentissages, comme mécanisme de régulation et de contrôle exige une attention particulière. Par ailleurs, la régulation et le contrôle des apprentissages, doivent prendre en considération un souci de plus en plus net d’assurer l’équité et la transparence des pratiques d’évaluation. Par ailleurs, la recherche montre que les enseignants et les apprenants apprécient les instruments d’évaluation des apprentissages lorsqu’ils sont valides, fidèles, sensibles, diagnostiques, équitables, praticables et authentiques (Kirkland 1971; Kulik et Kulik 1987; Leclercq et Gilles 1993; Gilles et Leclercq 1995; Castaigne et collab. 2001; Gilles 2002; De Souza et Fleming 2003; Phelps 2005; Jönsson et collab. 2007a, 2007b; Draaijer et Hartog 2007; Gilles 2010). De toute évidence, la prise en compte de ces qualités docimologiques et de leur praticabilité peut être facilitée par l’utilisation de procédures informatisées. Cependant, la qualité de l’évaluation des apprentissages ne peut être pleinement assurée que si ces procédures informatisées s’insèrent dans un processus structuré en plusieurs phases de mise au point (Gilles 2002; Gilles et collab. 2004; Gilles et collab. 2005; Downing et Haladyna 2006; Crahay et Gilles 2007; Gilles et Detroz 2008; Gilles 2010). Nous décrirons dans la section suivante comment nous envisageons ce processus en fonction de huit étapes - 3 – A paraître en 2011 dans "Evaluation des apprentissages et technologies de l'information et de la communication – Tome 2", Jean-Guy Blais et Jean-Luc Gilles (Ed.), Les presses de l'université de Laval qui s’insèrent dans un cycle « en spirale qualité ». Nous utilisons le terme « spirale » dans la mesure où la dernière étape consiste à faire le point sur les différents aspects du dispositif d’évaluation qui pourraient être améliorés. Une perspective qui, d’épreuve en épreuve, place l’évaluateur dans une posture réflexive qui l’amène à prendre du recul vis-à-vis de l’instrument d’évaluation et de son processus de construction, en vue d’augmenter la qualité des prochains cycles de productions d’épreuves. Dans le cas de la plateforme ExAMS que nous décrirons dans la troisième section du présent chapitre, l’informatisation du cycle de construction des outils d’évaluation des apprentissages a pu être menée à bien grâce au soutien de la Région Wallonne de Belgique qui depuis 2004 a subventionné trois projets de « Recherche et Développement » successifs. Le premier projet intitulé Electronic Construction and Quality Control in Standardized Testing a été confié à l’unité de soutien logistique et de recherche du Système Méthodologique d’Aide à la Réalisation de Tests (SMART)1 de l’Université de Liège (ULg) en partenariat avec la cellule de Gestion des Compétences de HEC - École de Gestion ULg. En trois ans, soit de 2004 à 2007, les travaux de l’équipe ont permis d’aboutir à une première version d’une plateforme soit. un logiciel libre (open source) utilisable par l’entremise du Web et intitulée ExAMS 1.0 (Examination Assessment Management System – version 1.0). Le deuxième projet intitulé « Logiciel Innovant » s’est déroulé de 2008 à 2009 et a été 1. Le SMART possède une longue expérience dans le domaine de l’évaluation des acquis des apprenants (concours de recrutement, examens, tests de prérequis, post-test...) et de l’évaluation de la qualité des enseignements. L’équipe apporte un soutien méthodologique et logistique spécifique à l’Université de Liège (www.smart.ulg.ac.be). - 4 – A paraître en 2011 dans "Evaluation des apprentissages et technologies de l'information et de la communication – Tome 2", Jean-Guy Blais et Jean-Luc Gilles (Ed.), Les presses de l'université de Laval confié par la Région Wallonne à la spin off ASSESS GROUP S.A.2 en partenariat avec le SMART. Ce projet a permis, d’une part d’informatiser les procédures docimologiques afin de gérer de façon semi-automatique les Questions à Réponses Ouvertes Longues (QROL)et, d’autre part, d’améliorer l’interopérabilité de la plateforme ExAMS. Enfin, quant au troisième projet, il est intitulé Quality Design For Competencies Assessment (QDFCA) et a été confié à ASSESS GROUP S.A. en partenariat avec le SMART et le Centre d’Excellence en Technologie de l’Information et de la Communication (CETIC)3. Ce projet Recherche et Développement a débuté en 2009 et se terminera en 2012. L’objectif est d’implémenter dans le cycle de construction et de gestion de la qualité des procédures docimologiques en conformité avec les principes de l’évaluation dans une approche par compétences. Nous reviendrons à la fin du présent chapitre sur les enjeux liés à l’introduction dans ExAMS des principes de l’évaluation dans une approche par compétences. 1 Le cycle de construction et de gestion de qualité de l’évaluation des apprentissages Nous situons la production d’une démarche d’évaluation des apprentissages dans le cadre d'un paradigme qui inclut notre conception d'une approche de qualité en docimologie basée sur quatre facteurs clés à prendre en compte dans la mise au point 2. Créée en 2006, la société Assess Group S.A. (Assessment Systems and e-Solutions Group) est une entreprise par essaimage (spin-off) issue de l’Université de Liège. Elle a été créée par trois membres appartenant à l'époque à l'unité de soutien logistique et de recherche SMART (Jean-Luc Gilles [promoteur du projet], Salvatore Tinnirello et Pascal Detroz). Assess Group S.A. propose ses services dans le domaine de l’évaluation au monde des entreprises et des administrations (www.assess- group.be). 3. Le CETIC est actif en recherche appliquée en génie logiciel, en technologies orientées service et en systèmes embarqués. Il est un agent de connexion, de transfert de technologie entre recherche universitaire et entreprises (www.cetic.be). - 5 – A paraître en 2011 dans "Evaluation des apprentissages et technologies de l'information et de la communication – Tome 2", Jean-Guy Blais et Jean-Luc Gilles (Ed.), Les presses de l'université de Laval des épreuves. En toile de fond de ces facteurs clés, nous proposons également de tenir compte des cadres contextuels et axiologiques de l’évaluation. Ces éléments forment les fondements de la démarche de qualité que nous allons décrire dans la présente section. C’est au sein du facteur clé « modèles théoriques » que s’insère le cycle de construction et de gestion qualité de l’évaluation des apprentissages (Gilles 2002; Gilles et collab. 2004). 1.1 Le paradigme de l’approche qualité Les acteurs engagés dans une démarche d’évaluation (décideurs, spécialistes en évaluation, experts dans un domaine donné, enseignants ou formateurs, évalués…) évoluent dans des contextes particuliers qui influencent les décisions qu’ils prennent. L’évaluation n’est pas neutre, elle s'insère dans des systèmes scolaires ou de formation qui lui assignent des fonctions (par exemple pronostique, formative, sommative…) et qui utilisent les informations qu'elle génère pour alimenter les prises de décisions. En toile de fond, les valeurs, au sens axiologique du terme, influencent ces systèmes et par conséquent l'usage qui est fait de l’évaluation et de ses conclusions. Par exemple, dans un système de formation au sein d'une entreprise, un uploads/Management/ gillescrahaydetroztinnirellobonnet6refpre-print.pdf