Proposition de sujet de mémoire M2 - Master 2 R sciences cognitives - Grenoble-
Proposition de sujet de mémoire M2 - Master 2 R sciences cognitives - Grenoble-I Expérimentation avec Apex 2, un système d'évaluation automatique de résumés de cours Contact : Philippe Dessus (Lab. sciences de l'éducation, UPMF, bureau 215, BSHM, Philippe.Dessus@upmf-grenoble.fr) Résumer des cours pour évaluer sa propre compréhension de ces derniers (et/ou favoriser leur apprentissage) est une activité que les étudiants réalisent fréquemment, et qui est souvent demandée en examen. Pour autant, évaluer la qualité des résumés demande beaucoup de temps aux enseignants, qui, de ce fait, encouragent peu les étudiants à la mettre en œuvre. La possibilité de faire réaliser cette évaluation par des systèmes informatisés est donc à envisager. Apex 2 (Dessus & Lemaire, 2002) est un système informatique permettant à des étudiants de lire divers documents correspondant à un cours (récupérés par requête), de rédiger des résumés de ces documents et d'être évalués sur le contenu de ces derniers. De plus, ce système compare l'avis de l'étudiant sur sa propre compréhension du cours et à celui du système, lui permettant ainsi d'engager un processus d'auto-régulation (c'est-à-dire l’amener à comprendre ce qu'il a compris, par des indications de type : "Tu penses avoir compris le document d, mais ton résumé montre que ce n'est pas le cas"). Il est à noter que l'étudiant passe librement de l'une à l'autre de ces différentes activités (recherche, lecture, écriture, jugement de compréhension). Le mécanisme de recherche de documents et de comparaison cours/résumés est assuré par l'analyse de la sémantique latente (Latent Semantic Analysis, Landauer & Dumais, 1997), une méthode de traitement statistique rendant compte de la proximité sémantique entre mots ou textes. Cette méthode est, depuis 10 ans, classiquement utilisée dans de nombreux systèmes d'évaluation automatique (voir Dessus & Lemaire, 2004, pour une revue). Une version prototype d'Apex 2 avait été programmée en 2001; elle vient d'être adaptée aux systèmes et ordinateurs plus récents. Dans le cadre d'un projet européen (projet LTfLL, pour Language Technologies for LifeLong Learning, site : http://partners.ltfll-project.org/ partiellement accessible au public), notre travail sur trois ans est de partir d'un test de ce système (ce test étant en partie le sujet de cette recherche) pour élaborer à terme un ensemble complet de services libres et gratuits pouvant être utilisés dans les plates-formes d'enseignement à distance, autorisant un ensemble d'activités variées (pour l'enseignant, détection de plagiat, analyse de forums/chats ; pour l'étudiant, aide à la recherche, à l'évaluation de dissertations). À ce jour, Apex 2 fonctionne sous Linux et PHP. Un étudiant de Master 2 Pro IDL (options TALEP ou EIAL), Univ. Stendhal va se charger de l'éventuelle partie programmation liée au test. Le sujet de ce mémoire va être de tester l'utilisation d'Apex 2 en contexte universitaire, avec un cours et une tâche les plus proches possible du contexte réel. Il s'agira donc d'une passation d'expérimentation classique, avec les phases suivantes : aide au choix du corpus utilisé pour le traitement des résumés ; choix de la tâche, du contenu, et de la procédure de test et d'évaluation (questionnaire d'utilisabilité et d'évaluation de charge cognitive de type NASA-TLX à réadapter d'un précédent) ; appel à participants (une dizaine) ; passation des participants (1 h environ) ; analyse des données de traces (e.g., nombre de requêtes, nombre de textes lus/résumés, etc.) et du questionnaire. préconisations de modifications, pouvant le cas échéant être aussi testées sur d'autres participants ; rédaction d'un mémoire-rapport (contenant également un bref état de l'art). Références Dessus, P. & Lemaire, B. (2002). Using production to assess learning: an ILE that fosters Self-Regulated Learning. In S. A. Cerri, G. Gouardères, & F. Paraguaçu (Eds.), Intelligent Tutoring Systems (ITS 2002) (pp. 772-781). Berlin : Springer, LNCS 2363. Disponible à http://webu2.upmf-grenoble.fr/sciedu/pdessus/its02.PDF Dessus, P. & Lemaire, B. (2004). Assistance informatique à la correction de copies. In É. Gentaz & P. Dessus (Eds.), Comprendre les apprentissages : sciences cognitives et éducation (pp. 205-220). Paris : Dunod. Disponible à http://webu2.upmf- grenoble.fr/sciedu/pdessus/dunod04.pdf Landauer, T. K., & Dumais, S. T. (1997). A solution to Plato's problem : the Latent Semantic Analysis theory of acquisition, induction and representation of knowledge. Psychological Review, 104(2), 211-240. Disponible à http://lsa.colorado.edu/papers/plato/plato.annote.html uploads/Science et Technologie/ proposition-de-sujet-de-memoire-m2-master-2-r-sciences-cognitives.pdf
Documents similaires
-
18
-
0
-
0
Licence et utilisation
Gratuit pour un usage personnel Attribution requise- Détails
- Publié le Jui 07, 2022
- Catégorie Science & technolo...
- Langue French
- Taille du fichier 0.0476MB