Remerciez-le!

Remerciez @Admin pour avoir partagé cet document gratuitement, de la manière la plus simple, en partageant sur les réseaux sociaux.

HAL Id: hal-01735880 https://hal.inria.fr/hal-01735880 Submitted on 16 Mar 2018

HAL Id: hal-01735880 https://hal.inria.fr/hal-01735880 Submitted on 16 Mar 2018 HAL is a multi-disciplinary open access archive for the deposit and dissemination of sci- entific research documents, whether they are pub- lished or not. The documents may come from teaching and research institutions in France or abroad, or from public or private research centers. L’archive ouverte pluridisciplinaire HAL, est destinée au dépôt et à la diffusion de documents scientifiques de niveau recherche, publiés ou non, émanant des établissements d’enseignement et de recherche français ou étrangers, des laboratoires publics ou privés. Analyser les réponses aux questions ouvertes des questionnaires de MOOC : Considérations méthodologiques Aurélie Bayle To cite this version: Aurélie Bayle. Analyser les réponses aux questions ouvertes des questionnaires de MOOC : Consid- érations méthodologiques. [Rapport Technique] Inria. 2018, pp.1-27. hal-01735880 1 Analyser les réponses aux questions ouvertes des questionnaires de MOOC : Considérations méthodologiques Aurélie Bayle – Inria Learning Lab Janvier 2018 Résumé Ce document a pour objectif de documenter la méthodologie d'analyse des questions ouvertes de nos questionnaires de satisfaction. Nous proposons une approche pragmatique, structurée et reproductible qui permet de prendre en compte les retours des participants à nos MOOC. Nous prenons le MOOC "Bioinformatique : algorithmes et génomes" comme appui pour illustrer notre démarche. En annexe se trouve une application de cette méthodologie à deux autres cours : Introduction to a Web of Linked Data et Accessibilité numérique. Introduction Inria Learning Lab conçoit des MOOC depuis 2013. Comme pour tout dispositif de formation, notre démarche inclut une étape de bilan et d'évaluation qui passe notamment par la prise en compte des retours et de la satisfaction à travers l'analyse des réponses à des questionnaires que nous leur proposons à différentes étapes du cours. Si les questions fermées font l'objet d'analyses quantitatives et de comparaisons sur l'ensemble des MOOC joués, les questions ouvertes sont plus difficilement analysées. Or, c'est bien souvent dans le discours "hors des cases" des participants que l'on entrevoit des éléments très pertinents sur leur expérience, leur ressenti et les axes d'amélioration que nous pouvons amorcer. L’objectif de ce document est de proposer une méthodologie qui facilite l’analyse manuelle des questions ouvertes de nos questionnaires de satisfaction. Les questionnaires et la problématique des questions ouvertes Les questionnaires L'équipe d'Inria Learning Lab a conçu et propose aux participants des MOOC 3 questionnaires qui ont différents objectifs : • Le questionnaire initial est intitulé "profil et attentes". Il vise à décrire le profil des apprenants (pays, ville, niveau d'études, situation professionnelle) et à cerner leurs motivations, leurs connaissances préalables et leurs attentes. • Le questionnaire intermédiaire est intitulé "temps de travail et avis sur le MOOC". Il est diffusé au milieu du MOOC (début de 3ème semaine pour un MOOC de 5 semaines) • Le questionnaire final, diffusé en dernière semaine de MOOC, est intitulé "Suivi et avis global". Ces questionnaires permettent de recueillir des données qui complètent celles obtenues via la plateforme FUN. Il s'agit de données provoquées (Van der Maren, 1996, p. 138) dans le sens où elles résultent d'une procédure construite pour les recueillir en fonction d'un format défini à l'avance (ici le questionnaire). On peut aussi dire qu'il s'agit de données déclaratives puisque les participants construisent ces données de manière volontaire et consciente par leur action de répondre au questionnaire. Les données que FUN met à disposition sont pour la plupart des données invoquées (ibid.), c’est à dire qui existent indépendamment de tout travail de recherche ou d’analyse. Pour chaque MOOC, nous diffusons le même questionnaire, adapté en fonction des particularités de chaque cours. Cela nous permet de pouvoir faire le bilan de chaque MOOC sur une même base ainsi que des comparaisons entre les MOOC lorsque cela est pertinent. 2 Chaque question des questionnaires est facultative. Ainsi, certains questionnaires sont partiellement remplis. Les questions ouvertes Contrairement aux questions fermées qui peuvent faire l'objet d'un traitement statistique simple pour extraire les informations pertinentes, les questions ouvertes nécessitent un travail manuel. En effet, il n'existe pas d'outil capable de comprendre et restituer le sens des réponses données sans intervention humaine. Des outils permettent de faire un certain nombre de comptages (nombre de mots, fréquence), de regrouper des expressions, de repérer des formes grammaticales, de faire ressortir des grandes thématiques, etc. Certains fournissent des représentations graphiques de réseaux de mots mais il ne s'agit que de manières de présenter les données, pour éventuellement faciliter l'analyse. Il s'agit d'outils d'aide à l'analyse et non pas d'outils d'analyse. La lecture des réponses à ces questions ouvertes est utile et peut évidemment permettre de se faire une idée globale de l'appréciation du cours. Elle fait d'ailleurs partie de notre méthodologie. Cependant, chaque lecteur interprètera et retiendra des informations de manière subjective en fonction de ses expériences, de ses croyances (Berger & Luckmann, 1966 ; Schutz, 1973) ou encore de ses attentes, même inconscientes. Sans vouloir gommer totalement la subjectivité, nécessaire à l'analyse de phénomènes humains, notre objectif est de tendre vers une méthodologie d'analyse un peu plus objective, reproductible pour l'ensemble de nos MOOC. Les questions ouvertes sont, par définition, des questions qui appellent à des réponses très diverses, sur la forme comme sur le fond. Les répondants peuvent écrire ce qu'ils souhaitent dans un espace de commentaire. Il est donc impossible d'extraire des informations facilement et rapidement de ces données au contraire de questions fermées de type vrai/faux ou seules deux variables existent. Si l'on prend au hasard 5 réponses à la question sur les points d'amélioration, on se rend vite compte de l'hétérogénéité des réponses et de la complexité du traitement : • Ce mooc doit être étalé sur plusieurs cours pas celui la seulement. Alors vous devez nous programmer d'autres cours suites de celui ci. Je vous prie de le faire. Merci pour vos efforts et de nous avoir consacrer tout ce temps. Le grand merci au professeur. On attend la suite. • ??? • Un petit regret de ne pas aller plus loin sur certains points • - • Je ne vois rien à améliorer en même temps c'est mon premier MOOC Certains messages contiennent beaucoup d'informations différentes, pertinentes ou non par rapport à la question. On peut noter une différence importante au niveau de la taille des messages (de 1 à 50 mots). Il faut également mentionner l'orthographe qui peut poser problème dans les traitements automatiques ultérieurs. Le présent document analyse les réponses à deux questions ouvertes du MOOC "Bioinformatique : algorithmes et génomes" et présente différentes techniques qui peuvent aider à dégager les éléments pertinents mentionnés par les participants dans leurs réponses. Notons bien qu'il ne s'agit pas d'un mode d'emploi à suivre à la lettre. En fonction de ce que l'on cherche et de la nature des données à traiter, une technique peut être plus intéressante qu'une autre. Présentation des données La présente analyse porte sur deux questions proposées dans le dernier questionnaire proposé aux participants du MOOC "Bioinformatique : algorithmes et génomes" (session 2 diffusée entre le 9 mai et le 12 juin 2016) : • Quels sont, selon vous, les points positifs de ce cours ? • Quels points d'amélioration nous suggéreriez-vous ? 3 Il faut noter qu'une proportion faible et très variable des participants à nos MOOC répondent aux questionnaires que nous proposons (de 0,5 à 20,5% des inscrits, 7% en moyenne) et que les questions ouvertes ne recueillent par une proportion de réponses importante par rapport aux questions fermées (entre 4 et 79%, 23% en moyenne). Sur les 3270 inscrits au MOOC Bioinformatique, 117 ont répondu au questionnaire 3, soit 3,5%. Puisqu'aucune question n'est obligatoire, les participants peuvent ou non répondre aux différentes questions. Ainsi, 77 ont répondu à la question portant sur les points positifs et 63 sur les points d'amélioration. Figure 1 : proportion de réponses par rapport au nombre d'inscrits Préparation et traitement des données Avant d'analyser à proprement parler le contenu de ces réponses, une préparation et un traitement s'avèrent nécessaires puisque les données doivent être organisées, nettoyées et homogénéisées. Nous travaillons à partir des données brutes extraites de l'outil LimeSurvey que nous utilisons pour créer et diffuser nos questionnaires. Nous extrayons un fichier .xls pour chaque questionnaire de chaque MOOC qui présente les réponses à chaque question. Nous copions, depuis ce fichier, les réponses qui correspondent à la question à analyser (ex : les points d'amélioration) dans un fichier .txt pour faciliter la manipulation des données et leur traitement par différents outils. En fonction du type de réponses, nous pouvons également créer un fichier tableur pour coder les commentaires et les analyser. La première étape consiste à lire l'ensemble des réponses pour se faire une idée globale du contenu, se l'approprier avant de procéder à l'analyse, et de dégager quelques grandes thématiques si le même type de réponses revient à plusieurs reprises. Vient ensuite une étape de nettoyage des données. Il s'agit essentiellement de corriger les coquilles ("Pyton" à "Python", "interessant" à "intéressant") et les abréviations (pb pour problème, - pour moins) qui pourraient biaiser le comptage automatique des mots. Nous supprimons uploads/Management/ analyse-questions-ouvertes-mooc.pdf