Remerciez-le!

Remerciez @Admin pour avoir partagé cet document gratuitement, de la manière la plus simple, en partageant sur les réseaux sociaux.

07/2022 - Document confidentiel Computerized Adaptative Testing (CAT) OSORIO Th

07/2022 - Document confidentiel Computerized Adaptative Testing (CAT) OSORIO Thomas Promotion 2023 4e année, Majeure DIA Insigna Consultoria IT Team Campinas/Brésil Tuteur école : GUERARD Guillaume Tuteur entreprise : ISAIAS Itor Thomas Osorio, Rapport de stage 2022 : Computer Adaptative Testing, Promotion ESILV-DIA 2023 1 REMERCIEMENTS En premier lieu, je tiens à remercier les personnes qui m’ont aidé lors de ce stage de 4 - ème année, et particulièrement mon tuteur au sein de l’entreprise Insigna Consultoria, Itor Isaias, responsable de l’équipe IT. Son écoute et son accompagnement m’ont permis de m’épanouir et de m’intégrer. Il m’a offert de précieux conseils que j’appliquerai sans aucun doute dans ma carrière. Je pense également à Madame Angela Coy, CEO d’Insigna Consultoria, qui m’a accueilli au sein de son entreprise et a cru en moi en m’offrant ce poste de stagiaire. Sa bienveillance permet à toute ses équipes de travailler dans la sérénité. Je voudrais aussi exprimer ma reconnaissance envers mes collègues qui m’ont accompagnés tout au long de ce projet. Un grand merci à Denilson Sousa et Victor Cockburn, consultants linguistiques, qui m’ont aiguillé dans ce secteur nouveau pour moi. Je n’oublierai pas Juliana Mosca qui s’est occupée des démarches administratives pour que je puisse réaliser ce stage à l’étranger. Enfin, je tiens à témoigner toute ma gratitude à l’ensemble des collaborateurs de l’entreprise. J’ai rencontré des personnes passionnées par leurs professions qui m’ont transmis des valeurs d’entraide et de coopération nécessaires au bon développement d’une entreprise. Je remercie également toutes les personnes qui m’ont apporté de nombreux conseils sur la rédaction de mon rapport de stage et ont pris le temps de relire et corriger les erreurs présentes. Pour terminer, je souhaite remercier mon établissement, l’Ecole Supérieure Léonard de Vinci (ESILV). Grâce à la qualité de l’enseignement, j’ai pu appliquer mes connaissances acquises lors de mes études dans le cadre professionnel. La diversité du contenu proposé nous permet de nous adapter aisément dans de nouveaux environnements et même à l’étranger. Thomas Osorio, Rapport de stage 2022 : Computer Adaptative Testing, Promotion ESILV-DIA 2023 2 1 Table des matières 2 RÉSUMÉ .......................................................................................................................... 3 2.1 FRANÇAIS ............................................................................................................................3 2.2 ENGLISH ..............................................................................................................................4 3 INTRODUCTION .................................................................................................................. 5 4 DESCRIPTION DE LA MISSION ................................................................................................ 7 4.1 MONOGRAPHIE DE L’ENTREPRISE .............................................................................................7 4.2 LA MISSION ...................................................................................................................... 12 4.2.1 LA BANQUE D’ITEM ET DE GESTION DES EVALUATIONS .................................................. 12 4.2.2 IMPLEMENTATION DU C.A.T .................................................................................... 16 4.2.3 VISUALISATION ET AUTOMATISATION DES ANALYSES ..................................................... 25 5 CONCLUSION .................................................................................................................. 30 6 ANNEXES ....................................................................................................................... 32 7 ABRÉVIATIONS ................................................................................................................ 39 8 BIBLIOGRAPHIE ................................................................................................................ 40 Thomas Osorio, Rapport de stage 2022 : Computer Adaptative Testing, Promotion ESILV-DIA 2023 3 2 Résumé 2.1 Français Insigna est une PME brésilienne qui fournit une expertise linguistique à des multinationales. L’entreprise offre des cours traditionnels de langues jusqu’à des certifications linguistiques. La mission principale lors de ce stage a été d’implémenter un type de test: le C.A.T ou Computer Adaptive Testing. Le C.A.T est un test informatisé qui adapte les questions selon le niveau du candidat. L’algorithme de cet examen présente de nombreux avantages. Tout d’abord, il réduit le nombre de questions « faciles » pour les personnes de bon niveau et, inversement, le nombre de questions « difficiles » pour ceux de faible niveau. Le score obtenu est plus précis et le test se révèle beaucoup plus dynamique et intéressant pour les candidats. L’algorithme du C.A.T sélectionne une question à chaque itération selon les réponses précédentes et leurs difficultés. Il s’arrête lorsqu’on atteint un certain niveau de précision ou que l’on a répondu à une quantité de questions prédéfinie. La première étape est l’étude de la base de données d’examen. N’existant pas de documentation, il s’est avéré nécessaire de construire un modèle physique de celle-ci afin de rendre un rapport détaillé. La base possédait de nombreux problèmes de redondance et de structure. Il était donc urgent de remodeler ces données. Pour commencer, un cahier des charges a été monté par l’ensemble de l’équipe. S’en est suivi la création d’un modèle conceptuel des données et enfin un modèle physique en utilisant la méthodologie merise. L’entreprise a décidé de garder certaines questions et de les inscrire dans cette nouvelle base avant de créer de nouveaux énoncés. L’implémentation d’un C.A.T nécessite une analyse de qualité des questions. Avant tout, il faut filtrer la donnée pour écarter les questions non-analysables car obsolètes ou encore n’ayant pas reçu suffisamment de réponses. Dans un second temps, il est possible de réaliser une analyse théorique des tests (T.C.T) qui évalue la qualité selon la proportion de bonnes réponses et le point de corrélation bisérial. Elle permet d’écarter les questions qui n’ont pas de résultat logique. Enfin, on réalise une analyse aux réponses des questions (T.R.I). Cette dernière apporte une relation entre le niveau du candidat et la performance de la question. Modélisée par une régression logistique, elle apporte des informations sur la différence de niveau entre candidats, la difficulté de l’énoncé et la probabilité du hasard. De plus, la T.R.I offre une analyse dimensionnelle des questions et nous permet de voir les différentes compétences évaluées. Le niveau des interrogations du test adaptatif est défini par le paramètre de difficulté de cette analyse. En conclusion de cette étude, il est intéressant de pouvoir visualiser ces résultats sur un Dashboard. Pour rendre efficaces ces analyses, elles ont été automatisées à l’aide du service Data Factory de Azure. Cela permet aux utilisateurs de lancer la chaîne d’analyse facilement pour mettre à jour les données sur leur application. Après avoir réalisé une première version en vanilla.js, une version utilisant le Framework Next.JS semblait plus judicieuse. Cet outil permet d’assembler le côté serveur et client de l’application et de typer les différentes entités qui la composent grâce aux fichiers typescripts. Cet outil a ensuite été déployé sur Vercel pour un accès facile pour tous les consultants et experts linguistiques.. Thomas Osorio, Rapport de stage 2022 : Computer Adaptative Testing, Promotion ESILV-DIA 2023 4 L’implémentation d’un test adaptatif C.A.T a demandé un travail à travers toutes les étapes du processus E.T.L (Extract, Transform, Load) dont la connaissance est essentielle dans le secteur des données. 2.2 English Insigna is a Brazilian SME that provides language expertise to multinational companies. The company offers traditional language courses up to language certifications. The main mission of this internship was to implement a type of test: C.A.T or Computer Adaptive Testing. C.A.T is a computerized test that adapts questions according to the level of the candidate. The algorithm of this test has many advantages. First of all, it reduces the number of "easy" questions for people with a good level and conversely, the number of "difficult" questions for those with a low level. The score obtained is more accurate and the test is much more dynamic and interesting for the candidates. The C.A.T. algorithm selects a question at each iteration according to the previous answers and their difficulties. It stops when a certain level of accuracy is reached or a predefined number of questions have been answered. The first step is to study the test database. Since there was no documentation, it was necessary to build a physical model of the database in order to produce a detailed report. The database had many redundancy and structural problems. It was therefore urgent to remodel the data. To begin with, the whole team created a set of specifications. This was followed by the creation of a conceptual data model and finally a physical model using the merise methodology. The company decided to keep some questions and to register them in this new base before creating new statements. The implementation of a C.A.T. requires a quality analysis of the questions. First of all, it is necessary to filter the data in order to eliminate questions that cannot be analyzed because they are obsolete or have not received enough answers. In a second step, it is possible to perform a theoretical test analysis (T.T.A.) which evaluates the quality according to the proportion of correct answers and the biserial correlation point. It allows to discard the questions which do not have a logical result. Finally, an analysis of the answers to the questions is carried out (T.R.I). This last one brings a relation between the level of the candidate and the performance of the question. Modelled by a logistic regression, it provides information on the difference in level between candidates, the difficulty of the statement and the probability of chance. Moreover, the I.R.T. offers a dimensional analysis of the questions and allows us to see the different skills assessed. The level of the adaptive test questions is defined by the difficulty parameter of this analysis. As a conclusion of this study, it is interesting to be able to visualize these results on a Dashboard. To make these analyses efficient, they have been automated using the Data Factory service in Azure. This allows users to easily launch the analysis chain to update the data on their application. After making an initial version in vanilla.js, a version using the Next.JS Framework seemed more sensible. uploads/Management/ rapport-de-stage 32 .pdf