Aujourd’hui, j’ai le plaisir de partager avec vous un projet de Learning Analytics mené depuis près d’un an avec l’ISAE-SUPAERO. L’objectif du projet xDash était de s’inscrire dans une démarche de collecte de traces principalement issues de Moodle, mais potentiellement ouverte à d’autres applications. Il s’agissait ensuite de constituer divers tableaux de bord à partir de ces traces. Alors pourquoi ce projet ? Qu’avons-nous réalisé ? Et qu’avons-nous appris ?
Genèse du projet
Bien que Moodle ait été choisi comme principale plateforme LMS, l’ISAE-SUPAERO ne souhaitait pas s’enfermer dans une solution monolithique. L’objectif était au contraire de bâtir un éco-système de solutions spécialisées autour de Moodle, aptes à répondre à la diversité des besoins de l’école et de ses partenaires.
Pour autant, cette diversité ne devait pas compromettre la cohérence de l’ensemble. L’utilisation de standards comme xAPI et LTI s’est donc rapidement imposée. Les solutions de l’éco-système sont ainsi vues comme autant de capteurs de traces d’apprentissage, reliés à un LRS central à partir duquel des tableaux de bord peuvent être construits.
Aperçu du dispositif
Le dispositif pédagogique de l’ISAE-SUPAERO est actuellement centré sur la plateforme Moodle, dont les traces sont récupérées grâce aux plugins Trax pour Moodle, qui ont déjà fait l’objet d’un article sur ce blog.
Le service offert nativement par Moodle a été enrichi grâce aux plugins H5P, mais aussi complété grâce à 3 applications tierces directement accessibles depuis Moodle grâce à une intégration LTI. Il s’agit de :
- xQuiz, utilisé en salle de classe pour poser des questions aux élèves. Cette application est un prototype dérivé d’iQuiz actuellement en exploitation.
- xProf, permettant aux enseignants d’évaluer les élèves lors d’activités en classe (en cours de développement).
- IREAL (Innovative Remode Experimentation for Aerospace Learning), une plateforme permettant la digitalisation et la mise en oeuvre d’expériences scientifiques pédagogiques et dont la mise en conformité avec le standard xAPI est engagée.
L’ensemble du dispositif déverse des traces xAPI dans un LRS central – Trax LRS – couplé à une base de données orientées analytics (ici ElasticSearch).
Pour finir, l’application xDash consomme ces traces afin de proposer des tableaux de bord au personnel pédagogique ainsi qu’aux apprenants.
A terme, le dispositif doit être étendu avec un entrepôt de micro-contenus appelés des ADN (Aerospace Digital Nuggets).
Protection des données personnelles
La question de la protection des données personnelles est bien sûr au centre des préoccupations de l’école.
L’approche retenue consiste à « anonymiser » toutes les données envoyées au LRS. Les tableaux de bord destinés à l’équipe pédagogique sont essentiellement statistiques, et n’ont donc pas besoin de l’identité des apprenants.
En revanche, les apprenants doivent accéder à leurs propres données. Pour cela, un service Web permet de faire le lien entre l’identité réelle de l’apprenant et l’identité anonymisée présente dans les traces xAPI. L’accès à ce service est strictement contrôlé et le lien entre identités réelle et anonymisée peut être supprimé à tout moment.
Tableaux de bord
Pour les impatients, les images sont en fin d’article. Mais en 2 mots, les tableaux de bord sont organisés en 4 niveaux allant de données plutôt quantitatives vers des données plus qualitatives :
- Engagement : les apprenants sont-ils actifs, impliqués ?
- Progression : les apprenants avancent-t-ils, se rapprochent-t-ils de leur objectif ?
- Réussite : le travail des apprenants se traduit-il par des évaluations positives ?
- Compétences : le travail des apprenants se traduit-il par l’acquisition de nouvelles compétences ?
L’idée pour chacun de ces niveaux est d’aller chercher des indicateurs que l’on n’a pas l’habitude de trouver dans un LMS. Il peut s’agir, par exemple, d’indicateurs de positionnement de l’apprenant par rapport au groupe auquel il appartient :
- Engagement : suis-je plus ou moins actif que mes camarades ?
- Progression : suis-je en avance ou en retard par rapport à mes camarades ?
- Réussite : ai-je de meilleurs ou moins bons résultats que mes camarades ?
- Etc.
Premiers résultats
Ce premier cycle de développement a permis d’obtenir de nombreux résultats :
- Une réflexion de fond sur l’intérêt des traces et leurs usages possibles ;
- La mise en place d’un système de collecte de traces cohérent ;
- Une architecture technique robuste et modulaire ;
- Les premiers tableaux de bord dont l’impact reste à évaluer, mais qui serviront de base pour aller plus loin.
La grande question
Au-delà des premiers résultats, ce projet a aussi été l’occasion de mesurer les difficultés inhérentes à ce type de projet. J’occulte volontairement les difficultés techniques, qui n’en sont pas si vous disposez des compétences nécessaires.
A mes yeux, la principale difficulté est d’ordre méthodologique. Bien sûr, en théorie, comme pour tout projet informatique, on doit partir des usages. On doit d’abord répondre à la question : pourquoi collecte-t-on ces données ? Quelles sont les problématiques que l’on a identifiées et que l’on souhaite résoudre grâce aux données ? Puis mener le projet en conséquence.
Je dis « en théorie » car la diversité des données disponibles et la multitude des usages possibles rendent cette approche difficile. Les idées foisonnent, et il devient dès lors difficile de se concentrer sur 2 ou 3 problèmes, en occultant les autres pour un temps.
Nous avons eu de longs échanges au sein de l’équipe sur le sujet, et on retrouve le même type de débat dans la littérature, sans qu’il ne soit jamais tranché.
- D’un coté une approche systémique, visant à collecter un maximum de données, et ainsi à constituer un réservoir de matière première permettant dans un second temps de développer des analyses pertinentes et variées.
- De l’autre une approche très progressive, visant à se concentrer sur 2 ou 3 problèmes essentiels, et obtenir rapidement des « Quick-Wins » mesurables, avant d’élargir le champ d’intervention.
Dans la pratique, les choses sont plus nuancées. On fait un peu la navette entre ces 2 approches, l’essentiel étant de prendre régulièrement du recul.
Perspectives
On l’a vu, ce premier cycle de développement a apporté de nombreux résultats. Mais un projet de Learning Analytics est par nature itératif. Le projet xDash va donc se poursuivre en 2020.
L’objectif est d’évaluer la qualité des tableaux de bord réalisés, puis de les améliorer en s’appuyant sur les retours des utilisateurs. Les données collectées pourront aussi être utilisées dans le cadre d’études plus larges.
Remerciements
Un grand merci à Laurent Dairaine, Bruno Ilponse, et au-delà à toute l’équipe d’ISAE-SUPAERO, pour son implication, sa créativité et ses qualités humaines !
Tableau de bord apprenant : les 4 niveaux d’analyse
Tableau de bord apprenant : implication absolue / par rapport aux autres
Tableau de bord apprenant : progression absolue / par rapport aux autres
Tableau de bord apprenant : résultats absolus / par rapport aux autres / au fil du temps
D’autres articles vous attendent sur notre tout nouveau site dédié aux données d’apprentissage.
