Les données massives sont destinées à modifier profondément les modalités d’évaluation et notre connaissance des processus d'apprentissage.
La promesse du big data est de réussir à capturer, en continu, les données individuelles, des données de contexte et les données relationnelles intra-apprenants.
Ce qui sonnera la fin de la distinction entre temps d’apprentissage et temps d’évaluation. On apprend en continu, on évalue en continu, avec une rétro-action personnalisée selon la progression et le degré d'autonomie de l’apprenant.
Qu’en est-il au-delà des promesses ? Une équipe de chercheurs de l’Université de Stanford s'est intéressée à la valeur ajoutée de ces données massives en évaluation et propose une sélection de cas pratiques d’utilisation au sein de trois environnements d’apprentissage en ligne distincts.
Trois cas pratiques
- La plateforme Open Learning Initiative (OLI) des universités de Stanford et Carnegie Mellon.
Cet environnement propose un système de tutorat intelligent qui s’ajuste à la progression individuelle de l’apprenant tout au long des évaluations – intégrée aux parcours sur la plateforme.
L’échantillon est un jeu de données de plus d'un million d'individus, mais l’unité de mesure est à petite échelle : l’objectif pédagogique et les compétences sous-jacentes. En règle générale, un cours sur OLI - et ses données - se décompose en 30 à 50 objectifs et sous-entend entre 100 et 1 000 compétences à acquérir.
Le modèle d'apprentissage initial, élaboré par les chercheurs, est comparé en temps réel avec les données fournies par les apprenants et s'y adapte, pour fournir des prévisions d’apprentissage par apprenant et par compétence.
- Trois cours sur les bases de la programmation: "Une heure de code" de Code.org, un cours sur Coursera et un cours en présentiel de Stanford "Introduction to computer science".
L'évaluation ici est basée sur la résolution de problèmes ouverts - des défis de programmation – en passant par des étapes intermédiaires. Toutes ces solutions partielles sont enregistrées au fur et à mesure, pour tracer "la trajectoire" des apprenants…pour un million de personnes!
Les données du cours en présentiel, par exemple, suggèrent deux tendances générales de comportement : les apprenants qui affichent une progression constante vers l’objectif final et ceux qui tendent à rester bloqués, pendant un temps relativement long, dans une étape intermédiaire.
Les trajectoires de résolution du premier exercice (et non la note obtenue) affichent d'ailleurs une corrélation importante avec les résultats aux évaluations suivantes (à mi-cours).
Les données du programme « Une heure de code » montrent également que les trajectoires peuvent sensiblement diverger des méthodes "correctes" préconisées par les enseignants!
- Les données de plusieurs MOOCs ont été utilisées pour analyser la persévérance des participants.
Les chercheurs ont bâti un modèle de prédiction du décrochage en corrélation avec plusieurs variables « sensibles » : le temps de visionnage des vidéos de la première semaine, les notes (taux de réponses incorrectes au premier essai, temps écoulé entre deux essais etc.) la proportion des vidéos et des exercices délaissés.
On comprend vite l’intérêt d’avoir à disposition une communauté d’apprenants : sur la base des prévisions de leur modèle, les chercheurs ont envoyé une enquête à 9 400 personnes jugées "à risque", au cours de la troisième semaine, pour étudier plus en profondeur les trois raisons principales d’abandon d’un MOOC : la procrastination, la difficulté, le manque de temps.
Par cette série d'exemples, les chercheurs montrent cpmment l'utilisation des données massives à des fins d'évaluation peut aider à mieux saisir les facettes multiples de l'apprentissage. L’ambition est forte, mais il y a un bémol : il y a une différence (et une distance) non négligeable entre mesurer et utiliser.
Comme les auteurs le rappellent, une étude du National Research Council, en 2011, révélait l'inefficacité de dix ans de politiques éducatives basées sur des résultats d'évaluation, aux États-Unis.
Disposer de données complexes, à large échelle, ne signifie pas pour autant les interpréter correctement et encore moins réussir à les utiliser. Un défi pour les années à venir.
Illustration : Laborant, Shutterstock
Références
1. Stanford University Lytics Lab. The Future of Data–Enriched Assessment in Research and Practice in Assessment, vol.9, 2014. http://www.rpajournal.com/dev/wp-content/uploads/2014/10/A1.pdf
2. National Research Council. Incentives and test-based accountability in education (2011). http://www.nap.edu/read/12521/chapter/1
(Liens consultés le 14/03/16)
Voir plus d'articles de cet auteur
