Mesurer. Pour contrôler ou pour accompagner ?

Multiplier les données : l'apprenant sous surveillance

Les plateformes de formation à distance en disent plus sur les stagiaires qu'on rêverait d'en savoir en présentiel. A quelle heure ont-ils commencé ? Combien de temps ont-ils passé sur chaque ressource ? Sont-ils revenus plusieurs fois sur une activité ? Quel score ont-ils obtenu ? A quelles questions se sont-ils trompés...

Pas de tracking, pas de e-learning nous dit Jérôme Bruet sur le blog d'e-doceo. La démarche est pédagogique : les données sur les participants sont liées aux unités de formation (SCO - Sharable content object). Elles renseignent le formateur sur les points de blocage, l'aident à améliorer ses unités d'apprentissage et à mieux accompagner ses apprenants.

Le contrôle

La visée pédagogique est noble, mais la tentation du contrôle n'est pas loin. On se prend à rêver de tableaux de bord qui nous donneraient des informations complètes. Il s'agirait d'un panoptique moderne et numérique, à l'image du modèle architectural que Bentham avait imaginé pour qu'un seul gardien puisse surveiller des centaines de prisonniers.

Dans son article "Compter n'est pas comprendre", Christine Vaufrey nous montre que les plateformes de FOAD donnent des informations proches de celles des plateformes de e-commerce. On y retrouve les pages visitées, les horaires de fréquentation, la fréquence de visite des pages, les résultats chiffrés aux évaluations. La plateforme nous fournit une feuille d'émargement extrêmement détaillée, qui ne nous dit pas nécessairement ce qui s'est produit pendant la formation, ni s'il y a eu apprentissage.

Plus que le formateur, cette information rassurera le responsable en ressources humaines qui pourra se persuader que ses salariés sont bien "allés" en formation. Au iLearningForum de janvier 2015 à Paris, le directeur d'une entreprise qui propose des cours en ligne sur étagère a témoigné dans ce sens. Il nous a expliqué qu'il avait alerté un de ses clients sur un pic de connexion aux modules "gestion du stress" et "rédiger son CV". Le client a fait le lien avec les rumeurs de rachat qui circulaient, et a pu ajuster sa communication interne.

En revanche, on n'a jamais su si la formation sur la gestion du stress avait été efficace.

Cette information est-elle toujours pertinente ?

La quantité de chiffres donne un sentiment de maîtrise. Mais que sait-on vraiment et quelle est la valeur de cette information ? C'est en substance la question que pose Christine Vaufrey. Certes, la logique binaire évite l'arbitraire des évaluations et permet de les traiter rapidement. Mais aux dépens d'éléments plus qualitatifs, qui caractérisent l'apprentissage. Apprendre est un processus continu où le raisonnement discursif, la sérendipité, la personnalité, les associations d'idées ont une place essentielle.

Le formateur regrettera aussi les petits indices que l'on perçoit en présentiel, mais pas à distance. Les hésitations, les signes de fatigue, ces moments où tout le monde tousse ou passe aux toilettes, nous indiquent qu'il faut changer de rythme ou d'activité... A distance, en e-learning, ces signaux nous manquent.

Des solutions techniques plus qualitatives

Qu'à celà ne tienne, répondent de nouvelles entreprises. Elles proposent des technologies avancées qui permettent un "tracking" plus riche, moins binaire.

Ainsi, Knewton, souvent cité sur Thot, propose une analyse basée sur une utilisation plus riche des outils statistiques. Les plateformes classiques apportent des informations de deux types. Elles enregistrent des données administratives : qui est inscrit pour quoi, et quelles sont les caractéristiques des apprenants, et des données sur l'engagement de base : qui est allé sur quel contenu. Knowles propose d'aller au delà et d'apporter des informations plus pédagogiques. La plateforme fait apparaître ce qui est difficile ou facile, ce qui est adapté lorsque l'apprenant a tel ou tel pré-requis... Elle propose une analyse plus longitudinale des étudiants. Au-delà de leur réussite sur un module, elle fait le lien avec d'autres modules suivis, sur les formes d'interaction avec les contenus... Enfin, Knewton prétend aussi mettre en évidence ce qui aide à comprendre.

En fonction des choix de l'apprenant, la plateforme adapte les activités. Les questions sélectionnées aux tests ne seront pas les mêmes. La progression s'ajuste régulièrement aux difficultés que représente l'apprenant. Bien entendu, cela signifie qu'on a pu identifier ces difficultés et les indicateurs qui nous renseignent sur le mode d'apprentissage de la personne. Le travail de préparation est particulièrement important puisqu'il faut construire une série d'"objets de formation" dans lesquels la plateforme viendra piocher.

Mathieu Cisel nous présente les tuteurs cognitifs. La compétence est liée à un processus, à un cheminement. Ainsi, le diagnostic médical n'est pas une série d'actions indépendantes. C'est leur succession qui produit du sens. Le tuteur cognitif analyse les erreurs en fonction de "modèles de déviation", et aporte une réponse adaptée.

Christine Vaufrey, dans l'article cité plus haut, imagine les informations qui pourraient être utiles au formateur. Elle y intègre des éléments sur l'apprenant : son appropriation du vocabulaire spécialisé, l'évolution de son engagement dans les échanges, l'importance de ses contributions sur les lieux de partage,... D'autres données concernent davantage la formation. Quels thèmes, quels aspects du cours sont le plus commentés ? Sur quels points se réunissent les apprenants ? Mooc et Cie a pu mettre en oeuvre ce travail de valorisation des données sur le Mooc Impressionnisme, comme le montre le diaporama partagé par Christine Vaufrey.

Faut-il qu'une plateforme nous dise tout sur les apprenants ?

Une information parfois contre-productive

Les informations quantitatives fournies par les plateformes peuvent occulter les objectifs pédagogiques. Les questions des apprenants sont alors essentiellement du type : "La plateforme me dit que je n'ai pas terminé cette activité, et pourtant...", ou "J'ai passé une heure sur la question sur ce forum, et la plateforme indique dix minutes". Peu d'échanges concernent réellement la formation.

Plus l'information communiquée aux apprenants sur les temps passés et les résultats est précise, plus on focalise leur attention sur ces questions, aux dépens de la formation proprement dite.

Les premières minutes d'un module doivent permettre aux personnes inscrites de comprendre comment elles sont suivies, et quelles sont les informations que les tuteurs vont recueillir pour assurer un suivi et valider la formation.

Laisser une place pour le dialogue pédagogique

Une grande partie de nos apprentissages se fait par essai-erreur. Le dialogue entre l'apprenant et le formateur occupe une place essentielle dans cette approche. On utilise le mot dialogue, et non interprétation. Aussi chevronné soit-il, le formateur fera surtout des hypothèses sur les erreurs constatées. Les échanges avec les étudiants viendront confirmer ou infirmer ces hypothèses.

Demander à la machine de tout nous dire, c'est rêver d'un système où il n'est plus nécessaire que l'apprenant exprime ses difficultés. Confier l'adaptation à la machine, c'est se priver de la richesse du dialogue et des échanges, avec le formateur mais aussi avec les autres apprenants.

Sans nier l'intérêt de ces démarches et de ses recherches, il reste indispensable de réfléchir en amont de la formation à la place de la personne inscrite dans la construction des ses apprentissages.

Aider l'apprenant à découvrir son mode d'apprentissage.

Toute formation vise à développer une forme d'autonomie. Pourtant, certains modèles présentés prennent en main l'apprenant, font les meilleurs choix pour lui, et prétendent l'accompagner si bien qu'il ne s'en aperçoit pas... On risque alors de réduire cette capacité à apprendre seul, à élaborer ses propres stratégies.

Une autre démarche consiste à encourager une réflexion de l'apprenant sur ses stratégies et sur son environnement d'apprentissage personnel.

Les deux approches ne sont pas antagonistes. Quelles que soient les informations qu'une plateforme produit, il reste essentiel de laisser de l'espace aux participants et aux équipes pédagogiques.

illustrations : Frédéric Duriez

Ressources

"Pas de tracking, pas de e-learning" Jérôme Bruet consulté le 7 février 2015
http://www.e-doceo.net/blog/pas-de-tracking-pas-de-e-learning/

"Le panoptique, modèle du monde carcéral" Yohan Demeure consulté le 4 février 2015
http://citizenpost.fr/2015/01/le-panoptique-modele-du-monde-carceral/

Knewton, blog consulté le 7 février 2015
http://www.knewton.com/blog/

"Compter n'est pas comprendre" Christine Vaufrey consulté le 7 février 2015
https://christinevaufrey.wordpress.com/2015/01/19/compter-nest-pas-comprendre/

"La mémoire des Moocs" Christine Vaufrey consulté le 8 février 2015
http://fr.slideshare.net/christing/archivage-webpedagoina

"Le futur de l'éducation, l'apprentissage personnalisé ?" Alexandre Roberge consulté le 7 février 2015
http://cursus.edu/article/21403/futur-education-apprentissage-personnalise/#.VNZ6_y6Pfwo

"Du MOOC à l’apprentissage adaptatif : ce qui va bloquer" Matthieu Cisel consulté le 7 février 2015
http://blog.educpros.fr/matthieu-cisel/2015/01/26/du-mooc-a-lapprentissage-adaptatif-ce-qui-va-bloquer/

Du MOOC à l’apprentissage adaptatif : les tuteurs cognitifs Mathieu Cisel consulté le 4 février 2015 http://blog.educpros.fr/matthieu-cisel/2015/01/21/du-mooc-a-lapprentissage-adaptatif-les-tuteurs-cognitifs/

Ajouter à mes listes de lecture