Articles

Publié le 26 février 2018 Mis à jour le 26 février 2018

Collecter et analyser les data en formation. Jusqu'où aller ?

promesses et limites des learning analytics

La quantité de données que produisent les apprenants au cours d'une formation en ligne est immense. Quel était l'équipement des stagiaires ? Combien de temps sont-ils restés sur une ressource ? Sont-ils allés jusqu'au bout ? Ont-ils cliqué sur les liens ? Quel a été leur résultat à l'issue, etc. Nous pouvons tout savoir !

Mais qu'allons-nous faire de ces données ? Comment peut-on les absorber ? Quelle organisation du pouvoir entre formés, formateurs, centres de formation et client mettent-elles en place ?

Une réelle opportunité

Les plateformes de formation produisent des données en continu. Chaque connexion, chaque clic est enregistré. Tout ce que les pédagogues ont rêvé de connaître, sur les profils d'apprentissage, les rythmes qui favorisent la concentration, le type d'évaluation adapté à tel ou tel apprentissage est à portée de main, pourvu qu'on se donne la peine d'analyser ces données... . Elles pourraient ainsi nous permettre une amélioration en continu.

Dans son document "The 5 C toolkit", Elucidat propose de collecter de l'information en amont, en aval, mais surtout pendant la formation. Les données sélectionnées répondent aux questions suivantes :

  • Les personnes connectées viennent-elles à plusieurs reprises ou une seule fois ?
  • De quelle origine géographique sont-elles ?
  • Quel est l'équipement avec lequel elles se connectent ?
  • Vont-elles au bout des ressources proposées ?
  • Quel est le temps moyen d'une connexion ?
  • Quelles sont les questions sur lesquels les apprenants rencontrent le plus de difficultés ? Quels sont les points de débats
  • Quelles sont les questions où tout le monde obtient la bonne réponse... ?
  • Quel est le contenu, la page, à partir de laquelle ils quittent le cours en ligne ?

Les autres plateformes proposent également des "learning analytics" souvent très pertinentes elles aussi. Et les formations en présentiel s'en inspirent. Ainsi Learning Catalytics permet aux enseignants de recevoir du feedback en temps réel sur leur enseignement pour ajuster leur approche.

Mais que faire de ces données ?

Une limite économique

Nous avons donc les moyens pour évaluer chaque page-écran, chaque question de quiz, chaque action du serious game... Que peut-on en faire concrètement ? La tentation de toujours améliorer l'existant ou peaufiner vient se heurter au manque de temps, et au coût de production ou d'amélioration.

L'idée de proposer des parcours différenciés en fonction des profils qui se dégagent ou des résultats obtenus est séduisante. Mais à moins de former des dizaines de milliers de personnes dans des grands groupes, la viabilité économique n'est pas certaine.

Les données de la plateforme peuvent en revanche nous indiquer si une animation dont nous sommes fiers, qui nous a demandé beaucoup d'énergie et de moyens, et qui a beaucoup plu au client, est réellement appréciée par l'utilisateur en formation !

Des questions pédagogiques

D'autres questions se posent. Imaginons que sur une formation juridique, ma plateforme me montre que certaines catégories d'apprenants passent davantage de temps sur les schémas et les vidéos que sur les textes de loi ou la jurisprudence. Est-ce que je dois leur proposer davantage de vidéos, de schémas et d'animation ? Ou est-ce qu'au contraire je dois les inciter à consulter les documents source, quand bien même ils seraient plus arides ? C'est un choix pédagogique. Je peux aussi imaginer de ne pas choisir et de laisser accessibles plusieurs ressources pour un même objectif de formation. Et dans ce cas, je fais confiance à l'apprenant pour déterminer ce qui est le mieux pour lui ! Dans le premier cas, l'adaptive learning évite de trop solliciter la plasticité du cerveau. Mais est-ce un bien si tous les dispositifs de formation s'adaptent toujours ?

Si elles se prêtent mal aux traitements statistiques, les questions ouvertes, les espaces d'échanges, voire même l'observation des apprenants sont essentiels pour comprendre ce que perçoit et ressent la personne en formation. C'est un complément indispensable au traitement plus ou moins automatisé des flots de données que peuvent produire les plateformes de e-learning.

ne pas oublier l'apprenant quand on se passionne pour les learning analytics

Le danger est aussi de produire des recettes... qui standardiseraient les formations. On songe à la conception des scénarios de films. Des études statistiques ont montré à quel moment il était préférable de construire un suspense ou quand ménager des espaces de légèreté. Pourtant, si on applique ces recettes, si il manque une part de risque, un grain de folie, un petit décalage, le film ne prend pas...

La tentation de tout contrôler : un boomerang

Un détour par le panoptique de Bentham, popularisé par Michel Foucault

Rendre la formation et ses mécanismes transparents, obtenir des données sur les moindres comportements des stagiaires semble servir un intérêt commun que personne ne peut contester. Dans son article "Learning analytics and the Phantom Menace" Andrew Hope nous dit qu'on n'ose à peine remettre en question une technologie qui vise à plus de formation et d'engagement.

Et pourtant Andrew Hope nous montre que ce contrôle en continu transforme la vision que les enseignants et étudiants ont d'eux-mêmes et les relations de pouvoir entre eux. Il prend appui sur Michel Foucault, philosophe et historien français mort en 1984 qui a notamment écrit Surveiller et punir en 1975. Il y donne l'image du panoptique, invention architecturale de Bentham au XIXe siècle. Bentham imagine une tour située au centre de la prison qui permet de voir l'intérieur de chaque cellule. La personne au centre peut faire intervenir des gardiens, provoquer une réaction si un détenu a un comportement qui n'est pas approprié. Comme ce gardien ne peut pas être vu, personne ne sait à un moment "t" s'il est surveillé ou s'il ne l'est pas. Chacun finit donc par se comporter comme s'il était surveillé à tout moment, et chaque détenu s'empresse d'expliquer les règles aux nouveaux arrivants. Les règles du pouvoir finissent par être intériorisées.

La transparence que donnent les plateformes de e-learning sur l'activité des apprenants, sur celle des formateurs et sur celle des centres de formation n'est pas neutre. Elle permet un contrôle précis, et a donc nécessairement un impact sur les comportements. Andrew Hope nous rappelle à cet égard que Michel Foucault a toujours associé la notion de pouvoir à celle de connaissance.

foucault et le panoptique

Progressivement, pour des raisons d'objectivités statistiques, les formateurs courent le risque de s'entourer de nombreux tableaux de bord et de données en tout genre. Même si les efforts consentis pour simplifier, pour rendre la lecture de ces données agréable et pour faire ressortir les faits saillants sont conséquents, cela demande du temps.

Mais ce travail d'analyse ne doit pas se substituer aux échanges avec les apprenants. Au contraire, il peut être très utile pour préparer un entretien pédagogique. Interroger un apprenant sur sa stratégie, sur son environnement d'apprentissage, sur ses difficultés ou ses préférences reste une démarche essentielle.

L'arroseur arrosé

Le formateur qui éprouve un certain plaisir et disons-le, un sentiment de maîtrise en collectant des données sur ses stagiaires ou élèves découvrira bien vite que son responsable hiérarchique ou son client a lui aussi son tableau de bord, et contrôle lui aussi son activité. Dans le panoptique, le gardien a un pouvoir important sur des centaines de détenus... Mais il est lui aussi contrôlé sur les interventions qu'il provoque. Une activité qui produit des données paraît plus objective, plus sécurisante qu'une autre basée sur l'intuition et l'improvisation. Mais lorsque les tableaux de bord se multiplient, ils figent les méthodes et limitent les possibilités d'innovation.

Quand celui qui contrôle est à son tour contrôlé !

Les promesses des learning analytics sont séduisantes et ne manqueront pas de modifier les métiers de formateurs et d'enseignants. Mais le sentiment de maîtrise qu'ils apportent ne doit pas repousser sur le côté la relation pédagogique. Plutôt que de faire du formateur un personnage tout puissant qui saurait tout grâce à ses tableaux de bord, ces données doivent aider la personne en formation à se situer dans sa progression et à mieux comprendre ses préférences d'apprentissage.

Elles ne manqueront pas de servir de terreaux à des études qui aideront à départager les méthodes pédagogiques et seront donc très utiles aux formateurs. Gageons cependant qu'ils garderont une saine distance dès lors qu'on tentera de leur proposer des recettes, et qu'ils continueront d'inventer et d'innover !

Illustration : Frédéric Duriez

Ressources :

Surveiller et punir. Naissance de la prison, Paris, Gallimard, 1975, 328 p.

Andrew Hope Learning analytics : Foucault and the phantom menace - consulté le 25 février 2018
http://newmediaresearch.educ.monash.edu.au/lnm/learning-analytics-foucault-and-phantom-menace/


Voir plus d'articles de cet auteur

Dossiers

  • Données des étudiants


Le fil RSS de Thot Cursus - Besoin d'un lecteur RSS ? Feedly, NewsBlur


Les tweets de @Thot


Accédez à des services exclusifs gratuitement

Inscrivez-vous et recevez nos infolettres en pédagogie et technologies éducatives

Vous pourrez aussi indexer vos ressources préférées et retrouver votre historique de consultation

M’abonner à l'infolettre

Superprof : la plateforme pour trouver les meilleurs professeurs particuliers en France (mais aussi en Belgique et en Suisse)


 

Ajouter à mes listes de lecture


Créer une liste de lecture

Recevez nos nouvelles par courriel

Chaque jour, restez informé sur l’apprentissage numérique sous toutes ses formes. Des idées et des ressources intéressantes. Profitez-en, c’est gratuit !