Focus sur l'état émotionnel de l'utilisateur [Thèse]

Lorsque votre jeu vidéo réagit à vos émotions

Étudiant en panique devant une formation en ligne, s’imaginant tué par Pythagore. Son ordinateur intervient lui demandant si tout va bien.

Voyager en 2077 dans une société cyberpunk, devenir un viking navigant vers l’Angleterre du IXe siècle, se balader dans le Paris de la révolution, chasser et survivre dans un monde de fantaisie rempli de monstres du Jurassique, voilà ce que peuvent permettre les jeux vidéo. De nombreuses stratégies sont déployées pour augmenter la sensation d’immersion des joueurs dans ces mondes alternatifs. Ces stratégies consistent à des stimuli en provenance d’un logiciel, en réponse à une action, un comportement, ou encore à un événement de la trame narrative du monde virtuel dans lequel il est plongé. Comment pourrait-il en être autrement ?

Dans la majorité des cas, l’immersion du joueur dépend de son focus, de son habilité à se concentrer, se connecter émotionnellement sur le jeu et son contenu. Et si cela était l’inverse ? Et s’il était possible d’inverser le rapport d’attention entre utilisateur et logiciel ? Si au lieu d’être le récepteur de l’information, l’utilisateur devenait l’émetteur de l’information à partir de laquelle le logiciel ou le jeu adapterait sa trame narrative ?

Imaginez alors un jeu dans lequel le temps pourrait se distordre en fonction de votre pouls ; où un personnage demanderait si vous êtes nerveux en fonction de la crispation de votre mâchoire où, dans le contexte d’un logiciel éducatif, les exercices proposés seraient adaptés à l’appréhension que vous avez avant de les réaliser. Vous voici en plein dans le sujet du travail doctoral de Viviane Gal, un voyage entre le vivant et le technologique, le réel et le virtuel intitulé :

« Vers une nouvelle Interaction Homme Environnement dans les jeux vidéo et pervasifs : rétroaction biologique et états émotionnels : apprentissage profond non supervisé au service de l’affectique ».

Pourquoi lire cette thèse

Le plus appréciable dans cette thèse est la trame narrative et la sensation que l’auteure veille sur son lecteur et l’accompagne afin de prévenir tout accroc théorique pouvant le bloquer dans sa compréhension et faciliter l’intrication et la compréhension de sujets aussi distants que complexes tels que la psychophysiologie des émotions ou encore les différentes méthodes d’analyse de signaux non supervisées.

L’un des points à la fois positifs et négatifs de cette thèse est l’humilité de l’auteure. Cette humilité est constante tout au long de la thèse et reste fondée la plupart du temps ; il est en effet primordial de rester conscient que nous faisons partie d’une communauté plus grande que soi lorsque nous faisons de la recherche. Néanmoins, quelquefois cela tend à réduire l’intérêt et l’impact de nos travaux.

C’est un peu le cas ici, où l’auteure rappelle que ces résultats ne sont que des prémices de quelque chose de plus grand. Nous pouvons alors nous poser la question suivante : est-il plus important d’ouvrir une porte ou de la franchir ? Ce travail de recherche ouvre indéniablement une voie qui lui est propre et trace un sillon qui permettra la réalisation de nombreux travaux de recherche. C’est dans ça que réside la beauté de cette humble thèse.

Question de recherche

L’Homme est un organisme biologique intrigant et complexe en recherche de moments exceptionnels, de sensations fortes ou encore de bien-être. Pour vivre ce type d’expériences, il s’est inventé divers moyens et activités en accord avec sa personnalité et ses attentes, plus ou moins risquées, dont font partie les jeux vidéo.

Ainsi, il joue afin de se divertir, prendre du plaisir, s’évader ou encore apprendre. Ces mondes et projections d’un soi virtuels constituent des alternatives pour atteindre des aspirations propres à chacun d’entre eux. C’est ainsi par le jeu et sa perception sensorielle que l’utilisateur recherche des émotions et désire vivre des moments singuliers pouvant être associés à la compétitivité, la coopération, la curiosité, le divertissement, le défi, ou à n’importe quelles autres sollicitations.

L’interface entre l’utilisateur et le logiciel constitue alors le frein principal d’immersion du joueur dans cette réalité alternative. L’auteure pose alors la problématique centrale de son travail de recherche : comment apporter à l’utilisateur cette expérience émotionnelle unique sans interfaces homme-machine invasives ?

L’objectif de ce travail de recherche est d’identifier et valider des méthodes permettant d’offrir aux utilisateurs une nouvelle liaison interactive liée à ses sens et ses états émotionnels pour permettre une immersion singulière et intelligente en l’absence de dispositifs physiques autres que son corps.

La finalité serait une machine capable de récolter et comprendre les informations relatives à l’état émotionnel de l’utilisateur afin de proposer des réponses et interactions spécifiques. L’émotion du joueur serait alors une donnée prise en compte par le logiciel qui réagirait alors en conséquence, en fonction de son contexte, de son histoire, de sa perception, de son analyse, de son ressenti ou encore de son vécu.

Extrait

Chaque chapitre a constitué une étape marquante de mes travaux de recherche. Côtoyer l’humain sous différents angles de vision : biologique, physiologique, psychologique… dans son environnement, sa perception et son vécu, permet de mieux le comprendre, de répondre plus précisément à ses attentes, d’entrer en harmonie voir en “homéostasie” avec lui. Vouloir lui offrir du bonheur, le faire vibrer, lui procurer du rêve ou plus largement des émotions, quelles qu’elles soient, est une de nos ambitions. L’humain est vraiment au cœur de notre projet même si pour ce faire nous utilisons des technologies diverses portées par l’informatique et un univers un peu restreint pour une meilleure appréhension et compréhension que sont les jeux.
Notre but : proposer une nouvelle Interaction Homme Environnement dans les jeux vidéo et pervasifs avec rétroaction biologique et états émotionnels, a déclenché une vague de questions telles que :
Peut-on découvrir des états émotionnels à partir de mesures physiologiques issues de bio-capteurs de contact ?
Si oui, ces capteurs peuvent-ils être remplacés par des dispositifs distants, donc non invasifs, et produire les mêmes résultats ?

En résumé

Le résultat principal de cette thèse est la mise en place d’une méthode permettant de reconnaitre des individus et de catégoriser des émotions de manière aveugle, c’est-à-dire être capable les distinguer à partir de données captées sans pour autant pouvoir leur attribuer un qualificatif (peur, joie, anxiété…). Ce dispositif rend possible la distinction des profils émotifs des utilisateurs en vue de la mise en place de rétroactions émotionnelles Humain-Machine.

La méthode n’est certes aboutie mais le travail de recherche de Vivianne Gal représente les prémices d'un système d’interaction Humain-Environnement avec des technologies, non ou peu invasives, capable de mesurer, interpréter et permettre des rétroactions biologiques spécifiques aux états émotionnels de leurs utilisateurs.

Relevant de nombreux défis, ces travaux permettent la mise en place d’une base de décryptage des émotions humaines, en accès libre et pouvant être optimisée dans des travaux futurs. L’auteure compare son travail de thèse à une simple brique constituant les fondations d’un projet transdisciplinaire de plus grande envergure.

Pour vous convaincre d’explorer cette thèse, je me contenterais de citer les derniers mots de l’auteure

« Les travaux menés dans cette aventure, que constitue cette thèse, ouvrent la voie à de nouvelles études ou applications pouvant contribuer à l’analyse des données, de nouvelles interfaces, interactions Humain-Machine, Humain-Environnement, Humain-Humain… et finalement à ce que je nommerais l’affectique. »

Science-fiction découlant de cette thèse

Et si nous envisagions des jeux vidéo ludiques sensibles à nos émotions. Des élèves pourraient alors interagir avec un programme d’enseignement capable de prévenir leurs phobies scolaires. Un logiciel de mathématiques pourrait proposer des exercices et problèmes adaptés afin de d'aider à construire son estime personnelle et sa confiance dans cette discipline ? Il est facile de parler avec des « et si… ».

Ce défi technologique auquel Vivianne Gal cherche à résoudre est noble. En effet, en cherchant des technologies peu couteuses, et accessibles à tous, ces travaux de recherche pourraient permettre des changements sociétaux et pédagogiques plus qu’intéressants. N’est-ce pas ce que nous appellerions le progrès ?

Bonne lecture !

Soutenue le 09-12-2019 à Paris, CNAM , dans le cadre de l’École doctorale Informatique, télécommunications et électronique de Paris , en partenariat avec Centre d'études et de recherche en informatique et communications (Paris) (laboratoire) .

Sources

Thèse :

Viviane Gal. Vers une nouvelle Interaction Homme Environnement dans les jeux vidéo et pervasifs: rétroaction biologique et états émotionnels: apprentissage profond non supervisé au service de l’affectique. Interface homme-machine [cs.HC]. Conservatoire national des arts et métiers - CNAM, 2019. Français. NNT: 2019CNAM1269. tel-02477340v2.

Lien thèse :

https://tel.archives-ouvertes.fr/tel-02477340v1

Publication associée :

Gal, V. ; Banerjee, S. and Rad, D. V. Investigation of Emotion Instances and Class Analysis from Physiological Sensors by Unsupervised Hybrid EMDeep Model. In Journal of Intelligent and Fuzzy Systems, 38 (5): 5999-6017, 2020.