Cette journée d’étude praTIC, qui s’est tenue à l’instigation d’Etienne Armand Amato et d’Etienne Perény, aux Gobelins, l’Ecole de l’Image, en partenariat avec le laboratoire Paragraphe de l’Université Paris 8 et l’Observatoire des mondes numériques en sciences humaines, a proposé le matin divers présentations et travaux de recherches et offert l’après-midi une carte blanche aux Editions Volumiques, invitées à présenter leurs projets et à aborder certains sujets qui leur tenaient à coeur.

Etienne Armand Amato a commencé par une courte introduction sur les enjeux de la jouabilité, de l’interactivité et de la cognition, thème de cette journée. Ainsi a-t-il précisé, à la jouabilité correspond l’image, à l’interactivité, l’interfaçage et à la cognition, le corps.

La jouabilité, c’est une traduction de l’américain gameplay. C’est la « propriété d’un objet ou d’un système se prêtant à une activité ludique ». Comment, s’est-il demandé, la jouabilité interactive agit-elle sur la cognition ? Question difficile à laquelle ont cherché à répondre les intervenants de la matinée.

La perspective, l’immersion, et au-delà

Dominique Boullier (Wikipédia), professeur en sociologie à Sciences Po et coordonnateur scientifique du Médialab, est également le créateur du laboratoire Lutin.

Ce qui fonde la modernité, a-t-il expliqué, c’est la perspective. Cette notion implique l’existence d’un cône visuel, avec une référence extérieure : le spectateur. Celui-ci est en dehors de ce qu’il contemple. Jusqu’à la Renaissance, les gens vivaient dans un espace agrégat, qui servait surtout pour raconter des histoires. Avant la perspective, on se trouvait dans un espace lisible. Avec elle, on est entré dans un espace visible, explique le chercheur.

Que se passe-t-il aujourd’hui avec l’immersion ? Si Dominique Boullier a d’abord pensé que celle-ci deviendrait le cadre principal de nos perceptions, il a depuis élaboré une théorie plus complexe, impliquant un double système, avec d’un côté l’immersion (« perceptive et désirante ») du domaine du corps, et de l’autre le gameplay (narratif et social) plutôt lié au texte.

L’attention se divise en durée et en intensité. Dans ce cadre, l’immersion gère surtout l’intensité, tandis que le gameplay, chargé de la narration, est plutôt lié à la durée.

En tout cas, cela constitue un nouveau paradigme : « nous ne sommes plus à l’extérieur des situations ». Au contraire du spectacle que nous avons constitué avec la perspective, nous habitons désormais à l’intérieur d’un espace fait à la fois d’immersion et de gameplay. Et ce nouveau modèle a un rapport direct avec la façon dont on s’engage dans l’activité scientifique.

Nous avons constitué une extériorité du sujet par rapport à la connaissance. Pour le public, on utilise également une image : celle de la science déjà faite. Ce qui reste de la science ce sont le plus souvent des images à caractère de spectacle, regrette le chercheur. Mais aujourd’hui ces notions évoluent : l’activité scientifique implique la navigation dans les datascapes, ces « paysages de données » : on est dans l’immersion exploratoire, on voit la science en train de se faire. Désormais, les chercheurs utilisent des outils qui figurent dans le jeu vidéo. Avec la crise écologique, la mondialisation, nous devons admettre d’être politiquement à l’intérieur et pas au-dessus ou à côté. La controverse – pour faire référence aux travaux de Bruno Latour et des équipes du Medialab telles que les exposaient récemment Tommaso Venturini – fait désormais partie intégrante de l’activité scientifique et celle-ci ne peut plus être séparée de la sphère publique. « C’est la fin du spectacle de la maîtrise moderne. »

L’étude de la cognition dans l’activité ludique

Le Lutin Gamelab est une plateforme visant à étudier le comportement humain. C’est un Living Lab qui regroupe chercheurs, industriels et citoyens. Hamid Bessaa, chercheur en psychologie cognitive et Charles Tijus, directeur du Lutin Userlab, nous ont présenté une partie de leur recherche.

Les chercheurs du Lutin travaillent avec des BCI (Brain Computer Interfaces ou Interface neuronale directe), des environnements virtuels, le « cross media » (c’est-à-dire des systèmes permettant de mettre en réseau différents médias, faisant passer par exemple un avatar d’un environnement virtuel à un plateau TV), etc.

Ils s’intéressent aux différentes dimensions du jeu, tant techniques que sociales, et se posent des questions du genre : « est-ce que Super Mario est un serious game ? » Quelles sont les compétences mises en oeuvre lorsqu’on joue ? Comment sont mises à contribution l’habileté, la mémoire, la créativité et les connaissances ? Quels sont les types d’apprentissages permis ?

Il existe trois sortes d’apprentissage. Ils peuvent être incidents (quand on apprend quelque chose de manière marginale, qui ne figure pas au coeur de l’activité ludique), implicites (quand on ne sait pas qu’on apprend quelque chose) ou explicites (là, le jeu a pour but de nous délivrer un savoir ou un savoir-faire : c’est le cas des serious games).

Plus complexe, les chercheurs se sont interrogés sur la validité de l’apprentissage dans un jeu vidéo. Autrement dit, ce qu’on y a appris peut-il être transféré vers d’autres jeux, voire la vie quotidienne ? Enfin, last but not least, la question a porté sur le réalisme du jeu, et la science de la simulation qu’un tel réalisme implique.

Pour tester le comportement des joueurs, on peut appliquer deux types de techniques. D’abord les méthodes classiques ou subjectives, ensuite, d’autres plus expérimentales. Les premières fonctionnent à l’aide d’un questionnaire : on demande tout simplement au joueur ce qu’il a pensé de son expérience. Les méthodes expérimentales, pour leur part, cherchent à recueillir des informations en temps réel sur l’expérience du joueur en utilisant une batterie de tests physiologiques non invasifs, et notamment l’oculométrie. Grâce à cette dernière, on analyse les points où se fixe le regard du joueur. Cela permet de savoir ce qui est perçu et retenu. On peut ainsi repérer les premiers éléments saisis dans une scène et les zones de l’interface susceptibles de poser problème, parce qu’elles ne sont pas assez explicites, pas assez explorées.

On a ainsi pu constater qu’un joueur expert parcourt et assimile les données beaucoup plus rapidement qu’un novice qui va examiner toute l’interface pour récupérer l’information dont il a besoin.

Un autre axe de recherche concerne le ressenti émotionnel du joueur. Là, ce sont les fréquences cardiaques, respiratoires et électrodermales qui sont examinées. Il est en effet important d’étudier la corrélation entre le rythme du jeu et le rythme émotionnel du joueur. Cela aide à délimiter les périodes de jeu qui sollicitent trop le joueur et le fatiguent. C’est aussi le moyen de mesurer précisément l’impact d’évènements spécifiques au cours du jeu.

Les chercheurs du Lutin ont terminé par la présentation de deux de leurs études. La première concernait l’impact de la qualité de l’image sur le joueur, autour de la question : la haute définition (HD) apporte-elle une valeur ajoutée ? Pour le savoir ils ont utilisé un oculomètre et des mesures physiologiques. Ils ont ainsi découvert qu’on se sent plus relaxé lorsqu’on regarde une image en haute définition, les niveaux de stress baissent. C’est une émotion qu’on retrouve avec le cinéma qui procure un effet plus apaisant. La perception subjective du temps change également avec l’impression d’avoir passé moins de temps devant l’écran.

Grâce à l’oculométrie, ils ont aussi pu observer des différences cognitives liées à la haute définition. En basse définition, on regarde plus le centre de l’image, avec la HD, le spectateur s’intéresse davantage à la périphérie, aux détails. Il comprend mieux la scène.

L’autre exemple des travaux du gamelab a impliqué l’usage, toujours très excitant, des interfaces cerveau-machine, notamment grâce à l’utilisation d’un logiciel en open source, Openvibes. Les chercheurs ont essayé de mesurer les états mentaux des joueurs. Leur but était de créer un état mental, de le récupérer via les interfaces électro-encéphalographiques (EEG), permettant de mesurer l’activité électrique du cerveau, puis d’adapter le monde virtuel au résultat obtenu.

Ils caressent aussi un projet assez ambitieux : récupérer une onde cérébrale quand on fait un mouvement dans le monde réel, puis essayer de le faire accomplir « en imagination » par le sujet. Mais ont-ils précisé, il est très difficile de demander aux gens d’imaginer un mouvement.

Ils ont utilisé pour leur recherche un électroencéphalogramme classique qui contient de nombreuses électrodes, mais aussi un casque Neurosky, qui n’en possède qu’une seule. En général, cet appareil n’a pas une grande réputation de fiabilité, mais les chercheurs du Lutin nous ont affirmé avoir obtenu des résultats plus intéressants en « hackant » ce dispositif, et en bricolant l’électrode de manière à ce qu’elle se retrouve en contact avec l’occiput plutôt qu’avec le front.

Le modèle du joueur

Stéphane Natkin, professeur d’informatique au laboratoire du Centre d’étude et de recherche en information et communication (Cedric) du Conservatoire national des arts et métiers et directeur de l’Ecole nationale du jeu et des médias interactifs numériques s’est intéressé aux méthodes nous permettant de comprendre le joueur pour améliorer le game design, la conception de jeu. Cela pourrait permettre aux jeux d’acquérir des caractéristiques pour différents usages (thérapeutiques, commerciaux…) mais aussi créer des jeux adaptatifs.

La première question qui se pose dans le jeu est celle de la difficulté (voir également « Comprendre le rôle de la difficulté dans les jeux vidéo »). On définit celle-ci comme la probabilité d’échec selon le niveau du joueur. Il existe en général trois types de difficultés. Celle qui est d’ordre perceptive, et qui consiste à trouver des indices cachés. Celle qui appartient à la logique, et qui ne se limite pas seulement aux jeux de stratégie : on la trouve aussi dans les jeux d’action, lorsqu’il s’agit de découvrir et pratiquer des « combos » de différentes touches pour déclencher des « coups spéciaux ». Enfin, il y a la difficulté physique, par exemple atteindre une cible au bon moment.

Mais comment la mesure-t-on ? Parmi les membres du Cedric, Guillaume Levieux a écrit une thèse entière sur cette question de la mesure. Pour effectuer cette évaluation, on peut par exemple introduire des « espions » dans le code du jeu pour savoir comment le joueur réagit à son environnement. En général, on cherche à maintenir le joueur dans un état de flow, c’est-à-dire d’expérience optimale, afin que les épreuves qu’il rencontre ne soient ni trop difficiles, ni trop faciles. Plus il progresse, et plus la complexité des tâches à accomplir s’accroit. Mais une enquête montre que les choses ne sont pas toujours simples : certains joueurs préfèrent se faire fracasser 50 fois par un monstre et gagner la 51 plutôt qu’apprendre progressivement.

« Jeu serai » est un autre exemple donné par Stephen Natkin employant les techniques classiques du jeu vidéo pour mesurer le comportement d’une personne et l’aider à choisir, à partir de ses actions, une orientation professionnelle qui lui corresponde. Pour créer de tels systèmes, une modélisation de la psychologie s’avère nécessaire. Pour « Jeu Serai », les concepteurs ont employé le modèle de RIASEC de Holland (un modèle qui s’appuie sur 6 catégories d’intérêts professionnels à savoir : le Réaliste, l’Investigateur, l’Artistique, le Social, l’Entreprenant et le Conventionnel) pour déterminer les différents choix vocationnels possibles (vous pouvez faire votre profil en répondant au questionnaire).

Autre exemple, encore une fois élaboré au Cedric par Chen Yan (.pdf) : il consiste à adapter la narration dans les les « jeux ubiquitaires multijoueurs », c’est-à-dire les activités ludiques en réalité mixte, lesquelles sont la plupart du temps pauvres en contenu narratif. Ici, le joueur se voit proposer un certain nombre de choses à faire. En fonction de ses choix, il crée une narration que les « meneurs de jeux » vont pouvoir utiliser pour continuer à lui proposer des épreuves en accord avec ses compétences. Dans ce cadre, le modèle psychologique utilisé a été celui des « Big Five », qui distingue 5 grands traits de personnalité psychologique : l’extraversion, le névrosisme, l’agréabilité, la conscience et l’ouverture à l’expérience.

Malgré l’imperfection de ces modèles, ils peuvent s’avérer extrêmement utile, par exemple dans le domaine des jeux cognitifs destinés aux patients âgés et pré-Alzheimer. Mais cela peut aussi être dangereux, a rappelé Natkin, Zynga (Wikipédia), le spécialiste des jeux sur les réseaux sociaux, utilise des modèles très sophistiqués pour évaluer les comportements de ses joueurs et les adapter…, lui, à des fins purement marketing. Et force est de reconnaître que la cognition appliquée aux jeux sert bien souvent pour l’instant d’abord des fins marketing que la jouabilité et l’interraction.

Rémi Sussan

Crédit photo : Photos de E2A