L’après-midi de la journée d’étude “praTIC” a été largement consacré à la problématique du jeu sérieux. La session a commencé par une table ronde regroupant des membres du Play Research Lab, un laboratoire de ludologie au carrefour des univers industriel et universitaire. On y conçoit et évalue des jeux et des expériences utilisateurs.

Sylvain Haudegon, spécialiste en psycho-ergonomie a été le premier à intervenir. Outre le plaisir de l’expérience, les concepteurs de jeux sérieux doivent s’assurer que leur produit apporte un bénéfice dans le monde réel, a-t-il expliqué. D’ailleurs, ce questionnement s’immisce aussi dans l’industrie du jeu vidéo traditionnel, puisque Nintendo, par exemple, a récemment publié une déclaration spécifiant qu’il visait à créer des jeux susceptibles d’améliorer la qualité de vie des joueurs. Cela implique toutefois d’aller plus loin que l’évaluation traditionnelle propre au game design. Dans les serious games, il faut s’assurer de l’efficacité d’un jeu… c’est-à-dire ce “soucier de la preuve”.

Malgré la valeur des méthodes de l’industrie ludique, celles-ci ne sont pas encore scientifiques. Or, c’est ce dont auraient besoin les serious games. De fait, dans ce domaine, il faut être plus attentif que jamais aux biais méthodologiques : le moindre comportement de l’évaluateur peut influencer celui du joueur. Le niveau des statistiques employées doit aussi augmenter. Les industriels du jeu utilisent des statistiques descriptives pour découvrir des tendances, mais les chercheurs en jeux sérieux recourent à ces dernières de manière plus complexe, par exemple pour comparer des groupes entre eux.

Aurélien Libessart, doctorant en sciences de l’éducation, nous a parlé des “traces de l’usage et de l’usage des traces”. Pour lui, il ne faut pas confondre mesure et évaluation. La mesure est un processus qui permet de collecter des traces, tandis que l’évaluation, elle, se trouve au niveau supérieur, elle est une analyse de ces dernières. Dans un jeu, il est très facile de collecter et enregistrer des traces. Mais il est beaucoup plus difficile de remonter jusqu’au stade de l’évaluation. Divisant le travail d’analyse en cinq “W”, il a précisé que la mesure s’intéresse surtout aux quatre premiers d’entre eux : Who, What, Where et When. Tel joueur a effectué telle action à tel moment et à tel endroit du jeu. L’évaluation ! s’intéresse, pour sa part, au dernier des W : Why ? Pourquoi le joueur a-t-il agi ainsi ? Et comment relier les actions entreprises dans le jeu avec les situations de la vie réelle ?

Observer simplement le comportement du joueur au sein du jeu, à l’aide de ses traces, ne suffit pas. Ainsi, terminer le jeu avec succès est-il le signe que le joueur apprenant a bien compris la matière enseignée ? A-t-il réellement acquis les compétences qu’il doit assimiler, ou simplement apprit à terminer le jeu ? De plus, les traces ne nous renseignent guère sur ce que le joueur n’a pas fait, soit qu’il ait choisi de s’abstenir d’une action, soit qu’il ait été contrarié dans son désir d’accomplir celle-ci.

A cause de toutes ces questions, Aurélien Libessart suggère qu’à l’examen des traces doit se joindre deux techniques d’autoconfrontation. Dans l’autoconfrontation simple, le joueur revient sur ses actions et les examine. Dans l’autoconfrontation croisée, c’est un deuxième joueur qui donne son avis sur les actions du premier. En trouvant un moyen de répondre aux quatre premiers W, on espère comprendre un peu le Why, le pourquoi des décisions du joueur.

Julian Alvarez, le responsable du Play Research Lab, s’est, lui, intéressé à la réussite des serious games, et découvert que bon nombre d’entre eux ont manqué d’accompagnement dans plusieurs domaines, qui sont la conception, la diffusion ou l’utilisation. L’équipe a pris un corpus de 151 serious games, commençant en 1998 (on ne les appelait pas encore serious games à l’époque, mais le principe était déjà en application), et a essayé d’identifier les lacunes qui ont empêché certains de connaître le succès.

Alvarez a listé de nombreux problèmes d’accompagnement à la conception. Parmi eux, les plus intéressants sont sans doute la nécessité d’accompagner le commanditaire à la culture ludique. Certains donneurs d’ordre souhaitent en effet réaliser un serious game mais ne possèdent aucune connaissance dans le domaine du jeu vidéo : ils ne jouent pas eux-mêmes. Cela rend la communication difficile entre l’équipe de game designers et son commanditaire. Le cas peut paraître curieux : pourquoi quelqu’un voudrait-il un serious game s’il ne s’intéresse pas au jeu ? A cela, on m’a répondu que bien souvent, la personne vient chez les game designers sur ordre de ses supérieurs, quasiment sous la contrainte : fondamentalement elle n’y croit pas.

Autre obstacle, l’aspect juridique. Selon le secteur abordé, il existe des règles qui doivent être connues et respectées. Par exemple, dans le secteur médical, un laboratoire ne peut mettre en scène ses propres produits. La dernière objection est plus surprenante : on dit souvent, explique Alvarez, que le serious game naît de l’association entre un expert et un game designer. Mais on oublie souvent de réfléchir sur la manière dont cette expertise va s’incarner dans le jeu. Il manque souvent un ingénieur pédagogique, susceptible d’apporter l’accompagnement nécessaire à cette opération. J’avoue avoir cru que toutes les équipes de serious game comprenaient systématiquement un pédagogue ! Visiblement, ce n’est pas encore si répandu…

La diffusion peut aussi présenter des difficultés. Ainsi, a affirmé Alvarez, lorsqu’on introduit un serious game dans un écosystème, cela crée fréquemment des mutations et des réorganisations de l’écosystème en question. Dans le cas d’une école, par exemple, cela change les habitudes des enseignants.

L’accompagnement marketing est également fondamental. En fait, dans un jeu vidéo classique, le coût marketing est équivalent à celui de la production. Cela ne concerne pas que les jeux payants, mais également les modules gratuits. Il faut s’assurer que le jeu arrive bien entre les mains de la cible visée. Il cite à cet égard l’exemple particulièrement parlant de Technocity, consacré à la découverte de l’environnement professionnel. Le CD a été envoyé sous enveloppe aux établissements scolaires, avec un simple mot mentionnant le thème du jeu. Il est arrivé dans les CDI des collèges. Malheureusement, il était destiné aux enseignants de 4e et 3e, et du coup ne s’est jamais retrouvé dans les salles de classe.

Les accompagnements à l’utilisation peuvent être de deux ordres. Le premier concerne l’usager lui-même. Celui-ci peut ne pas arriver à s’investir dans le produit, soit parce que sa compétence en matière de jeu est trop faible, soit parce qu’au contraire il a l’habitude jouer chez lui à des jeux bien plus sophistiqués, et qu’il n’arrive pas à s’intéresser à un système de règles trop simples. L’accompagnement à la lecture est parfois nécessaire. Alvarez a mentionné le cas de certains jeux militants visant à dénoncer une situation, mais qui peuvent être interprétés de manière inverse. Il a cité à cet effet le jeu 12 Septembre, qui met en scène des combats contre des terroristes au Moyen-Orient, mais qui entraîne des dommages collatéraux à cause de l’imperfection de l’armement utilisé. Le but de l’auteur était de dénoncer l’escalade de la violence, mais certains peuvent interpréter au contraire le jeu comme un appel à fournir aux troupes sur le terrain un armement plus perfectionné…

L’avatar : miroir ou interlocuteur ?

Sébastien Allain de l’Observatoire des mondes numériques en sciences humaines et consultant en design d’interaction s’est intéressé à la “mise en abyme” du joueur au sein des jeux sérieux. Ancien concepteur chez Daesign, il s’est largement inspiré de travaux effectués au sein de cette société. Il s’intéresse notamment aux jeux vidéo sérieux d’aide à l’apprentissage ou au recrutement, basés sur des simulations de relations interpersonnelles.

Le problème, explique-t-il, c’est que, dans ces situations, le personnage représentant le joueur, l’avatar, est considéré comme le miroir de celui qui le manipule. On effectue donc en général, l’évaluation sur les comportements de ce personnage. Mais jusqu’à quel point cette idée du miroir fonctionne-t-elle ? Peut-on réellement assimiler l’utilisateur à son personnage ?

Dans les modèles qui postulent l’existence d’une immersion totale, la question ne se pose pas : le joueur et son personnage sont identiques. Mais il existe d’autres théories, plus subtiles. Celle de l’immersion “fictionnelle” suppose que l’utilisateur peut à la fois être immergé dans l’univers virtuel et rester dans le monde réel, ayant en quelque sorte une double présence. Et d’autres vont plus loin en pensant que toute séance de jeu implique des fluctuations de l’immersion.

Se basant là-dessus, Alain émet son hypothèse : l’évaluation du joueur ne se fait pas simplement via son reflet : “C’est l’interaction entre le joueur et son personnage qui autorisent l’interprétation des résultats.” Il faut donc passer, argumente-t-il, du paradigme du miroir à celui d’une “mise en abyme actée”. La mise en abyme est une récursion à l’infini. Elle est parfois appelée l’effet “Vache qui rit”, parce que la vache sur boite de fromage possède des boucles d’oreilles en forme de boite de Vache qui rit, lesquelles portent bien sûr l’image d’une vache avec des boucles d’oreilles, etc. La mise en abyme proposée par Sébastien Allain ne va pas jusqu’à l’infini. Elle consiste à établir une distance entre le joueur et son personnage. Celui-ci peut parfois se retourner vers l’utilisateur et s’adresser directement à lui, sur un mode conversationnel. Sébastien Alain nous a montré l’exemple d’un serious game consacré au comportement professionnel à adopter avec les pensionnaires d’une maison de retraite. Dans la version classique, lorsque l’utilisateur effectue un mauvais choix, il reçoit un commentaire écrit l’informant de son erreur. Dans le cas de la mise en abyme, au contraire, le personnage (une infirmière) se retourne vers l’écran et dit alors : “je ne veux pas agir ainsi. Ce serait intrusif”. Pour revenir aux théories sur l’immersion, cette action provoque volontairement une fluctuation, une distanciation entre le joueur et la simulation.

Est-ce que cela change quelque chose à l’apprentissage ? Après évaluation des joueurs (via des questionnaires et analyses des traces), il semble bien que oui. Si le volume de parties “gagnées” n’est pas supérieur avec la version en “mise en abyme”, on remarque cependant que le nombre de faux pas répétés diminue lorsque l’avatar s’adresse au joueur : autrement dit, on mémorise mieux ses erreurs avec cette version. De plus, souvent, les utilisateurs perçoivent un désaccord entre leur choix et le comportement de l’avatar qui s’en suit. Cela se passe de la même manière dans les versions classiques et “collaboratives”, mais dans le second cas, ils se sentent plus écoutés par le jeu. Ils ont moins l’impression que le système fonctionne mal, mais pensent plutôt qu’ils se trouvent f ! ace aux difficultés d’une relation interpersonnelle entre eux et leur avatar.

Le suivi du regard, une technologie en développement

Antoine Luu, directeur commercial de Tobii, a donné un intéressant cours d’oculométrie. On a vu que cette technique, qui consiste à analyser les mouvements du regard d’un utilisateur, joue un grand rôle dans le domaine de l’évaluation des jeux et logiciels, mais également dans celui de la publicité.

Il existe deux types de comportement oculaire. La fixation et la saccade. Dans la fixation, le regard se pose suffisamment longtemps pour que le cerveau ait le temps d’enregistrer l’information. Au contraire, lors des saccades, il est incapable d’effectuer une telle opération. Les temps nécessaires varient selon les opérations. Par exemple, lors d’une lecture silencieuse, une fixation efficace dure environ 200 ms. Cela veut dire qu’en une seconde, le cerveau peut traiter efficacement environ cinq informations. Lorsqu’on tape au clavier, au contraire, une fixation efficace dure environ 400 millisecondes. La taille compte également : une fixation est capable de gérer des informations sur un ou deux degrés du champ visuel, environ la largeur du pouce. Le “eye tracking”, a-t-il insisté, n’est pas qu’une technologie : c’est avant tout une méthodologie. Il faut savoir établir un protocole. Si cette opération est mal faite, on peut en arriver à dire n’importe quoi.

Luu a montré plusieurs démonstrations de ce qu’il est possible de produire avec l’oculométrie. On peut faire défiler un texte sur un écran par le simple regard, choisir une image, voire jouer à un jeu vidéo ou taper sur un clavier virtuel “sans les mains”… Très bientôt sortira d’ailleurs un périphérique de jeu vidéo basé sur l’eye tracking.

La ludologie est-elle en passe de devenir une véritable science ? Peut-être pas encore, mais à l’issue de cette journée, on ne peut qu’être frappé par la profusion et la complexité des méthodes employées pour évaluer l’expérience utilisateur. On a manifestement affaire à une branche naissante des sciences cognitives.

Rémi Sussan

Retrouvez le dossier “Tests et mesures des productions interactives” :

• 1re partie : des sciences cognitives aux tests d’interfaces
• 2e partie : évaluer un jeu vidéo
• 3e partie : évaluer le “sérieux” d’un jeu