Les Gardiens

Personnalités des Gardiens

2009-06-16T01:41:00.000-07:00

Chaque personnage à l'écran a une personnalité propre, c'est à dire une manière unique de réagir dans l'échange avec l'autre (le visiteur).

Cette personnalité influe évidemment sur leur comportement lors de l'échange avec le visiteur, notamment au moment de son arrivée, où la première expression est très précisément liée à ce caractère.

Les personnages n'ont pas d'humeur, bonne ou mauvaise, car il n'y a aucun moyen pour un visiteur de savoir d'un moment à l'autre (ou d'un jour à l'autre) quelle est leur humeur.

Exemples de personnalités :

Personnage 1 a une personnalité très trempée, marquée : soupe au lait, il passe brusquement d'une émotion à une autre si le visiteur change de comportement. Il n'est ni optimiste, ni pessimiste, juste un peu méfiant au départ.

Personnage 2 a une personnalité optimiste, c'est à dire qu'il considère qu'un visiteur n'est ni hostile ni agressif a priori. Il a une curiosité amicale dès le départ. Il réagit de façon assez lente : les transformations de ses émotions sont très fines.

Personnage 3 est joueur : dès l'arrivée du visiteur, il aura tendance à vouloir jouer avec lui, par exemple en mimant les mouvements du visiteur (ou en cherchant à l'amener à le mimer lui).

Personnage 4 est fondamentalement pessimiste (c'est le prototype de l'ashkénaze !). Il considère que tout visiteur est un risque potentiel. Il ne se met jamais en colère, et si la tension due au comportement du visiteur devient trop forte, il pleure.

Personnage 5 est indifférent. Il regarde le visiteur avec une sorte de mépris et ne sourit jamais. Il peut se mettre subitement à rire.

A partir de cette base (à développer) des personnalités, chaque personnage a sa propre structure de changement d'attitudes et d'émotions, en fonction du comportement du visiteur.

Chacune de ces structures inclut aussi le rapport du personnage aux autres personnages. Ainsi, une des phases de l'échange entre le personnage et le visiteur peut être le partage de cet échange avec un (ou les) autre(s) personnage(s) : Personnage 1 est content et veut que son voisin immédiat puisse partager ce contentement ; ou Personnage 5 est furieux et amène tous les autres personnages à regarder avec colère le visiteur qui a provoqué cette fureur ; ou des personnages regardent Personnage 4 qui pleure et essaient de le consoler, puis regardent avec animosité le visiteur qui a provoqué ces pleurs.

Inventaire(s)

2009-06-02T09:51:00.000-07:00

L'objectif est d'arriver fin septembre à produire un démonstrateur, c'est à dire une maquette avec si possible cinq personnages différents (ou sinon cinq "moi" aux comportements différents).

Ce démonstrateur permettra de travailler et de visualiser :

les expressions faciales et comportementales (corporelles) des personnages ;
la gestion globale du collectif (chaque personnage individuellement) ;
la gestion à l'intérieur du collectif (les interactions des personnages entre eux) ;
le tout étant relié à un système de captation des visiteurs, qui permet de paramétrer leurs comportements.

1- Liste des variables à tester :

Visage :

front (rides)
sourcils
espace entre sourcils
paupières
ouverture oeil
iris oeil
pupille oeil
pommettes
joues
bouche
menton

Corps :

tête
cou
épaules
buste
respiration

Décor :

lumière ambiante
fond de l'image

2- Liste des expressions des personnages (1ère approche) :

Curiosité
Indifférence
Sourire amical
Joie franche
Bonheur
Mauvaise humeur
Colère
Peur
Tristesse
Pleurs
Jeu (clin d'oeil)
Mimétisme (le personnage imite le visiteur)

"Les Gardiens" ou "La projection des intentions"

2009-05-29T06:40:00.001-07:00

Nous ne savons pas vraiment ce que veulent les Gardiens. Que gardent-ils ? Qu'expriment-ils ?Pourquoi nous regardent-ils ainsi, fixement, nous suivant du regard ?

Nous ne connaissons pas leurs intentions ; nous ne pouvons que projeter sur eux notre imagination : nous interprétons leur regard, leur expression, car nous n'avons aucun fait réel pour nous en donner la clef. Nous ne pouvons que supputer !

Et ces Gardiens sont bien réellement des projections, puisqu'ils sont "réellement"un film vidéo 2D plaqué (projeté) sur une structure 3D.

Ils sont donc en quelque sorte une projection de notre conscience, un miroir de notre regard et de notre façon d'interpréter.

Les Gardiens n'ont donc pas à proprement parler d'intentions vis à vis des visiteurs. Ils sont intuitifs. Lorsqu'il y a quelqu'un, ils se mettent eux-mêmes dans une sorte d'interrogation face à cet "autre", cette altérité ; et cette interrogation va prendre une forme différente pour chaque Gardien, selon sa personnalité, son humeur et le comportement du visiteur.

Il n'y a pas de départ ni d'arrivée, pas de finalité : il n'y a qu'échange. Le but n'est pas de plaire ou de se faire aimer (en tout cas pas du point de vue des Gardiens), mais de vivre un échange. Une expérience.

Reprise de chantier

2009-05-19T03:51:00.000-07:00

Le chantier Virtools des Gardiens a été repris au Cube par Mickaël Malheuvre, stagiaire provenant de l'ENSSAT à Lannion.

Il s'agit maintenant de rendre cohérent le débroussaillage qui avait été fait par Wissem Boussada : il a modélisé le personnage, testé les possibilités de vidéo projeté sur un mesh (tricot) 3d et commencé à faire bouger yeux et tête.

Voici donc une liste non exhaustive des chantiers à mettre en oeuvre :

1- MODELISATION
Fabriquer un tricot unique pour chaque personnage (tête et torse d'un côté, yeux de l'autre) ; fabriquer une vidéo en éliminant autant que possible les effets de bord (étirements).
2- SUIVI DU REGARD
Comment donner l'impression au visiteur d'être suivi du regard par le(s) personnage(s) : mouvement des yeux, de la tête, du torse.
3- CHANGEMENT DANS UNE EXPRESSION
si le personnage regarde un visiteur, son expression de base se transforme, en jouant sur les vertices (sommets des polygones) des différents paramètres de l'expression (voir liste de ces paramètres plus loin).
4- TRANSITION D'UNE EXPRESSION A UNE AUTRE
Il y a un mesh commun à toutes les expressions d'un personnage, sur lequel sont projetés les vidéos des expressions. Ces expressions sont extrèmement typées (neutre/ amical/ hostile/ colère/ pleurs/ ...). Pour passer d'une expression à une autre, il faut conserver la position du personnage, changer les positions des vertices du mesh pour qu'ils correspondent à la nouvelle vidéo et projeter dessus cette nouvelle vidéo.
Peut-être, y en aura-t-il peu finalement et que le travail de déformation des vertices suffira à faire une grande partie de l'expression.
5- EFFET DE PRESENCE
Comment donner l'impression que les personnages ont une vie propre ? Par exemple, en leur donnant un léger mouvement flottant du torse, ou de la tête,...
6- SCENARISATION
Qui sont-ils ? Que "gardent"-ils ? Que veulent-ils ? Que font-ils ? Que se joue-t-il ?
7- INTERACTIONS GARDIENS/VISITEURS
c'est à dire la grammaire émotionnelle. Chaque Gardien a une personnalité différente, qui va le faire réagir différemment aux comportements des visiteurs.
8- INTERACTIONS GARDIENS ENTRE EUX
Les Gardiens entre eux peuvent avoir un comportement de groupe. Certaines situations peuvent créer un effet de groupe (par exemple, se mettre tous ensemble à regarder un visiteur ou plusieurs regardent un des leurs).

Liste des paramètres du visage qui jouent dans l'expression du visage :

Le front (rides)
Les sourcils (froncement)
L'iris (dilatation/contraction)
Les paupières (battements)
La bouche (contraction/étirement)

Portrait de groupe

2008-03-18T00:49:00.000-07:00

Essai de portrait de groupe : 5 personnes en plan serré poitrine (ici, plutôt en plan serré taille), mains invisibles. Vidéo de 30 secondes, muette, format 16/9, avec l'aide des stagiaires du Cube.

En plan serré poitrine cela donne plutôt ça :

Avec les images prises pour "Regards d'amour..." :

deux dispositions des 5 personnages en PSP

ou avec seulement 4 personnages :

Paupières, yeux, visage, torse et bras

2008-03-17T02:08:00.000-07:00

Les paupières

Le problème des paupières a été résolu par Wissem : un masque (couche alpha) de l'intérieur des yeux (de la vidéo projetée sur le mesh) permet de garder le mouvement naturel des paupières lors de la prise de vue.

Il y a encore un petit défaut dans le masque mais ça fonctionne.

(voir aussi la vidéo de démo ici.)

Les yeux

Afin de parfaire le réalisme, j'ai filmé mes yeux en très gros plan et HDV, de face et en regardant dans les quatre directions opposées.

Ce qui m'a permis de recréer un "oeil" sous forme de globe oculaire aplati.

Ensuite, j'ai répété le travail pour 25 images par seconde, soit une séquence en boucle de 3 secondes.

Note : Cela ne résoud pas encore le paramétrage de la pupille, qui pourrait se rétracter ou se dilater selon l'état d'émotion du personnage.

(vidéo bientôt en ligne)

Le visage

Le rendu du visage me pose un souci d'ordre esthétique :

soit il est brut (c'est à dire non retravaillé) et cela crée des effets de bord très importants lorsqu'il tourne la tête (car la vidéo est très étiré à ces endroits-là à cause de sa projection 2D sur une surface 3D) - mais le rendu brut est plus proche de la matière vidéo d'origine -
soit il est retouché (dans Photoshop) et les effets de bord sont adoucis - mais le rendu est plus "doux", donc plus proche d'une matière 3D -.

Une manière supplémentaire de masquer les bords est d'éclairer dans la scène 3D avec une lumière frontale qui obscurcit juste au niveau des tempes (mais cela ne résoud pas le problème lorsque la tête se tourne).

Le torse

Les premiers rendus de torse ont été faits en prenant pour base un export d'image HDV.

Ces premiers tests de rendu ne m'ont pas convaincu (vraiment trop 3D).

Les mains, particulièrement, sont difficiles à accepter.

Wissem a cherché à améliorer le rendu en passant par Z-brush ou en multipliant directement le nombre de polygones du mesh, mais cela devenait beaucoup trop lourd d'un point de vue temps réel.

Enfin, Wissem a démarré des essais de mouvement des bras de ce torse, soit par animations préconstruites (et donc chargées intégralement en mémoire par Virtools), soit par animations interpolées (avec images clés uniquement, donc plus souple et moins lourd en mémoire). Hormis que la deuxième solution est plus intéressante en terme de souplesse de travail et de possibilités, les deux solutions ont un résultat assez pauvre esthétiquement.

(voir la vidéo bientôt mise en ligne)

Conclusion : les mouvements de bras sont à proscrire et les mains ne doivent pas être visibles. Cela oblige à revoir le cadre et la façon dont les Gardiens sont cadrés ( plutôt en plan serré poitrine donc). A suivre dans le prochain article ....

Physiologie de l'oeil

2008-03-12T01:27:00.001-07:00

"L'oeil est souvent comparé à un appareil photographique, mais il serait plus juste de le comparer à une caméra de télévision fixée sur un tripode asservi à un système de poursuite automatique ; cette caméra posséderait une mise au point automatique, un contrôle de l'ouverture du diaphragme selon l'intensité lumineuse et une lentille auto-lavable; en outre elle serait reliée à un ordinateur très élaboré, capable de traiter en parallèle l'information." (David Hubel "L'oeil, le cerveau et la vision")

Bases anatomiques de l'oeil (coupe schématique transversale et distances moyennes).

Lorsqu'il voit une cible et qu'il l'accroche, le but de l'oeil est de garder cette cible le plus possible au centre de sa fovéa, qui est la partie la plus dense en cônes et donc la plus précise en termes de définition.

C'est le phénomène de (con)vergence qui permet aux yeux de suivre le même objet dans l'espace, chacun gardant la cible à sa fovéa.

Si l'oeil regarde au loin (à l'infini), les deux axes du regard sont parallèles.

Si la cible s'approche trop près, il y a un seuil de convergence, dit punctum proximal de convergence (PPC) ou "point de bris". C'est la plus courte distance positive positive MK, pour laquelle l'alignement fovéal peut être conservé. Sa valeur moyenne est MK=7,5cm (soit Cr=44°).. Au-dessous du point de bris, l'oeil directeur garde l'alignement, l'autre s'écarte en se mettant en exotropie (les deux yeux regardent en parallèle).

Pendant la fixation sur la cible, les yeux ne sont pas complètement immobiles. Ils effectuent trois types de micromouvement :

les micronystagmus : fins tremblements de très petite amplitude et de fréquence assez élevée
les dérives ou glissades, mouvements lents dont la vitesse ne dépasse pas 15'/s et l'amplitude 5'
les microsaccades, mouvements rapides dont l'amplitude varie, suivant les sujets et les circonstances de 2 à 20'.

Ces micromouvements sont involontaires mais indispensables (pour la vision des couleurs et des contours).

Les saccades sont des mouvements oculaires volontaires qui permettent de centrer l'image d'un objet sur la fovéa, scruter une scène visuelle et localiser des cibles ou constater leur absence. Ce sont des mouvements très rapides, dont la vitesse est proportionnelle à la distance à parcourir : 400°/s pour 10° et 700°/s pour 80°. La vitesse maximale est 700°/s ( ou : une saccade dure de 100ms pour une amplitude de 40° à moins de 25ms pour une amplitude de 10°. La relation durée/amplitude est linéaire).

Il y a une première saccade dite principale, dont l'amplitude correspond à 90% de la distance à parcouri, et une saccade secondaire dite "corrective" amenant les yeux sur la cible.

Lorsqu'une cible apparaît sur la périphérie du champ visuel, nous réalisons en premier une saccade oculaire, puis un mouvement de la tête en direction de l'objet accompagné d'un mouvement des yeux dans le sens opposé (mouvement compensatoire). le mouvement de la tête n'est pas systématique, il est déclenché dès que la rotation de l'oeil dépasse 30°

Il existe aussi des saccades exploratoires qui sont utilisées pour scruter une scène visuelle, où notre regard saute sans arrêt d'un point à un autre.

Les clignements des yeux correspondent à l'abaissement de la paupière qui assure le nettoyage automatique de la face antérieure de la cornée. Lorsqu'une irritation y survient, ses fibres nerveuses transmettent l'information qui provoque le réflexe de clignement de l'oiel et la sécrétion de larmes. Ces clignements, effectués de manière involontaire, sont réalisés en moyenne toutes les 3 secondes et leur durée n'excéde pas 160ms. Les clignements volontaires, eux, ont une durée supérieure à 250ms.

Sources :

"Capture et suivi du regard par un système de vision dans le contexte de la communication homme-machine" C.Collet, mars 1999, mémoire de thèse, archives Limsi.fr

"Eléments et réflexions d'optique physiologique" Claude Darras, Ed. ERA, 1995

Démarrage

2008-01-25T03:45:00.001-08:00

Et bien voilà, le développement de l'installation a commencé.

Et tout d'abord, toute la partie de tests 3D se met en place, au sein du laboratoire du Centre de création numérique d'Art300-Le Cube à Issy-les-Moulineaux.

Après plusieurs rendez-vous avec Florent Aziosmanoff, directeur de projet, depuis avril 2007, j'ai scindé mon projet initial, "Regards d'amour / Regards de haine" en deux : une installation plus contemplative qui conserve ce nom (voir Blog Regards sur mon site ) et cette nouvelle installation, "Les Gardiens", une oeuvre numérique comportementale.

Un étudiant de l'ENST, Wissem Boussouda, a été recruté par Le Cube pour démarrer les premiers tests 3D. Il travaille sous l'égide de Didier Bouchon, directeur de développement.

Nous avons décidé de procéder par étapes.

La première étape est actuellement de valider le suivi des visiteurs par le regard d'un unique personnage. Est-ce que cela fonctionne (et comment ) un personnage en 3D qui suit du regard un visiteur ? Celui-ci va-t-il se sentir effectivement suivi ? Quels sont les paramètres en jeu ?

Parallèlement, il s'agit aussi de tester toute la procédure de fabrication des personnages : tournage et montage vidéo, fabrication d'un mesh (ou tricot 3D), type de gestion des yeux.

Je me suis donc filmé début janvier sur fond vert pour préparer un personnage qui me ressemblerait. (il s'est révélé qu'un fond vert n'était pas utile par ailleurs). Le tournage a eu lieu au Cube, en vidéo HDV, pour un montage en 1080i.

Wissem a récupéré ces images pour commencer à fabriquer un mesh sur Maya, sur lequel sera projetée la séquence vidéo (AVI) de mon visage.

Puis se sont posées les premières questions concernant les yeux (et par extension les paupières, qui se révélent avoir une importance particulière dans le rendu du regard) :

quel type d'yeux faut-il fabriquer ? des globes oculaires indépendants ou une projection sur le mesh du visage ?

A priori, l'avantage des globes oculaires indépendants est qu'ils sont plus faciles à paramètrer et bouger, mais ils posent aussi le problème des paupières (faut-il des paupières indépendantes ?);
tandis que l'avantage de la projection sur le mesh du visage est l'économie de moyens, mais nous ne savons pas si le rendu peut être beau (et toujours le problème des paupières).

Par ailleurs, si nous utilisons des globes oculaires indépendants, allons-nous utiliser une image fixe d'oeil, une projection de vidéo d'un oeil spécialement fabriqué ou une projection identique à celle utilisée sur le visage ?

L'image fixe ne me conviendrait pas car je veux un oeil "vivant" (de la même manière que les visages sont des projections de vidéos).
La projection d'un oeil spécialement fabriqué (c'est à dire dont la pupille est entourée d'un large blanc) n'a pas encore été testé (en cours).
La projection de la même projection que celle du visage pose un problème de cisaillement aux bordures des yeux.

Enfin, si nous utilisons la projection sur le mesh du visage, il s'agit de tirer les vertices de la pupille pour créer le suivi du regard; et nous n'avons pas encore testé ça.

Et dernièrement, il y a le problème délicat des paupières. Elles sont déterminantes dans l'expression du regard. Dans tous les cas de figure, le clignement des paupières pose un problème de réglage et de rendu ===> faut-il les rendre indépendantes et pouvoir les paramétrer ? ou conserver l'originale (et abandonner leur paramétrage) ?

A suivre donc.....