Portrait de groupe

Essai de portrait de groupe : 5 personnes en plan serré poitrine (ici, plutôt en plan serré taille), mains invisibles. Vidéo de 30 secondes, muette, format 16/9,  avec l'aide des stagiaires du Cube.

  

 

En plan serré poitrine cela donne plutôt ça :

 

 

 

Avec les images prises pour "Regards d'amour..." :

 

deux dispositions des 5 personnages en PSP

 

 

 

ou avec seulement 4  personnages :

Paupières, yeux, visage, torse et bras

Les paupières

 
Le problème des paupières a été résolu par Wissem : un masque (couche alpha) de l'intérieur des yeux (de la vidéo projetée sur le mesh) permet de garder le mouvement naturel des paupières lors de la prise de vue.

 

 

Il y a encore un petit défaut dans le masque mais ça fonctionne.

(voir aussi la vidéo de démo ici.)

 

 

Les yeux

Afin de parfaire le réalisme, j'ai filmé mes yeux en très gros plan et HDV, de face et en regardant dans les quatre directions opposées.

 

 

Ce qui m'a permis de recréer un "oeil" sous forme de globe oculaire aplati.

 

 

Ensuite, j'ai répété le travail pour 25 images par seconde, soit une séquence en boucle de 3 secondes.

 

Note : Cela ne résoud pas encore le paramétrage de la pupille, qui pourrait se rétracter ou se dilater selon l'état d'émotion du personnage.

(vidéo bientôt en ligne)

 

 

Le visage 

 

Le rendu du visage me pose un souci d'ordre esthétique :  

• soit il est brut (c'est à dire non retravaillé) et cela crée des effets de bord très importants lorsqu'il tourne la tête (car la vidéo est très étiré à ces endroits-là à cause de sa projection 2D sur une surface 3D) - mais le rendu brut est plus proche de la matière vidéo d'origine -
  
• soit il est retouché (dans Photoshop) et les effets de bord sont adoucis - mais le rendu est plus "doux", donc plus proche d'une matière 3D -.
  

Une manière supplémentaire de masquer les bords est d'éclairer dans la scène 3D avec une lumière frontale qui obscurcit juste au niveau des tempes (mais cela ne résoud pas le problème lorsque la tête se tourne).

 

 

Le torse

 

Les premiers rendus de torse ont été faits en prenant pour base un export d'image HDV.

 

 

Ces premiers tests de rendu ne m'ont pas convaincu (vraiment trop 3D).

Les mains, particulièrement, sont difficiles à accepter.

 

 

Wissem a cherché à améliorer le rendu en passant par Z-brush ou en multipliant directement le nombre de polygones du mesh, mais cela devenait beaucoup trop lourd d'un point de vue temps réel.

 

 

 

Enfin, Wissem a démarré des essais de mouvement des bras de ce torse, soit par animations préconstruites (et donc chargées intégralement en mémoire par Virtools), soit par animations interpolées (avec images clés uniquement, donc plus souple et moins lourd en mémoire). Hormis que la deuxième solution est plus intéressante en terme de souplesse de travail et de possibilités, les deux solutions ont un résultat assez pauvre esthétiquement.

(voir la vidéo bientôt mise en ligne)

 

  

Conclusion : les mouvements de bras sont à proscrire et les mains ne doivent pas être visibles. Cela oblige à revoir le cadre et la façon dont les Gardiens sont cadrés ( plutôt en plan serré poitrine donc). A suivre dans le prochain article ....

Physiologie de l'oeil

"L'oeil est souvent comparé à un appareil photographique, mais il serait plus juste de le comparer à une caméra de télévision fixée sur un tripode asservi à un système de poursuite automatique ; cette caméra posséderait une mise au point automatique, un contrôle de l'ouverture du diaphragme selon l'intensité lumineuse et une lentille auto-lavable; en outre elle serait reliée à un ordinateur très élaboré, capable de traiter en parallèle l'information." (David Hubel "L'oeil, le cerveau et la vision") 

Bases anatomiques de l'oeil (coupe schématique transversale et distances moyennes).

Lorsqu'il voit une cible et qu'il l'accroche, le but de l'oeil est de garder cette cible le plus possible au centre de sa fovéa, qui est la partie la plus dense en cônes et donc la plus précise en termes de définition.

C'est le phénomène de (con)vergence qui permet aux yeux de suivre le même objet dans l'espace, chacun gardant la cible à sa fovéa.

Si l'oeil regarde au loin (à l'infini), les deux axes du regard sont parallèles.

Si la cible s'approche trop près, il y a un seuil de convergence, dit punctum proximal de convergence (PPC) ou "point de bris". C'est la plus courte distance positive positive MK, pour laquelle l'alignement fovéal peut être conservé. Sa valeur moyenne est MK=7,5cm (soit Cr=44°).. Au-dessous du point de bris, l'oeil directeur garde l'alignement, l'autre s'écarte en se mettant en exotropie (les deux yeux regardent en parallèle).

Pendant la fixation sur la cible, les yeux ne sont pas complètement immobiles. Ils effectuent trois types de micromouvement :

• les micronystagmus : fins tremblements de très petite amplitude et de fréquence assez élevée
  
• les dérives ou glissades, mouvements lents dont la vitesse ne dépasse pas 15'/s et l'amplitude 5'
  
• les microsaccades, mouvements rapides dont l'amplitude varie, suivant les sujets et les circonstances de 2 à 20'.
  

Ces micromouvements sont involontaires mais indispensables (pour la vision des couleurs et des contours).

Les saccades sont des mouvements oculaires volontaires qui permettent de centrer l'image d'un objet sur la fovéa, scruter une scène visuelle et localiser des cibles ou constater leur absence. Ce sont des mouvements très rapides, dont la vitesse est proportionnelle à la distance à parcourir : 400°/s pour 10° et 700°/s pour 80°. La vitesse maximale est 700°/s ( ou : une saccade dure de 100ms pour une amplitude de 40° à moins de 25ms pour une amplitude de 10°. La relation durée/amplitude est linéaire).

Il y a une première saccade dite principale, dont l'amplitude correspond à 90% de la distance à parcouri, et une saccade secondaire dite "corrective" amenant les yeux sur la cible.

Lorsqu'une cible apparaît sur la périphérie du champ visuel, nous réalisons en premier une saccade oculaire, puis un mouvement de la tête en direction de l'objet  accompagné d'un mouvement des yeux dans le sens opposé (mouvement compensatoire). le mouvement de la tête n'est pas systématique, il est déclenché dès que la rotation de l'oeil dépasse 30°

Il existe aussi des saccades exploratoires qui sont utilisées pour scruter une scène visuelle, où notre regard saute sans arrêt d'un point à un autre.

Les clignements des yeux correspondent à l'abaissement de la paupière qui assure le nettoyage automatique de la face antérieure de la cornée. Lorsqu'une irritation y survient, ses fibres nerveuses transmettent l'information qui provoque le réflexe de clignement de l'oiel et la sécrétion de larmes. Ces clignements, effectués de manière involontaire, sont réalisés en moyenne toutes les 3 secondes et leur durée n'excéde pas 160ms. Les clignements volontaires, eux, ont une durée supérieure à 250ms.

Sources :

"Capture et suivi du regard par un système de vision dans le contexte de la communication homme-machine" C.Collet, mars 1999, mémoire de thèse, archives Limsi.fr

"Eléments et réflexions d'optique physiologique" Claude Darras, Ed. ERA, 1995

Démarrage

Et bien voilà, le développement de l'installation a commencé.

Et tout d'abord, toute la partie de tests 3D se met en place, au sein du laboratoire du Centre de création numérique d'Art300-Le Cube à Issy-les-Moulineaux.

Après plusieurs rendez-vous avec Florent Aziosmanoff, directeur de projet, depuis avril 2007, j'ai scindé mon projet initial, "Regards d'amour / Regards de haine" en deux : une installation plus contemplative qui conserve ce nom (voir Blog Regards sur mon site ) et cette nouvelle installation, "Les Gardiens", une oeuvre numérique comportementale.

Un étudiant de l'ENST, Wissem Boussouda, a été recruté par Le Cube pour démarrer les premiers tests 3D. Il travaille sous l'égide de Didier Bouchon, directeur de développement.

Nous avons décidé de procéder par étapes.

La première étape est actuellement de valider le suivi des visiteurs par le regard d'un unique personnage. Est-ce que cela fonctionne (et comment ) un personnage en 3D qui suit du regard un visiteur ? Celui-ci va-t-il se sentir effectivement suivi ? Quels sont les paramètres en jeu ?

Parallèlement, il s'agit aussi de tester toute la procédure de fabrication des personnages : tournage et montage vidéo, fabrication d'un mesh (ou tricot 3D), type de gestion des yeux.

Je me suis donc filmé début janvier sur fond vert pour préparer un personnage qui me ressemblerait. (il s'est révélé qu'un fond vert n'était pas utile par ailleurs). Le tournage a eu lieu au Cube, en vidéo HDV, pour un montage en 1080i.

Wissem a récupéré ces images pour commencer à fabriquer un mesh sur Maya, sur lequel sera projetée la séquence vidéo (AVI) de mon visage.

Puis se sont posées les premières questions concernant les yeux (et par extension les paupières, qui se révélent avoir une importance particulière dans le rendu du regard) :

quel type d'yeux faut-il fabriquer ? des globes oculaires indépendants ou une projection sur le mesh du visage ?

• A priori, l'avantage des globes oculaires indépendants est qu'ils sont plus faciles à paramètrer et bouger, mais ils posent aussi le problème des paupières (faut-il des paupières indépendantes ?);
• tandis que l'avantage de la projection sur le mesh du visage est l'économie de moyens, mais nous ne savons pas si le rendu peut être beau (et toujours le problème des paupières).
  

Par ailleurs, si nous utilisons des globes oculaires indépendants, allons-nous utiliser une image fixe d'oeil, une projection de vidéo d'un oeil spécialement fabriqué ou une projection identique à celle utilisée sur le visage ?

• L'image fixe ne me conviendrait pas car je veux un oeil "vivant" (de la même manière que les visages sont des projections de vidéos).
  
• La projection d'un oeil spécialement fabriqué (c'est à dire dont la pupille est entourée d'un large blanc) n'a pas encore été testé (en cours).
  
• La projection de la même projection que celle du visage pose un problème de cisaillement aux bordures des yeux.

Enfin, si nous utilisons la projection sur le mesh du visage, il s'agit de tirer les vertices de la pupille pour créer le suivi du regard; et nous n'avons pas encore testé ça.

Et dernièrement, il y a le problème délicat des paupières. Elles sont déterminantes dans l'expression du regard. Dans tous les cas de figure, le clignement des paupières pose un problème de réglage et de rendu ===> faut-il les rendre indépendantes et pouvoir les paramétrer ? ou conserver l'originale (et abandonner leur paramétrage) ?

A suivre donc.....