16 décembre 2023
Parfaire les images virtuelles
Attentif aux sources lumineuses et aux interactions de la lumière avec l’environnement, le professeur Jean-François Lalonde met au point des techniques de numérisation pour reproduire virtuellement des espaces et des scènes avec un réalisme inégalé
Qu'est-ce qu'une image numérique? Fondamentalement, ce n'est qu'une grille de pixels, un assemblage de petits points de couleurs. Comment rendre cette grille si fidèle à la réalité qu'elle puisse leurrer l'œil et le cerveau humains? Notamment, en tentant d'y intégrer la représentation des effets de luminosité qu'on trouve dans le monde réel. C'est le défi que s'est donné le professeur Jean-François Lalonde du Département de génie électrique et de génie informatique.
«Au premier jour, Dieu créa la lumière», cite en riant le professeur Lalonde, pour rappeler plus sérieusement que la lumière est un élément primordial pour juger du réalisme d'une image. «Par exemple, dit-il, si on veut insérer un objet dans une photo, il faut que cet objet soit illuminé selon les mêmes sources lumineuses qui éclairent les autres objets présents dans l'image. Sinon, on n'y croira pas.» Avec son équipe, il cherche donc à mieux comprendre les interactions lumineuses présentes dans une image et à créer des algorithmes pour reproduire ces effets lumineux, qui seront différents selon les sources de lumière, les lieux représentés, les matériaux des objets présents, les angles de la caméra qui a pris les images, le degré de flou créé par la focalisation de la caméra, etc.
«Grosso modo, des sources émettent de la lumière, qui se propage un peu partout, de manière directe ou diffuse. Cette lumière interagit avec l'environnement; elle est absorbée et réfléchie par les surfaces; puis elle est focalisée par une lentille de caméra. La grille de pixels représente le résultat de tous ces éléments. Mon équipe et moi jouons en quelque sorte au détective et essayons de retracer le chemin inverse. Nous partons de la grille de pixels et tentons de dénicher les voies par lesquelles la lumière est passée depuis sa source», vulgarise le chercheur, qui est fasciné par la vision numérique depuis ses études de premier cycle à l'Université Laval.
Objet virtuel inséré dans une photo de la ville de Shanghai grâce à un algorithme d’extrapolation d’images développé par l’équipe du professeur Lalonde.
Le chemin vers la lumière… de Québec à Pittsburgh
Au début des années 2000, le jeune Jean-François Lalonde, inscrit au baccalauréat en génie informatique, fait des stages au Laboratoire de vision et systèmes numériques de l'Université Laval, où il est aujourd'hui chercheur, et au Conseil national de recherches Canada, à Ottawa. «Ces stages m'ont permis de découvrir un monde totalement fascinant. Que des algorithmes permettent à un ordinateur, qui a seulement accès à des chiffres, de reconnaître des éléments visuels comme des visages humains, ça m'a impressionné», se rappelle-t-il.
Malgré cet intérêt marqué pour la vision numérique, Jean-François Lalonde choisit d'abord de se spécialiser en robotique mobile à l'Université Carnegie-Mellon, à Pittsburgh. Dans cet établissement parmi les plus réputés au monde dans le domaine de l'informatique, il collabore à un projet de navigation autonome dans un environnement complexe. «Il s'agissait d'un robot muni de capteurs qui envoyaient et recevaient des impulsions lumineuses très rapides afin d'établir une carte virtuelle des obstacles à contourner en forêt. C'était un projet stimulant, mais je m'ennuyais de l'aspect visuel, des caméras et des pixels. Pour mes études doctorales, je voulais revenir à mes premiers amours», raconte le professeur Lalonde, qui s'est alors joint à une équipe de recherche dont les travaux se concentraient sur l'étude de la lumière dans les images numériques.
Le professeur Jean-François Lalonde, du Département de génie électrique et de génie informatique, poursuit des recherches à l’intersection de la vision numérique, de l’infographie et de l’apprentissage automatique. Il est membre du Laboratoire de vision et systèmes numériques, de l’Institut intelligence et données, et du Centre de recherche en données massives.
Après avoir obtenu son doctorat, Jean-François Lalonde travaille un an pour une jeune pousse technologique de Pennsylvanie, qui développe un logiciel permettant de retirer les ombres dans les photos. Puis, devenu stagiaire postdoctoral dans les laboratoires de Disney Research, il s'affaire à ajouter de la magie aux photos prises dans les parcs d'attractions de la célèbre compagnie. «Dans ces parcs, dit-il, il y a des employés qui prennent des clichés des clients devant des lieux emblématiques, comme le château de Magic Kingdom. Rien n'empêche d'ajouter de manière crédible la fée Clochette dans la main tendue d'une fillette qui prend la pose devant le château. C'est sur ce genre de défis que je travaillais.»
Enfin, après 9 ans à Pittsburgh, Jean-François Lalonde revient au Québec en 2013 pour enseigner et créer son groupe de recherche à l'Université Laval.
Des milliers de photos du ciel
Dès son embauche, le professeur Lalonde entreprend d'étudier l'illumination en milieu extérieur. «À l'époque, il existait quelques modèles de radiométrie qui avaient mesuré la luminescence du ciel, mais toujours dans des conditions idéales, sans nuages. Pour ma part, je voulais caractériser l'apparence et la luminosité du ciel avec toutes les formations atmosphériques qui peuvent y surgir», explique-t-il. Le chercheur est donc monté sur le toit du pavillon Adrien-Pouliot et y a installé des caméras pointées vers le firmament. «Avec mes étudiants, ajoute-t-il, j'ai analysé des milliers de photos. Puis nous avons développé des algorithmes qui permettent de représenter l'illumination extérieure dans des scénarios diversifiés qui correspondent mieux à la réalité.»
Pour mieux comprendre l’illumination extérieure dans toutes sortes de conditions météorologiques, des caméras ont été installées sur le toit du pavillon Adrien-Pouliot.
Forts de ce succès, le professeur et ses étudiants se sont ensuite lancés dans la caractérisation de la lumière dans des lieux intérieurs. Ils ont photographié des locaux du campus, des pièces de maison, des amphithéâtres, des musées, des bureaux, des épiceries…
Les résultats de ces recherches sont loin d'être anodins. En plus d'avoir permis au professeur Lalonde de mieux comprendre les interactions lumineuses dans différents milieux, les jeux de données qui ont résulté de ces travaux ont été distribués gratuitement à des centaines de laboratoires de recherche dans le monde. Près de 10 licences d'utilisation ont aussi été accordées à des entreprises de haute technologie. Pourquoi? Principalement, pour collaborer au développement de l'apprentissage automatique. «L'intelligence artificielle repose en grande partie sur l'apprentissage automatique. Or, pour entraîner les algorithmes, il faut une quantité faramineuse de données. Nous avons été le premier laboratoire dans le monde à créer une grande banque de données sur l'illumination de lieux. Étant donné qu'on a disséminé nos résultats, on ne peut savoir précisément comment nos données ont été utilisées. Par contre, il y a fort à parier que les téléphones intelligents actuels ont été entraînés, en partie, sur des données qu'on a capturées», déclare-t-il. Bref, il y a probablement un peu du ciel de Québec dans la programmation de votre téléphone.
Du design, du divertissement… et bien plus!
Les possibilités virtuelles ayant beaucoup évolué ces dernières années, les algorithmes développés par le professeur Lalonde ne se limitent plus à l'estimation de l'environnement lumineux d'une photo et à l'intégration d'un objet numérique parfaitement éclairé. Ils vont dorénavant bien au-delà des premières applications, qui se trouvaient souvent dans les domaines de la publicité, du cinéma, des jeux vidéo et du design 2D. Les recherches de son équipe portent maintenant davantage sur les environnements 3D et la réalité virtuelle.
Cet appareil de capture, composé de deux caméras à 360 degrés, permet de reproduire fidèlement l’apparence d’une scène intérieure à partir d’un point de vue arbitraire.
«Par exemple, on peut numériser entièrement une pièce dans une maison, avec tous ses bibelots et petits détails, afin de permettre sa visite virtuelle et l'expérimentation de l'ambiance visuelle qui s'y trouve. L'objectif n'est plus seulement de capturer l'apparence d'un lieu à un moment donné. On veut être en mesure d'extrapoler la représentation des changements qu'on peut y faire. Ainsi, il sera possible, au cours de la visite virtuelle, d'ouvrir et de fermer des luminaires, de déplacer une lampe, de modifier un objet qui viendra bloquer la lumière, etc.», explique le chercheur dont les travaux sont toujours un peu en avance par rapport aux applications, même si, dans son créneau, les solutions commerciales peuvent être mises au point très rapidement. «Habituellement, on voit les retombées concrètes dans les deux à trois années subséquentes. Au plus tôt, dans les mois qui suivent. Ça va assez vite!», admet-il.
À titre d'exemple, des algorithmes créés par l'équipe de recherche de Jean-François Lalonde se trouvent dans le logiciel Stager de Adobe, qui compte des millions d'utilisateurs. Ce logiciel permet de créer des designs de projet en 3D et de tester avec précision diverses compositions avec différents matériaux et éclairages. On peut notamment y définir l'intensité et l'angle des sources lumineuses.
Une autre application concrète des travaux de Jean-François Lalonde est une collaboration avec une entreprise de Québec, Arcane Technologies, qui a développé une solution d'affaires numérique pour les fournisseurs de matériaux de cuisine. Grâce à des algorithmes, il est possible de numériser l'image de sa propre cuisine, d'y changer des éléments et de visualiser le résultat.
Appareil de capture des propriétés de réflectivité des surfaces, vu sous deux angles différents. Sur la photo de gauche, on voit, au centre, le capteur de couleur et de profondeur (Azure Kinect) et, autour, des sources lumineuses synchronisées avec la caméra.
Et pourquoi ne pas aller plus loin? Le professeur Lalonde imagine très bien qu'on puisse utiliser les résultats de ses travaux dans un effort de préservation des bâtiments historiques. «Actuellement, si on veut visualiser ce que peut donner la rénovation d'un bien patrimonial, il faut installer des échafauds, engager des experts, aller scanner les lieux et utiliser des méthodes très dispendieuses. Avec quelques algorithmes et une caméra tout à fait conventionnelle, on pourrait visualiser le résultat d'une rénovation», illustre-t-il.
L'immersion virtuelle pour simuler des situations propices à la formation et à l'enseignement peut également être envisagée. «Par exemple, on pourrait utiliser des algorithmes pour représenter de manière très réaliste des lieux accidentés ou inaccessibles afin de mieux former les personnes appelées à intervenir dans des contextes de situations dangereuses. Toute la société en profiterait», conclut avec enthousiasme Jean-François Lalonde devant les possibilités infinies de la réalité virtuelle.
Pour en savoir plus sur le projet de recherche concernant l'illumination extérieure, lisez «Poussez les limites de la création 3D»
Apprenez-en plus sur l'apport de Jean-François Lalonde au logiciel Stager d'Adobe.
