Henri Maître -  LTCI-Télécom ParisTech

Les primitives de beauté d'une image

L'esthétique a fait irruption dans le domaine de la photographie depuis un peu plus de 10 ans, permettant d'évaluer une image, non point sous l'aspect de la qualité (ensemble de propriétés techniques déjà contrôlées depuis de nombreuses années, en particulier pour optimiser les paramètres de compression), mais sous l'aspect de sa beauté, c'est-à-dire en fonction du plaisir ressenti par l'observateur. C'est dans cet objectif que certains appareils photo proposent aujourd'hui d'intervenir sur le contraste, la mise au point ou la balance des blancs et vont même jusqu'à suggérer des cadrages et des pointages.

Si les systèmes les plus performants dans l'évaluation de la beauté des photos, utilisent aujourd'hui des réseaux de neurones et donc des primitives cachées, une littérature assez riche s'est penchée sur les critères objectifs de beauté en photographie. Leurs inspiration est issue très souvent des manuels de photographie, réinterprétés par les traiteurs d'images.

Ces travaux ont, en parallèle, conduit à des études pour en vérifier la validité, soit par des approches statistiques, soit parétudes de psycho-sociologie expérimentale.

Nous examinerons ici les primitives qui sont le plus souvent impliquées dans l'évaluation de la beauté : règles de formatage et de cadrage, règles sur la photométrie, sur la colorimétrie règles de mise au point et de rapport objet/fond, règles sur la composition, etc.

Nous confronterons ces travaux aux grandes tendances de la pensée actuelle sur le beau, tant en philosophie qu'en neurobiologie. 

Henri Maître est professeur émérite au LTCI-Télécom ParisTech. Il a enseigné l'optique, puis le traitement numérique des images depuis de nombreuses années. Ses domaines de recherche ont concerné l'imagerie médicale, l'imagerie satellitaire ainsi que l'imagerie pour les beaux-arts. Ses derniers travaux concernent d'une part l'appareil photo, d'autre part l'esthétique des photos. Il a également dirigé le LTCI-UMR 5141 pendant 10 ans et a été directeur de la Recherche de Télécom-ParisTech pendant 5 ans.

Référence : Qu'est-ce qu'une belle photo ? https://hal-imt.archives-ouvertes.fr/hal-01864135

Kenneth Vanhoey – Unity Labs

L'apprentissage profond : une réponse à tous les problèmes de computational photography ?

En 2012, un vieil algorithme impopulaire et peu utilisé écrase la concurrence dans le benchmark de classification ImageNet: il s’agit des réseaux de neurones artificiels. On est à l’aube de l’ère du deep learning. Depuis, cette méthode a permis à des machines de battre des humains à de nombreuses tâches, notamment d’analyse et de traitement d'image. De nombreux domaines de l’informatique (graphique) sont impactés, dont en particulier le computational photography. Les classements des meilleurs algorithmes sur les benchmarks de superresolution, colorisation, inpainting, etc. sont aujourd’hui tous (ou presque) menés par des algorithmes de deep learning. Alors, simple effet de mode ? Ou solution miracle à tous les problèmes de computational photography ?

En mettant de côté toute préconception dogmatique à ce sujet, cette présentation a pour objectif de prendre du recul sur ces méthodes récentes et d'initier une discussion à ce sujet.

Nous survolerons ainsi rapidement une liste d'applications de Computational Photography, puis allons voir par l'analyse de solutions existantes qu’il existe une classe de problèmes pour laquelle le deep learning est particulièrement indiquée, et une classe pour laquelle toute preuve reste à faire.

Kenneth Vanhoey est un chercheur dont les travaux se situent à l'interface entre l'informatique graphique et la vision. Lors de sa thèse à l'université de Strasbourg, il a contribué à l'acquisition, au traitement et au rendu d'objets 3D numérisés, puis à la synthèse de texture par l'exemple dans un cadre de rendu temps-réel. Depuis, il a contribué à divers aspects du Computational Photography lors de ses post-docs à Inria et l'ETH Zürich, intégrant progressivement du deep learning dans ses solutions. Kenneth a récemment rejoint Unity Technologies afin de préparer le futur de la production temps-réel avec les nouvelles possibilités offertes par cet outil. Dans l'équipe de recherche Unity Labs à Grenoble, il développe de nouvelles méthodes de deep-learning appliquées au rendu et à la synthèse de textures à la volée, à la création de contenu par l'exemple et à la décomposition intrinsèque d'images.

Informations & publications : www.kvanhoey.eu/

Sylvain Duchêne - IRT B<>COM et Check & Visit

Multi view Computational Photography

Depuis une dizaine d’années, les systèmes de capture d’une scène évoluent vers des configurations  multi vues dans le but de créer des expériences plus immersives qu’une expérience cinéma en 2D. Les systèmes Lightfields, rigs de capture stéréo, caméra 360 ainsi que les téléphones mobiles multi capteurs sont maintenant des systèmes de capture à la portée du grand public. D’un autre coté les supports de visualisation évoluent avec l’essor de casque de VR, RA. Néanmoins, nos usages ne sont toujours pas bouleversés par ces systèmes multi-vues pour créer du contenu. Pourquoi ?

Cette présentation parcourra aux travers de scènes capturées par des systèmes multi vues, différents travaux réalisés pour manipuler le point de vue et les conditions d’éclairage/texture d’une scène et ce malgré l’incertitude de la reconstruction 3D d’un point observé depuis plusieurs caméras.

Dans un premier temps à l’Inria de Grenoble, Sylvain Duchêne travaille en tant qu’ingénieur expert sur les traitements temps réel dédiées aux problèmes de captations stéréoscopiques en live, estimation de profondeur depuis un rig de caméra stéréo et techniques de synthèses de point de vue en temps réel. Il effectue ensuite sa thèse à l’Inria de Sophia Antipolis  ( https://team.inria.fr/graphdeco/ ) sur la manipulation de scène extérieur reconstruite à partir de capture multi vues et de reconstruction 3D notamment autour du delighting  (décomposition intrinsèque) et relighting (rééclairage). Il effectue son post doc à Technicolor sur les problématiques de grading intéractif à partir d’une seule image en condition d’éclairage mixte pour les coloristes. Au sein de l’IRT b<>com ( https://b-com.com/en ) , il participe aux activités de recherche en machine/deep learning, en captation et synthèse multi vues et au développement d’un framework de Slam open source, SolAR ( http://solarframework.org ) . Depuis peu, il occupe également le poste de CTO chez check and visit ( https://checkandvisit.com/ ), une entreprise qui produit des états des lieux.