Lito : l’ia d’apple pour recréer des objets 3d à partir d’une photo

À retenir :
– liTo est capable de reconstruire un objet en 3D à partir d’une unique image
– le modèle préserve la cohérence des effets lumineux selon l’angle de vue
– il se concentre sur les rendus crédibles avec reflets et brillances
– la technique utilise une représentation en espace latent pour compresser les données
– liTo a été entraîné sur des milliers d’objets sous différentes conditions d’éclairage

---

Apple continue de mener des recherches discrètes dans le domaine de l’intelligence artificielle, en particulier pour la modélisation 3D. Dernièrement, les chercheurs de l’entreprise ont présenté une nouvelle méthode appelée LiTo (Surface Light Field Tokenization). Cette technique révolutionnaire permet de recréer un objet en trois dimensions à partir d’une seule image tout en préservant un aspect souvent négligé : la cohérence des effets lumineux lorsque l’on change d’angle de vue.

La modélisation 3D, tout en étant déjà bien avancée grâce à divers systèmes capables d’estimer une géométrie approximative ou de générer une apparence diffuse, prend ici un nouveau tournant. LiTo vise à améliorer ce qui est connu sous le nom d’apparence dépendante du point de vue. Cela inclut des éléments essentiels comme les reflets spéculaires et les effets de type Fresnel, qui sont cruciaux pour rendre crédibles des matériaux comme le métal ou le verre. En résumé, il s’agit ici de faire en sorte que l’objet conserve son aspect matériel réaliste même lorsqu’il est tourné sous différents angles.

Le fonctionnement du modèle repose sur ce qu’on appelle une représentation en espace latent. Plutôt que de conserver chaque pixel individuellement, LiTo compresse les informations essentielles concernant la forme et la lumière dans un ensemble réduit de vecteurs. Un encodeur génère ce résumé mathématique tandis qu’un décodeur se charge ensuite de reconstruire l’objet en 3D ainsi que son interaction avec la lumière selon son orientation.

Pour développer cette technologie, LiTo a été entraîné sur plusieurs milliers d’objets provenant d’environ 150 angles différents et exposés à trois conditions d’éclairage distinctes. Plutôt que d’absorber toutes ces vues simultanément, le système prélève aléatoirement des sous-échantillons du champ lumineux afin d’apprendre à reconstituer l’ensemble.

À terme, cette innovation pourrait transformer divers domaines tels que la création 3D pour les jeux vidéo ou la réalité augmentée/virtuelle (AR/VR), ainsi que le e-commerce avec une visualisation produit plus immersive. La question demeure désormais : quand ces innovations passeront-elles au stade pratique et deviendront-elles accessibles au grand public au sein de l’écosystème Apple ?