À retenir : – matrix3d reconstruit des scènes et objets en 3D à partir de photos en 2D – architecture unifiée simplifiant le processus de reconstruction – méthode d’entraînement innovante utilisant un apprentissage masqué – système performant générant des reconstructions précises avec seulement trois images – projet open source disponible sur GitHub
Apple a récemment présenté un modèle d’intelligence artificielle baptisé Matrix3D, qui révolutionne la manière de créer des scènes et objets en trois dimensions à partir d’images en deux dimensions. Cette initiative provient de l’équipe Machine Learning d’Apple, en partenariat avec des chercheurs de l’Université de Nanjing et de l’Université des Sciences et Technologies de Hong Kong.
Matrix3D se distingue par sa capacité à reconstruire des environnements 3D simplement à partir de quelques photos 2D. Contrairement aux logiciels traditionnels qui s’appuient sur plusieurs modèles différents pour traiter différentes étapes comme l’estimation de pose ou la prédiction de profondeur, ce nouveau modèle adopte une architecture intégrée. Cette approche simplifie considérablement le processus tout en améliorant à la fois efficacité et précision. En effet, Matrix3D traite simultanément les images, les paramètres camera et les données relatives à la profondeur.
Un autre aspect novateur du modèle réside dans sa méthode d’entraînement. En utilisant une stratégie d’apprentissage masqué — semblable à celle adoptée par certains premiers modèles Transformers tels que ChatGPT — Matrix3D a été formé pour combler les parties manquantes lors du traitement des données. Cela lui permet ainsi d’opérer avec succès même lorsque les ensembles de données sont limités ou incomplets.
Le résultat final est un système capable de générer des reconstructions 3D précises uniquement avec trois images, offrant ainsi une avancée significative pour les technologies liées à la réalité augmentée et virtuelle, notamment avec l’Apple Vision Pro. À noter que le code source relatif à ce projet est disponible en open source sur GitHub
Extraterestre un peu perché du haut de ma soucoupe, j'aide la bande avec mes articles d'un très haut niveau orthographique. Je suis moi aussi passionné de high tech depuis que mon modem 56K faisait pas mal de bruit en chargeant mon AOL illimité.
