Apple développe une ia visuelle pour transformer des images 2d en 3d

À retenir :
– Apple travaille sur l’IA visuelle avec un modèle nommé SHARP.
– SHARP transforme des images 2D en scènes 3D photoréalistes en moins d’une seconde.
– La technologie utilise des représentations gaussiennes, offrant rapidité et détail.
– Des limites existent, notamment concernant la profondeur et les reflets complexes.
– Apple introduit également des outils comme GIE-Bench et IMPACT pour améliorer la compréhension des images et du langage.

---

Apple continue de progresser avec détermination dans le domaine de l’intelligence artificielle. Plusieurs études récentes révèlent une stratégie bien définie visant à enrichir la compréhension des images, du langage et de la spatialisation, tout en maintenant un haut niveau d’exigence en matière de qualité. Ces recherches s’inscrivent dans le prolongement des fonctionnalités lancées avec iOS 16 et visionOS, telles que les scènes spatiales qui apportent une nouvelle dimension aux photos ordinaires.

Au cœur de ces innovations se trouve SHARP, un modèle d’IA open source capable de générer rapidement une scène 3D photoréaliste à partir d’une unique image 2D, le tout en moins d’une seconde sur un GPU standard. Contrairement aux techniques traditionnelles qui reposent sur des modèles polygonaux, SHARP utilise des représentations gaussiennes composées de millions de volumes ellipsoïdes. Cette approche permet une reconstruction rapide et détaillée, même si elle est limitée aux éléments visibles dans l’image originale (l’IA ne peut pas créer ce qu’elle ne perçoit pas).

Bien que les chercheurs reconnaissent certaines imperfections, notamment en ce qui concerne la profondeur ou les reflets complexes, SHARP démontre clairement le potentiel pour une conversion instantanée vers la 3D. Cela ouvre la voie à des applications prometteuses pour la réalité augmentée et la création de contenus immersifs.

Parallèlement à cela, Apple a présenté GIE-Bench, un cadre dédié à l’évaluation pour l’édition d’images guidée par texte ainsi qu’IMPACT, une méthode conçue pour tester la compréhension des langues morphologiquement complexes par les modèles d’intelligence artificielle. Ces outils permettent d’évaluer précisément les forces et les limites des systèmes actuels sous différentes perspectives.

En multipliant ces initiatives innovantes, Apple confirme son ambition majeure : développer une intelligence artificielle plus fiable et visuelle qui réponde mieux à la diversité des usages et des langues. Cela va au-delà de simples démonstrations technologiques habituelles pour offrir davantage d’opportunités concrètes dans différents domaines