Apple révolutionne l’intelligence artificielle multimodale

À retenir :
– Apple développe des modèles de langage multimodaux pour traiter texte et images.
– DeepMMSearch-R1 améliore les recherches web à partir d’images en isolant les éléments pertinents.
– Manzano comprend et génère des images à partir de texte avec une représentation visuelle unifiée.
– Ces projets ont le potentiel d’enrichir Siri et les outils créatifs d’Apple.
– Les avancées visent à offrir une intelligence artificielle intégrée et respectueuse de la vie privée.

---

Apple présente ses avancées en matière d’intelligence artificielle multimodale, visant à améliorer la compréhension, la génération et la recherche d’images. L’entreprise poursuit ainsi son développement dans ce domaine, comme en témoigne l’introduction de nouvelles fonctionnalités avec iOS 18, permettant aux utilisateurs de générer des images directement sur leur iPhone grâce à des modèles locaux.

Parmi les récentes innovations figure le modèle DeepMMSearch-R1, conçu pour optimiser les recherches sur le web à partir d’images. Les ingénieurs d’Apple ont observé que les systèmes existants avaient souvent du mal à fournir des réponses précises lorsque les images contenaient plusieurs éléments ou nécessitaient une interprétation fine. Ce qui distingue DeepMMSearch-R1, c’est sa capacité à recadrer automatiquement une image afin de mettre en évidence la partie pertinente. Une fois cet élément identifié, le modèle allie recherche visuelle et textuelle pour vérifier les informations et réduire les erreurs éventuelles. Selon Apple, cette approche améliore significativement les performances par rapport aux méthodes traditionnelles basées sur des agents de recherche classiques.

Un autre projet innovant est Manzano, un modèle unifié qui permet non seulement de comprendre le contenu d’une image mais aussi de générer de nouvelles images à partir de descriptions textuelles sans perdre aucune des deux compétences. Contrairement à d’autres solutions disponibles sur le marché, Apple a choisi un système de représentation visuelle cohérent qui minimise les conflits entre génération et interprétation. Les résultats de tests montrent que Manzano rivalise avec certains des meilleurs systèmes du secteur pour accomplir des tâches complexes telles que l’édition d’images ou le transfert de style.

Bien que ces projets soient encore au stade expérimental, ils préfigurent potentiellement une évolution significative des services proposés par Apple. À terme, ces avancées pourraient enrichir Siri ainsi que divers outils créatifs au sein de l’écosystème Apple, soulignant l’ambition du groupe californien : offrir une intelligence artificielle intégrée qui soit non seulement performante mais également respectueuse de la vie privée des utilisateurs