Apple crée une ia pour aider les malvoyants à naviguer

À retenir :
– SceneScout aide les personnes malvoyantes grâce à l’intelligence artificielle.
– Le système fournit des descriptions interactives des images de rue.
– Deux modes d’interaction : aperçu d’itinéraire et exploration virtuelle.
– Les utilisateurs peuvent anticiper ce qu’ils rencontreront lors de leurs déplacements.
– Des améliorations sont nécessaires pour optimiser la précision et le langage.

---

Apple, en collaboration avec l’université de Columbia, a récemment présenté SceneScout, un prototype innovant qui pourrait changer la manière dont les personnes aveugles et malvoyantes se déplacent dans leur environnement. Cette solution tire parti de l’intelligence artificielle pour fournir des descriptions interactives des images de rues, offrant ainsi une aide précieuse avant même d’entreprendre un trajet.

Un besoin crucial en matière d’accessibilité demeure encore trop souvent négligé. Les personnes malvoyantes hésitent fréquemment à voyager seules dans des lieux qu’elles ne connaissent pas, principalement en raison de l’incertitude concernant ce qu’elles vont rencontrer sur leur chemin. La majorité des outils disponibles se concentrent sur la navigation en temps réel et le peu qui existe pour accompagner les utilisateurs avant le voyage se limite habituellement aux points de repère et à des instructions détaillées. En revanche, les images de rue, qui pourraient fournir une mine d’informations sur l’environnement, sont largement inaccessibles aux personnes concernées. C’est précisément ce que SceneScout vise à corriger.

Ce système novateur allie les API d’Apple Plans à un modèle linguistique multimodal avancé. Grâce à cette combinaison, il est capable d’offrir des descriptions personnalisées et interactives basées sur les clichés de rue. Plutôt que simplement donner des directions ou indiquer quelques repères visuels, les utilisateurs peuvent découvrir intégralement un itinéraire ou explorer virtuellement un quartier bloc après bloc. Les informations fournies sont adaptées aux besoins spécifiques de chaque utilisateur.

SceneScout inclut deux modes principaux :

1. **Aperçu dit itinéraire** : Ce mode permet aux utilisateurs d’anticiper ce qu’ils pourront rencontrer tout au long d’un parcours particulier. Le système décrit divers aspects tels que la qualité des trottoirs, la configuration des intersections ou l’apparence des arrêts de bus. 2. **Exploration virtuelle** : Avec cette fonction plus interactive, les utilisateurs peuvent exprimer ce qu’ils recherchent – par exemple un quartier calme proche de parcs – et l’IA guide ensuite leur navigation dans toutes les directions selon ces indications.

Derrière cette technologie sophistiquée se cache une application reposant sur GPT-4o qui s’appuie sur des données cartographiques réelles ainsi que sur des images panoramiques issues d’Apple Plans. Elle simule la perspective d’un piéton tout en traitant ce qui est visible pour produire du texte structuré sous forme concise ou élaborée selon les besoins.

Une étude menée auprès de dix utilisateurs aveugles ou malvoyants ayant déjà utilisé des lecteurs d’écran a démontré que ceux-ci ont grandement apprécié leur expérience avec le dispositif tant au niveau utilitaire qu’en pertinence ; le mode exploration a été particulièrement valorisé car il offre accès à des informations difficiles à obtenir autrement.

Cependant, certaines limites demeurent malgré ces retours positifs. Environ 72 % seulement des descriptions étaient jugées précises ; certaines comprenaient effectivement quelques erreurs subtiles comme affirmer qu’un passage piéton était équipé de signaux audio inexistants ou confondre certains panneaux signalétiques. Bien que beaucoup d’informations soient stables temporellement parlant, quelques descriptions renvoyaient vers du contenu dépassé tel que travaux éventuels ou véhicules stationnés non présents au moment du test.

Les participants ont également noté que le système faisait parfois preuve de suppositions quant aux capacités physiques souhaitées par l’utilisateur et son environnement immédiat – soulignant ainsi la nécessité pour une approche langagière plus objective afin d’améliorer la précision navigatrice jusqu’à destination finale.

Bien qu’il ne s’agisse pas encore d’un produit commercialisé courant mais plutôt une phase exploratoire intégrant langage multimodal avec Apple Plans API , SceneScout pourrait potentiellement évoluer vers davantage grâce notamment aux retours favorables reçus lors du développement initial sur ses applications potentielles permettant éventuellement aussi diffusée à travers écouteurs particuliers lorsqu’on marche au quotidien .

Comme évoqué par certains participants : « Pourquoi ne pas intégrer directement cette capacité afin offrir davantage détails justement pendant déplacements ? » Ils suggèrent également déployer infos succinctes complémentaires lors marches courtes mais critiques tandis qu’en cas besoin accru s’arrêterait pour avoir compléments descriptifs approfondis autour bifurcations principales rencontrés . Une autre idée innovante consisterait faire pointer appareil vers direction souhaiter directement afin recevoir rapidité retour contextuel sans nécessité aligne caméra façon précise ! Cela ouvrirait voie dynamique assurément enrichissante faciliter intelligent usagers interagir activement lieu naviguer même instantanément rendant parcours spécialement réactif plus immersif