Un système de contrôle gestuel via l’apple watch pour le vision pro

À retenir :
– Système de reconnaissance gestuelle décrit dans un brevet.
– L’Apple Watch comme accessoire de contrôle pour le Vision Pro.
– Détection de mouvements précis avec la main fermée.
– Affichage d’indications visuelles dans l’interface virtuelle.
– Complémentarité des capteurs de mouvement et du suivi visuel.

---

Apple explore de nouvelles manières d’interagir avec la réalité augmentée et la réalité mixte, comme en témoigne un brevet récemment publié. Ce document décrit une interface capable d’associer le suivi des mouvements des mains, les capteurs d’une montre connectée et des indices visuels pour manipuler des objets virtuels de manière plus précise. L’Apple Watch pourrait ainsi devenir un outil de contrôle intuitif pour le Vision Pro et, à l’avenir, pour d’éventuelles lunettes intelligentes.

L’une des idées principales du brevet consiste à détecter les mouvements effectués avec une main fermée. Par exemple, un utilisateur pourrait serrer le poing puis faire pivoter son poignet pour faire défiler du contenu, semblable à l’utilisation d’une molette virtuelle. Ce système ignorerait les rotations normales de la main afin de prévenir toute activation accidentelle de commandes. Cette méthode permettrait également de réduire les gestes amples et répétitifs qui peuvent être fatigants lors de l’utilisation d’interfaces spatiales.

De plus, la direction ou l’amplitude de la rotation pourraient influencer le défilement, offrant ainsi un contrôle plus nuancé qu’un simple geste binaire. Apple envisage aussi d’afficher des repères visuels directement au sein des éléments virtuels : par exemple, un bouton pourrait indiquer qu’il est activé par un pincement dans l’air ou un mouvement spécifique, sans nécessiter une visée précise sur cet élément.

Le brevet envisage également des actions par défaut : lorsqu’une notification ou une fenêtre propose plusieurs choix, il suffirait d’un geste pour activer immédiatement l’option principale. L’objectif est donc de rendre l’interface plus réactive tout en laissant au système le soin de contextualiser les gestes afin de minimiser les risques d’erreur.

Enfin, grâce aux capteurs intégrés dans une montre connectée comme l’Apple Watch, ces derniers pourraient venir compléter le suivi visuel effectué par les caméras du casque. Apple mentionne même la possibilité d’afficher des informations liées à un appareil porté au poignet lorsqu’un geste est détecté. Bien que rien ne garantisse que ces fonctionnalités seront effectivement mises en œuvre prochainement, ce brevet témoigne clairement du désir d’Applede développer une grammaire gestuelle fine et mieux adaptée aux exigences croissantes de l’informatique spatiale