Apple présente fastvlm pour ses lunettes connectées

À retenir :
– apple prévoit des lunettes intelligentes et autres appareils portables
– mlx est un framework d’apprentissage automatique optimisé pour apple silicon
– fastvlm est un modèle de génération d’image performant et peu gourmand en ressources
– l’encodeur fastvithd réduit la latence et améliore la vitesse du modèle
– fastvlm génère le premier jeton 85 fois plus rapidement que ses concurrents


FastVLM : Apple présente une intelligence artificielle dédiée à la génération d’images pour ses lunettes connectées ?

Récemment, de nombreuses rumeurs ont circulé quant aux projets d’Apple de lancer des appareils portables intégrant des technologies d’intelligence artificielle. Parmi ces nouveautés, on évoque des AirPods dotés de caméras et des lunettes intelligentes visant à rivaliser avec les Ray-Ban de Meta, avec un potentiel lancement dès 2027. Bien que les designs restent encore confidentiels, Apple commence à éclaircir le rôle que l’intelligence artificielle jouera dans ces futurs produits.

Apple présente fastvlm pour ses lunettes connectées
En 2023, l’équipe en charge de la recherche en apprentissage automatique chez Apple a introduit MLX, un cadre d’apprentissage automatique optimisé pour les puces Apple Silicon. Ce framework permet aux développeurs d’entraîner et d’exécuter leurs modèles directement sur les appareils Apple, facilitant ainsi le traitement local sans avoir besoin du cloud.

Apple présente fastvlm pour ses lunettes connectées
Sur cette base MLX, Apple a créé FastVLM, un modèle particulièrement efficace pour la génération d’images. Ce dernier se distingue par sa capacité à traiter rapidement des images haute résolution tout en étant peu gourmand en ressources. Au cœur de FastVLM réside l’encodeur FastViTHD qui a été conçu pour réduire considérablement la latence et compacter la taille du modèle : il est jusqu’à 3,2 fois plus rapide et 3,6 fois plus compact que ses homologues.

De plus, FastVLM limite le nombre de jetons générés ce qui accélère non seulement l’interprétation mais également la réponse. Selon Apple, le temps nécessaire pour générer le premier jeton est 85 fois plus rapide comparé aux systèmes concurrents

Avatar photo

Hyunkel

Très gros fan de Dragon Quest Dai no Daiboken, de jeux vidéo et de bière. 1 par 1 ou tout en même temps, ça dépend des jours.

13 commentaires sur “Apple présente fastvlm pour ses lunettes connectées

  1. @geek_connecté C’est comme acheter un smartphone à 1000€ juste pour faire des appels alors qu’un autre à moins cher fait pareil… On s’éloigne encore plus du simple bon sens là!

Laisser un commentaire