Twitter utilise l’apprentissage automatique pour recadrer les photos à la partie la plus intéressante

L’attrait de l’apprentissage automatique ne concerne pas toujours les grandes nouveautés; souvent, ce qu’il fait le mieux, ce sont de petites modifications qui améliorent subtilement l’expérience de l’utilisateur. C’est donc avec l’utilisation de réseaux de neurones par Twitter que l’on peut recadrer automatiquement les aperçus d’images dans leur partie la plus intéressante.

La société a travaillé sur cet outil pendant un certain temps, mais a décrit ses méthodes en détail dans un blog hier. C’est une petite lecture intéressante, avec le chercheur ML Lucas Theis et le chef ML, Zehan Wang, expliquant comment ils ont commencé à utiliser la reconnaissance faciale pour recadrer des images sur des visages, mais ils ont découvert que cette méthode ne fonctionnait pas avec des images, des objets et surtout , chats.

Leur solution consistait à « recadrer en utilisant la saillance » (saillance signifiant ici ce qui est le plus intéressant dans une image – faces ou non). Pour les définir, ils ont utilisé des données provenant d’études universitaires pour effectuer un suivi de l’œil, qui enregistre les zones d’images que les gens regardent en premier. « Ces données peuvent être utilisées pour former des réseaux de neurones et d’autres algorithmes pour prédire ce que les gens pourraient vouloir regarder », écrivent Theis et Wang.

twitter_ml_crops
Plus d’exemples de avant et après l’utilisation de l’auto-cropper alimenté par ML. Image | Twitter

Une fois qu’ils ont formé un réseau de neurones pour identifier ces zones, ils doivent l’optimiser pour travailler en temps réel sur le site. Heureusement pour eux, le recadrage nécessaire pour un aperçu de la photo est assez large – vous êtes seulement en train de réduire une image à son troisième plus intéressant. Vous n’avez pas besoin de cibler les spécificités. Cela signifie que Twitter pourrait réduire et simplifier les critères que le réseau de neurones jugeait en utilisant une technique appelée «distillation des connaissances».

Le résultat final était un réseau de neurones dix fois plus rapide que son design original. « Cela nous permet d’effectuer une détection de saillance sur toutes les images dès qu’elles sont téléchargées et les recadrer en temps réel », écrivent Theis et Wang.

Cette nouvelle fonctionnalité est en cours de déploiement sur les applications de bureau, iOS et Android pour tous les utilisateurs, selon la société. Donc, la prochaine fois que vous verrez un aperçu de la photo sur Twitter qui vous invite à cliquer, n’oubliez pas de remercier un réseau de neurones.

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *