Microsoft introduit une fonctionnalité dans la barre des tâches de Windows 11 permettant de partager les fenêtres d’applications avec Copilot.

Microsoft a parfaitement intégré Copilot à la barre des tâches de Windows 11, une fonctionnalité actuellement déployée auprès des utilisateurs. En survolant simplement les applications dans la barre des tâches, vous pouvez partager leur fenêtre avec Copilot. Ceci permet une assistance interactive, comme recevoir des suggestions pour répondre aux e-mails dans Outlook. Bien que cela puisse paraître anodin, les fonctionnalités de Copilot Vision sont importantes.

J’ai récemment découvert l’option « Partager avec Copilot » sur mon PC Intel Lunar Lake Copilot+.Cependant, cette fonctionnalité est désormais accessible à tous les utilisateurs, que leur PC soit classé ou non comme système « IA ».Cette inclusivité signifie que les utilisateurs de configurations AMD ou Intel standard verront également l’option « Partager avec Copilot » dans leur barre des tâches, ce qui améliore encore l’accessibilité.

Comprendre la fonction « Partager avec le copilote »

Lors de notre analyse, nous avons constaté que la fonctionnalité « Partager avec Copilot » apparaît lorsque l’on survole une application ouverte dans la barre des tâches, y compris celles comme Cloudflare WARP, un service VPN.À noter que même les applications dont le contenu est protégé par DRM, telles que Netflix, affichent cette fonctionnalité, bien que son fonctionnement puisse être altéré pour des raisons de droits d’auteur.

Partager avec Copilot pour la barre des tâches

Lorsqu’une fenêtre d’application est partagée, Copilot utilise une IA basée sur le cloud pour analyser le contenu affiché et fournir des informations exploitables. Par exemple, lorsque j’ai ouvert un e-mail dans Outlook et partagé la fenêtre, Copilot a pu lire le contenu, mais n’a pas pu accéder à d’autres e-mails ni effectuer de clics à ma place.

Copilot propose une assistance pratique pour Windows 11

Copilot est limité par sa visibilité ; il ne voit que ce que vous voyez et ne peut donc vous guider que sur cette base. Lorsque j’ai demandé comment répondre à un courriel, Copilot m’a indiqué de chercher un bouton « Envoyer » inexistant, illustrant une limitation appelée « hallucination ».Cependant, lorsque je lui ai expliqué la procédure, la réponse de Copilot s’est améliorée. Il a activé un curseur virtuel, indiquant précisément où cliquer.

Heureusement, Copilot a corrigé le tir en affichant la bonne option « Répondre » à l’écran au lieu du bouton « Envoyer » suggéré. Lorsque j’ai ensuite demandé comment supprimer le courriel, il m’a indiqué la marche à suivre.

Mode de partage d'écran Copilot sous Windows 11

Microsoft désigne cette fonction sous le nom d’« assistance guidée ».Selon sa documentation officielle, Copilot Vision vise à aider efficacement les utilisateurs, bien qu’il soit précisé que cette fonctionnalité ne fonctionnera pas avec les contenus protégés par DRM ou les contenus sensibles.

Mécanismes d’intégration de la fonction « Partager avec le copilote »

D’après Windows Latest, Microsoft utilise une API Windows spécifique, conçue pour les applications de communication, afin d’intégrer la fonctionnalité « Partager avec Copilot » à l’interface de Windows 11, qui comprend la barre des tâches et l’interface de partage. Cette API permet d’afficher les commandes « Démarrer le partage » et « Arrêter le partage » tout en transmettant avec précision l’identifiant de la fenêtre sélectionnée à l’application choisie.

Cette fonctionnalité est principalement destinée aux applications comme Microsoft Teams, mais Microsoft étend son utilisation à Copilot. Il est important de noter que cette API n’est pas accessible aux développeurs en général ; elle est considérée comme une fonctionnalité à accès limité et nécessite généralement l’approbation préalable de Microsoft pour son utilisation et sa mise en œuvre.

Si des organisations comme OpenAI souhaitent reproduire cette fonctionnalité, elles devront obtenir l’autorisation de Microsoft pour utiliser l’API. Cette exclusivité explique pourquoi la fonctionnalité « Partager avec Copilot » est actuellement implémentée uniquement pour Copilot, Microsoft se réservant le droit d’en donner l’accès à certains partenaires.

Source et images