Accès gratuit à Copilot Vision de Windows 11 : découvrez la fonctionnalité de visualisation d’écran

Copilot Vision est disponible depuis un certain temps, mais sa récente intégration à l’application Copilot de Windows 11 marque une avancée significative. Après l’avoir testé il y a quelques mois, alors qu’il était limité au navigateur, je l’avais trouvé décevant. Cependant, sa version bureau, désormais accessible aux utilisateurs hors des États-Unis (hors régions de l’UE), présente des améliorations considérables.

Au départ, mon expérience avec Vision dans le navigateur Edge était limitée : l’application ne pouvait interagir qu’avec l’onglet ouvert. Ses fonctionnalités étaient donc restreintes. L’amélioration notable de l’application de bureau Windows réside dans sa capacité à interagir au-delà d’un simple onglet de navigateur, permettant aux utilisateurs de sélectionner n’importe quelle fenêtre ouverte. Cette amélioration améliore considérablement son ergonomie dans diverses applications, qu’il s’agisse d’accéder aux invites de commande, aux statistiques des applications ou aux fenêtres de jeu, même si je ne l’ai pas testée dans un contexte de jeu.

sélection de la fenêtre de vision du copilote

Après avoir lancé l’application de bureau et sélectionné la fonctionnalité Vision, un menu m’a permis de choisir parmi toutes les fenêtres ouvertes. Pour mon premier test, j’ai ouvert un article sur la création d’un serveur multimédia. Si l’interaction était similaire à mon expérience précédente, l’IA a assuré une conversation fluide. Cependant, la question du système d’exploitation utilisé par l’auteur de l’article a été un peu plus complexe : il était mentionné trop bas dans la page pour que Vision puisse récupérer cette information.

Une limitation subsiste : Vision ne peut accéder qu’au contenu visible dans la fenêtre sélectionnée. Cela signifie qu’il ne peut pas faire défiler une page web, accéder à des informations supplémentaires ou interagir directement avec les boutons. Il peut cependant guider les utilisateurs en mettant en évidence les boutons pertinents grâce à une animation distincte, mais l’interaction finale nécessite toujours un clic manuel.

point culminant de la vision du copilote

Explorer les capacités améliorées

Contrairement à ses limitations antérieures, Copilot Vision permet désormais de rechercher des informations complémentaires sur le Web. Initialement, lorsque j’ai demandé la désignation de l’auteur à la maison d’édition, celle-ci a refusé et a demandé l’autorisation de rechercher en ligne. Après avoir obtenu cette autorisation, Copilot Vision a pu fournir le titre et des informations complémentaires provenant de la page de l’auteur, démontrant ainsi une bonne maîtrise de la reformulation de l’information.

demander à Vision des détails sur l'auteur

Pour mieux évaluer les capacités de l’IA, j’ai présenté une capture d’écran du résultat d’un script de commande shell issu de ma configuration DietPi. Dans ce cas, l’assistant a correctement décrit l’objectif de chaque commande, en répétant les détails sans avoir à consulter le web.

Ensuite, j’ai affiché uniquement les commandes et demandé des éclaircissements. Vision a décrit avec précision la fonction de chaque paramètre, suggérant une base de connaissances interne solide, car elle ne faisait pas référence à des sources en ligne.

commandes vagues pour la vision du copilote

Pour valider davantage son exactitude, j’ai testé une liste de commandes Docker que je n’avais pas encore présentées. Bien que Vision ait décrit efficacement les actions des quatre premières commandes, une interaction plus poussée était nécessaire pour le pousser plus loin.

commandes docker à tester dans la vision du copilote

Pour conclure mon évaluation, les réponses étaient généralement exactes, mais il restait ambigu de savoir si Vision exploitait les ressources en ligne ou utilisait uniquement son propre ensemble de données.

demander à Vision à propos des commandes Docker

Cet aperçu de Copilot Vision sur Windows 11 souligne ses avancées significatives. Si vous maîtrisez les politiques de données de Copilot, je vous encourage à explorer ses fonctionnalités : elles sont parfaitement intégrées à l’application.

Source et images