Kostenloser Zugriff auf Copilot Vision von Windows 11: Testen Sie die Screen-Seeing-Funktion

Copilot Vision ist bereits seit einiger Zeit verfügbar, doch die kürzlich erfolgte Integration in die Copilot-App von Windows 11 stellt einen deutlichen Fortschritt dar. Nachdem ich es vor einigen Monaten getestet hatte, als es noch auf den Browser beschränkt war, fand ich es nicht überzeugend. Die Desktop-Anwendungsversion, die nun auch für Nutzer außerhalb der USA (mit Ausnahme der EU-Regionen) zugänglich ist, weist jedoch erhebliche Verbesserungen auf.

Anfangs hatte ich nur begrenzte Erfahrungen mit Vision im Edge-Browser – es konnte nur mit dem aktuell geöffneten Tab interagieren. Das bedeutete, dass die Funktionalität eingeschränkt war. Das bemerkenswerte Upgrade der Windows-Desktop-App ist die Möglichkeit, über einen einzelnen Browser-Tab hinaus zu interagieren und jedes geöffnete Fenster auszuwählen. Diese Verbesserung erweitert die Benutzerfreundlichkeit in verschiedenen Anwendungen erheblich, sei es beim Zugriff auf Eingabeaufforderungen, bei App-Statistiken oder bei Spielefenstern – ich habe sie jedoch nicht im Spielekontext getestet.

Nach dem Start der Desktop-App und der Auswahl der Vision-Funktion öffnete sich ein Menü, in dem ich aus jedem geöffneten Fenster auswählen konnte. Für meinen ersten Test öffnete ich einen Artikel über den Aufbau eines Medienservers. Die Interaktion ähnelte meiner vorherigen Erfahrung, die KI ermöglichte jedoch eine flüssige Kommunikation. Als ich jedoch nach dem Betriebssystem des Artikelautors fragte, blieb sie hinter den Erwartungen zurück – es wurde zu weit unten auf der Seite erwähnt, als dass Vision diese Information hätte abrufen können.

Eine Einschränkung bleibt bestehen: Vision kann nur auf Inhalte zugreifen, die im ausgewählten Fenster sichtbar sind. Das bedeutet, dass es weder scrollen noch auf zusätzliche Informationen auf einer Webseite zugreifen oder direkt mit Schaltflächen interagieren kann. Es kann den Benutzer zwar durch Hervorheben relevanter Schaltflächen mit einer deutlichen Animation anleiten, die endgültige Interaktion erfordert jedoch weiterhin manuelles Klicken.

Erweiterte Funktionen erkunden

Copilot Vision hat seine früheren Einschränkungen überwunden und kann nun im Internet nach zusätzlichen Informationen suchen. Als ich beim Verlag zunächst nach der Autorenbezeichnung fragte, reagierte das System negativ und bat um die Erlaubnis zur Online-Suche. Nach Erhalt der Erlaubnis lieferte das System erfolgreich den Titel und weitere Details von der Autorenseite und zeigte damit ein gutes Verständnis für die Neuformulierung von Informationen.

Um die Fähigkeiten der KI weiter zu beurteilen, präsentierte ich einen Screenshot eines Shell-Befehlsskript-Ergebnisses aus meinem DietPi-Setup. In diesem Fall erläuterte der Assistent den Zweck jedes Befehls korrekt und wiederholte Details, ohne dass er das Internet konsultieren musste.

Anschließend habe ich nur die Befehle angezeigt und um eine Klarstellung gebeten. Vision hat die Funktion jedes Parameters genau beschrieben, was auf eine solide interne Wissensbasis schließen lässt, da keine Online-Quellen referenziert wurden.

vage Befehle für die Sicht des Copiloten

Um die Genauigkeit weiter zu überprüfen, testete ich eine Liste von Docker-Befehlen, die ich zuvor noch nicht eingeführt hatte. Vision beschrieb zwar die Aktionen der ersten vier Befehle effektiv, doch um die Ausführung über diesen Punkt hinaus fortzusetzen, war weiteres Engagement erforderlich.

Docker-Befehle zum Testen in Copilot Vision

Abschließend möchte ich sagen, dass die Antworten im Allgemeinen zutreffend waren, es jedoch unklar blieb, ob Vision Online-Ressourcen nutzt oder ausschließlich seinen eigenen Datensatz verwendet.