Microsoft hat Copilot nahtlos in die Taskleiste von Windows 11 integriert – eine Funktion, die nun für alle Nutzer verfügbar ist. Durch einfaches Bewegen des Mauszeigers über Apps in der Taskleiste können Sie das Fenster der jeweiligen Anwendung mit Copilot teilen. Dies ermöglicht interaktive Unterstützung, beispielsweise durch Vorschläge zum Beantworten von E-Mails in Outlook. Auch wenn es trivial erscheinen mag, ist die Funktionalität von Copilot Vision bedeutend.
Ich habe kürzlich die Option „Mit Copilot teilen“ auf meinem Intel Lunar Lake Copilot+ PC entdeckt. Diese Funktion steht jedoch allen Nutzern zur Verfügung, unabhängig davon, ob ihre PCs als „KI“-Systeme klassifiziert sind. Dank dieser Inklusivität sehen auch Nutzer mit Standard-AMD- oder Intel-Systemen die Option „Mit Copilot teilen“ in ihrer Taskleiste, was die Zugänglichkeit weiter verbessert.
Die Funktion „Mit Copilot teilen“ verstehen
Bei unserer Untersuchung stellten wir fest, dass die Funktion „Mit Copilot teilen“ erscheint, wenn man mit dem Mauszeiger über eine geöffnete Anwendung in der Taskleiste fährt, beispielsweise über einen VPN-Dienst wie Cloudflare WARP. Bemerkenswerterweise wird diese Funktion sogar bei Anwendungen mit DRM-geschützten Inhalten wie Netflix angezeigt, obwohl die Funktionalität aus urheberrechtlichen Gründen möglicherweise nicht wie erwartet funktioniert.
Beim Teilen eines Anwendungsfensters analysiert Copilot mithilfe cloudbasierter KI den angezeigten Inhalt und liefert hilfreiche Handlungsempfehlungen. Als ich beispielsweise eine E-Mail in Outlook öffnete und das Fenster teilte, konnte Copilot den Inhalt zwar lesen, aber nicht zu anderen E-Mails navigieren oder in meinem Namen Klicks ausführen.
Copilot ist in seiner Sichtbarkeit eingeschränkt; es sieht nur, was Sie sehen, und kann daher nur darauf basierende Anweisungen geben. Als ich fragte, wie ich auf eine E-Mail antworten sollte, wies mich Copilot an, einen nicht vorhandenen „Senden“-Button zu suchen – ein Beispiel für eine Einschränkung, die als „Halluzination“ bekannt ist. Nachdem ich jedoch um eine Erklärung des Vorgangs gebeten wurde, verbesserte sich Copilots Reaktion. Es aktivierte einen virtuellen Cursor, der mir genau anzeigte, wo ich klicken musste.
Glücklicherweise hat Copilot Korrekturmaßnahmen ergriffen und die richtige Antwortoption anstelle der vorgeschlagenen Schaltfläche „Senden“ auf dem Bildschirm hervorgehoben. Als ich dann fragte, wie ich die E-Mail löschen könne, wurde mir die korrekte Vorgehensweise angezeigt.
Microsoft bezeichnet diese Funktion als „geführte Unterstützung“.Laut offizieller Dokumentation zielt Copilot Vision darauf ab, Benutzern effektiv zu helfen, weist aber darauf hin, dass diese Funktion bei DRM-geschützten oder sensiblen Inhalten nicht funktioniert.
Mechanismen hinter der Integration von „Mit Copilot teilen“
Wie Windows Latest berichtet, nutzt Microsoft eine spezielle Windows-API für Kommunikationsanwendungen, um die Funktion „Mit Copilot teilen“ in die Windows 11-Shell zu integrieren. Dies umfasst die Taskleiste und die Benutzeroberfläche für die Freigabe. Die API ermöglicht die Anzeige der Befehle „Freigabe starten“ und „Freigabe beenden“ und übergibt dabei die ausgewählte WindowId präzise an die jeweilige Anwendung.
Diese Funktionalität ist primär für Anwendungen wie Microsoft Teams gedacht, Microsoft erweitert jedoch die Anwendung auf Copilot. Wichtig ist, dass diese API nicht für die allgemeine Entwicklernutzung verfügbar ist; sie ist als Funktion mit eingeschränktem Zugriff gekennzeichnet und erfordert in der Regel eine vorherige Genehmigung von Microsoft für Zugriff und Implementierung.
Wenn Organisationen wie OpenAI diese Funktionalität nachbilden möchten, benötigen sie die Genehmigung von Microsoft zur Nutzung der API. Diese Exklusivität ist der Grund, warum die Funktion „Mit Copilot teilen“ derzeit ausschließlich für Copilot implementiert ist, wobei Microsoft ausgewählten Partnern Zugriff gewähren kann.