Firma Microsoft płynnie zintegrowała Copilot z paskiem zadań systemu Windows 11 – funkcja ta jest już dostępna dla użytkowników. Wystarczy najechać kursorem na aplikację na pasku zadań, aby udostępnić okno tej aplikacji Copilotowi. Umożliwia to interaktywne wsparcie, na przykład otrzymywanie sugestii dotyczących odpowiedzi na wiadomości e-mail w programie Outlook. Choć może się to wydawać trywialne, funkcjonalność Copilot Vision jest znacząca.
Niedawno odkryłem opcję „Udostępnij Copilotowi” na moim komputerze z procesorem Intel Lunar Lake Copilot+.Funkcja ta jest jednak dostępna dla wszystkich użytkowników, niezależnie od tego, czy ich komputery są klasyfikowane jako systemy „AI”.Oznacza to, że użytkownicy ze standardowymi konfiguracjami AMD lub Intel również zobaczą opcję „Udostępnij Copilotowi” na pasku zadań, co dodatkowo zwiększa dostępność.
Zrozumienie funkcji „Udostępnij drugiemu pilotowi”
Podczas naszych badań zauważyliśmy, że funkcja „Udostępnij z Copilotem” pojawia się po najechaniu kursorem na dowolną otwartą aplikację na pasku zadań, w tym na takie aplikacje jak Cloudflare WARP, usługa VPN. Co ciekawe, nawet aplikacje z treściami chronionymi DRM, takie jak Netflix, wyświetlają tę funkcję, chociaż funkcje mogą nie działać zgodnie z oczekiwaniami ze względu na prawa autorskie.
Po udostępnieniu okna aplikacji, Copilot wykorzystuje opartą na chmurze sztuczną inteligencję do analizy wyświetlanej zawartości i dostarczania użytecznych wniosków. Na przykład, gdy otworzyłem wiadomość e-mail w Outlooku i udostępniłem okno, Copilot mógł odczytać zawartość, ale nie mógł przejść do innych wiadomości ani wykonać żadnych kliknięć w moim imieniu.
Copilot ma ograniczenia widoczności; widzi tylko to, co widzisz Ty, i dlatego może na tej podstawie udzielać wskazówek. Kiedy zapytałem, jak odpowiedzieć na e-mail, Copilot polecił mi znaleźć nieistniejący przycisk „Wyślij”, demonstrując ograniczenie znane jako „halucynacja”.Jednak po poproszeniu o wyjaśnienie procesu, reakcja Copilota uległa poprawie. Aktywował wirtualny kursor, wskazując precyzyjnie miejsce, w którym powinienem kliknąć.
Na szczęście Copilot podjął działania naprawcze, podświetlając na ekranie właściwą opcję „odpowiedz” zamiast sugerowanego przycisku „wyślij”.Kiedy zapytałem, jak usunąć wiadomość e-mail, poprawnie wskazał odpowiednią akcję.
Microsoft nazywa tę funkcję „asystą”.Zgodnie z oficjalną dokumentacją, Copilot Vision ma na celu skuteczne pomaganie użytkownikom, choć zaznaczono, że funkcja ta nie będzie działać w przypadku treści chronionych DRM lub treści poufnych.
Mechanika integracji funkcji „Udostępnij drugiemu pilotowi”
Jak donosi serwis Windows Latest, Microsoft wykorzystuje specjalny interfejs API systemu Windows, przeznaczony dla aplikacji komunikacyjnych, aby zintegrować funkcję „Udostępnij z Copilotem” z powłoką systemu Windows 11, obejmującą pasek zadań i interfejs użytkownika udostępniania. Interfejs API umożliwia wyświetlanie poleceń „Rozpocznij udostępnianie” i „Zatrzymaj udostępnianie”, jednocześnie precyzyjnie przekazując wybrany identyfikator okna (WindowId) do wybranej aplikacji.
Ta funkcjonalność jest przeznaczona głównie dla aplikacji takich jak Microsoft Teams, ale Microsoft rozszerza swoją aplikację, aby uwzględnić również Copilot. Co ważne, to API nie jest dostępne dla ogólnego użytku deweloperów; jest oznaczone jako funkcja o ograniczonym dostępie, zazwyczaj wymagająca uprzedniej zgody Microsoft na dostęp i wdrożenie.
Jeśli organizacje takie jak OpenAI chcą powielić tę funkcjonalność, muszą uzyskać zgodę firmy Microsoft na korzystanie z interfejsu API. Ta wyłączność jest powodem, dla którego funkcja „Udostępnij Copilotowi” jest obecnie dostępna wyłącznie dla Copilota, a Microsoft ma możliwość zapewnienia dostępu wybranym partnerom.