Microsoftは、Windows 11のタスクバーにCopilotをシームレスに統合しました。この機能は現在、ユーザーに展開されています。タスクバー上のアプリにマウスオーバーするだけで、そのアプリケーションのウィンドウをCopilotと共有できます。これにより、Outlookでメールの返信方法の提案を受け取るなど、インタラクティブなサポートが可能になります。些細なことのように思えるかもしれませんが、Copilot Visionの背後にある機能は重要です。
最近、Intel Lunar Lake Copilot+搭載PCで「Copilotと共有」オプションを発見しました。この機能は、PCが「AI」システムに分類されているかどうかに関わらず、すべてのユーザーが利用できるようになっています。つまり、標準的なAMDまたはIntelのセットアップを使用しているユーザーもタスクバーに「Copilotと共有」オプションが表示されるようになり、アクセシビリティがさらに向上します。
「Copilotで共有」機能について
調査の結果、タスクバーで開いているアプリケーション（VPNサービスのCloudflare WARPなど）にマウスオーバーすると、「Copilotで共有」機能が表示されることが分かりました。特に、NetflixのようにDRM保護コンテンツを扱うアプリケーションでもこの機能が表示されますが、著作権上の理由により、機能が期待どおりに動作しない可能性があります。
アプリケーションウィンドウを共有すると、Copilot はクラウドベースの AI を活用して表示されているコンテンツを分析し、実用的なインサイトを提供します。例えば、Outlook でメールを開いてウィンドウを共有した際、Copilot はコンテンツを読み取ることはできましたが、他のメールに移動したり、私に代わってクリックしたりすることはできませんでした。
Copilotは可視性に制限があり、ユーザーが見ているものしか認識できないため、それに基づいてガイダンスを提供します。メールへの返信方法を尋ねたところ、Copilotは存在しない「送信」ボタンを見つけるように指示し、「幻覚」と呼ばれる機能制限を示しました。しかし、返信プロセスの説明を求めると、Copilotの応答は改善しました。仮想カーソルが起動し、クリックすべき場所を正確に示してくれました。
幸いなことに、Copilotは画面上で「送信」ボタンの候補ではなく、正しい「返信」オプションをハイライト表示するという修正措置を講じました。その後、メールの削除方法を尋ねると、適切なアクションを正確に特定してくれました。
Microsoftはこの機能を「ガイド付きアシスタンス」と呼んでいます。公式ドキュメントによると、Copilot Visionはユーザーを効果的に支援することを目的としているとのことですが、この機能はDRMで保護されたコンテンツや機密性の高いコンテンツでは機能しないことに注意してください。
「Share with Copilot」統合の仕組み
Windows Latestの報道によると、Microsoftはコミュニケーションアプリケーション向けに設計された特定のWindows APIを活用し、「Share with Copilot」機能をWindows 11のシェル（タスクバーと共有ユーザーインターフェースを含む）に統合しています。このAPIにより、「共有を開始」および「共有を停止」コマンドの表示が可能になり、選択されたWindowIdをアプリに正確に渡すことができます。
この機能は主にMicrosoft Teamsなどのアプリケーションを対象としていますが、MicrosoftはCopilotも組み込むよう適用範囲を拡大しています。重要なのは、このAPIは一般開発者が利用できるものではなく、限定アクセス機能として分類されており、アクセスと実装には通常、Microsoftからの事前承認が必要となることです。
OpenAIのような組織がこの機能を再現したい場合、APIの使用についてMicrosoftの承認を得る必要があります。この排他性こそが、現在「Share with Copilot」機能がCopilot専用に実装されており、Microsoftが特定のパートナーにのみアクセスを提供できる理由です。