Copilot Visionは以前から提供されていましたが、Windows 11のCopilotアプリへの統合は大きな飛躍を遂げました。数か月前にブラウザ版のみでテストした際には、期待外れに感じました。しかし、米国以外のユーザー（EU地域を除く）でも利用可能になったデスクトップアプリケーション版では、大幅な改善が見られます。
当初、EdgeブラウザでのVisionの使用感は限定的で、現在開いているタブしか操作できませんでした。つまり、機能が制限されていました。Windowsデスクトップアプリの注目すべきアップグレードは、単一のブラウザタブを超えて操作できるようになり、開いている任意のウィンドウを選択できるようになったことです。この機能強化により、コマンドプロンプトへのアクセス、アプリの統計情報、ゲームウィンドウなど、様々なアプリケーションでの使い勝手が大幅に向上しました（ただし、ゲーム環境ではテストしていません）。
デスクトップアプリを起動し、Vision機能を選択すると、開いているウィンドウから選択できるメニューが表示されました。最初のテストとして、メディアサーバーの構築に関する記事を開きました。操作感は以前の経験と似ていましたが、AIはスムーズに会話をしてくれました。しかし、記事の著者が使用しているオペレーティングシステムについて尋ねたところ、うまくいきませんでした。ページのかなり下の方に記載されていたため、Visionはその情報を取得できませんでした。
1つの制限が残っています。Visionは選択されたウィンドウ内に表示されているコンテンツにしかアクセスできません。つまり、Webページをスクロールしたり、追加情報にアクセスしたり、ボタンを直接操作したりすることはできません。ただし、関連するボタンを明確なアニメーションで強調表示することでユーザーを誘導することはできますが、最終的な操作は依然として手動でクリックする必要があります。
強化された機能の探求
Copilot Visionは、以前の限界を克服し、Webで追加情報を検索できるようになりました。当初、出版社に著者名を尋ねたところ、出版社は拒否し、オンライン検索の許可を求めました。許可を得た後、著者のページからタイトルと詳細情報を提供してくれました。これは、情報の言い換えをある程度理解していることを示しています。
AIの能力をさらに評価するために、DietPiでシェルコマンドスクリプトを実行した結果のスクリーンショットを提示しました。この例では、アシスタントは各コマンドの目的を正確に概説し、Webを参照することなく詳細を繰り返し説明しました。
次に、コマンドのみを表示して説明を求めました。Visionは各パラメータの機能を正確に説明し、オンラインソースを参照していないことから、堅牢な内部知識ベースを備えていることが示唆されました。
精度をさらに検証するために、これまで紹介していなかったDockerコマンドのリストをテストしました。Visionは最初の4つのコマンドの動作を効果的に説明しましたが、それ以上の指示を強制するには、さらに操作が必要でした。
私の評価を締めくくると、回答は概ね正確でしたが、Vision がオンライン リソースを活用しているのか、それとも独自のデータセットのみを利用しているのかは不明瞭なままでした。
Windows 11 版 Copilot Vision の概要では、その大きな進歩について詳しく説明されています。Copilotのデータポリシーの操作に慣れている方は、ぜひその機能をお試しください。アプリにシームレスに統合されています。
コメントを残す