Accesso gratuito a Copilot Vision di Windows 11: prova la funzionalità di visualizzazione dello schermo

Copilot Vision è disponibile da tempo, ma la sua recente integrazione nell’app Copilot di Windows 11 segna un significativo passo avanti. Avendola testata qualche mese fa, quando era limitata al browser, l’ho trovata deludente. Tuttavia, la sua versione desktop, ora accessibile agli utenti al di fuori degli Stati Uniti (escluse le regioni dell’UE), rivela notevoli miglioramenti.

Inizialmente, la mia esperienza con Vision nel browser Edge era limitata: poteva interagire solo con la scheda aperta. Questo significava che le sue funzionalità erano limitate. Il miglioramento più significativo nell’app desktop di Windows è la sua capacità di interagire oltre una singola scheda del browser, consentendo agli utenti di selezionare qualsiasi finestra aperta. Questo miglioramento ne amplia notevolmente l’usabilità in diverse applicazioni, che si tratti di accedere ai prompt dei comandi, alle statistiche delle app o alle finestre di gioco, anche se non l’ho testato in un contesto di gioco.

selezione della finestra di visione del copilota

Dopo aver avviato l’app desktop e selezionato la funzionalità Vision, mi sono imbattuto in un menu da cui scegliere da qualsiasi finestra aperta. Per il mio primo test, ho aperto un articolo sulla creazione di un server multimediale. Sebbene l’interazione fosse simile alla mia esperienza precedente, l’IA ha fornito una conversazione fluida. Tuttavia, ho avuto difficoltà quando ho chiesto informazioni sul sistema operativo utilizzato dall’autore dell’articolo: era menzionato troppo in fondo alla pagina perché Vision potesse recuperarlo.

Rimane una limitazione: Vision può accedere solo ai contenuti visibili all’interno della finestra selezionata. Ciò significa che non può scorrere o accedere a informazioni aggiuntive su una pagina web, né interagire direttamente con i pulsanti. Può, tuttavia, guidare gli utenti evidenziando i pulsanti pertinenti con un’animazione distinta, ma l’interazione finale richiede comunque un clic manuale.

evidenziazione della visione del copilota

Esplorazione delle capacità avanzate

In deroga alle sue precedenti limitazioni, Copilot Vision ha acquisito la possibilità di cercare informazioni aggiuntive sul web. Inizialmente, quando ho richiesto la designazione dell’autore alla casa editrice, la risposta è stata negativa e ho chiesto l’autorizzazione a effettuare ricerche online. Dopo aver ottenuto l’autorizzazione, ha fornito con successo il titolo e ulteriori dettagli dalla pagina dell’autore, dimostrando una discreta padronanza della riformulazione delle informazioni.

chiedere alla visione i dettagli dell'autore

Per valutare ulteriormente le capacità dell’IA, ho presentato uno screenshot del risultato di uno script di comandi shell dalla mia configurazione DietPi. In questo caso, l’assistente ha descritto correttamente lo scopo di ciascun comando, ribadendo i dettagli senza dover consultare il web.

Successivamente, ho visualizzato solo i comandi e ho richiesto chiarimenti. Vision ha descritto accuratamente la funzione di ciascun parametro, suggerendo una solida base di conoscenza interna, in quanto non faceva riferimento a fonti online.

comandi vaghi per la visione del copilota

Per convalidarne ulteriormente l’accuratezza, ho testato un elenco di comandi Docker che non avevo introdotto in precedenza. Sebbene Vision descrivesse efficacemente le azioni dei primi quattro comandi, era necessario un ulteriore coinvolgimento per spingerlo a proseguire oltre.

comandi docker per testare in Copilot Vision

Concludendo la mia valutazione, le risposte sono state generalmente accurate, ma è rimasto ambiguo se Vision sfrutti le risorse online o utilizzi esclusivamente il proprio set di dati.

Questa panoramica di Copilot Vision su Windows 11 ne evidenzia i significativi progressi. Se hai familiarità con le policy sui dati di Copilot, ti consiglio di esplorarne le funzionalità: è perfettamente integrato nell’app.

Fonte e immagini