InstructDiffusion di Microsoft modificherà le tue immagini secondo le tue istruzioni

InstructDiffusion è in grado di comprendere significati semantici e li utilizzerà per modificare le tue immagini.

L’ultimo modello di intelligenza artificiale di Microsoft, Istruire la diffusione, trasformerà radicalmente le tue immagini, o qualsiasi immagine che potrai caricare, secondo le tue istruzioni. Il modello, sviluppato da Microsoft Research Asia, è un'interfaccia che riunisce istruzioni umane e di intelligenza artificiale per generare e completare una varietà di compiti visivi.

In altre parole, scegli un'immagine che desideri modificare, cambiare o trasformare e InstructDiffusion utilizzerà la sua visione artificiale per modificare l'immagine in base al tuo input.

Microsoft ha rilasciato la carta per il modello pochi giorni fa e InstructDiffusion ha già un file parco giochi dimostrativo, dove potrai provare tu stesso il modello.

L’innovazione chiave di IntructDiffusion è che il modello non necessita di una conoscenza preliminare dell’immagine, ma utilizza invece un processo di diffusione per manipolare i pixel. Il modello è dotato di molte funzionalità utili come la segmentazione, il rilevamento dei punti chiave e il ripristino. In pratica, InstructDiffusion utilizzerà le tue istruzioni per modificare l'immagine.

In un esempio, Microsoft Research Asia è riuscita a rimuovere la filigrana su una foto, semplicemente dando istruzioni al modello di farlo.

InstructDiffusion di Microsoft è in grado di distinguere il significato dietro le tue istruzioni

InstructDiffusion, come molti altri Modelli di intelligenza artificiale di Microsoft, è capace di comportamenti innovativi quando si tratta di risolvere compiti. Microsoft Research Asia afferma che InstructDiffusion implementa compiti di comprensione e compiti generativi.

Il modello utilizzerà attività di comprensione, come la segmentazione e il rilevamento dei punti chiave per individuare l'area e i pixel che desideri modificare.

Ad esempio, il modello utilizza la segmentazione per individuare con successo l'area della seguente istruzione: dipingi di rosso l'uomo a destra dell'immagine. Per il rilevamento dei punti chiave, un'istruzione potrebbe essere: utilizzare il giallo per circondare il ginocchio dell'uomo all'estrema sinistra dell'immagine.

Le attività generative sono costituite da attività di modifica e ripristino. Non solo InstructDiffusion modificherà la tua immagine, ma il modello genererà anche nuovi elementi per l'immagine, in base alle tue istruzioni.

La caratteristica più promettente di Microsoft InstructDiffusion è la sua capacità di generalizzare con successo tutte le istruzioni che riceve per formare una comprensione coesa e profonda del significato dietro di esse. In altre parole, il modello ricorderà le istruzioni che gli hai dato e le utilizzerà con successo per allenarsi ulteriormente.

Ma il modello imparerà anche a distinguere i significati dietro le tue istruzioni, portandolo a risolvere compiti invisibili e a trovare nuovi modi per generare elementi. Questa capacità di comprendere i significati semantici pone InstructDifussion un passo avanti rispetto agli altri modelli simili: li surclassa.

Tuttavia, InstructDiffusion è anche un ulteriore passo avanti per raggiungere l'AGI: Comprendendo profondamente il significato semantico dietro ogni istruzione ed essendo in grado di generalizzare con successo le visioni computerizzate, il modello farà avanzare notevolmente lo sviluppo dell'intelligenza artificiale.

Microsoft Research Asia ti consente di provarlo in a parco giochi dimostrativo, ma puoi anche usa il suo codice per addestrare il tuo modello di intelligenza artificiale.

Quali sono le vostre opinioni su questo modello? Lo proverai?