InstructDiffusion kan förstå semantiska betydelser och kommer att använda dem för att redigera dina bilder.
- InstructDiffusion är en AI som kan använda tidigare instruktioner för att få förmågan att förstå semantiska betydelser.
- Modellen är också kapabel till imponerande generaliseringsförmåga.
- När den väl lärt sig om en visuell signal, kommer modellen att expandera kraftigt på den för att träna sig själv ytterligare.
Microsofts senaste AI-modell, Instruera diffusion, kommer att radikalt förvandla dina bilder, eller någon bild som du kan ladda upp, enligt dina instruktioner. Modellen, utvecklad av Microsoft Research Asia, är ett gränssnitt som sammanför AI och mänskliga instruktioner för att generera och slutföra en mängd olika visuella uppgifter.
Med andra ord, du väljer en bild som du vill redigera, ändra eller transformera, och InstructDiffusion kommer att åstadkomma sin datorvision för att ändra bilden baserat på din input.
Microsoft släppte pappret för modellen för några dagar sedan, och InstructDiffusion har redan en demo lekplats, där du kan prova modellen själv.
Den viktigaste innovationen i IntructDiffusion är att modellen inte behöver förkunskaper om bilden, utan istället använder den en diffusionsprocess för att manipulera pixlar. Modellen är kapabel till många användbara funktioner som segmentering, nyckelpunktsdetektering och återställning. Praktiskt taget kommer InstructDiffusion att använda dina instruktioner för att ändra bilden.
I ett exempel kunde Microsoft Research Asia ta bort vattenstämpeln på ett foto genom att helt enkelt instruera modellen att göra det.
Microsofts InstructDiffusion kan urskilja innebörden bakom dina instruktioner
InstructDiffusion, som många andra Microsoft AI-modeller, är kapabel till innovativt beteende när det gäller att lösa uppgifter. Microsoft Research Asia hävdar att InstructDiffusion implementerar förståelseuppgifter och generativa uppgifter.
Modellen kommer att använda förståelseuppgifter, såsom segmentering och nyckelpunktsdetektering, för att lokalisera området och pixlarna som du vill att den ska redigera.
Till exempel använder modellen segmentering för att framgångsrikt hitta området för din följande instruktion: måla mannen till höger om bilden röd. För nyckelpunktsdetektioner skulle en instruktion vara: använd gult för att omringa knäet på mannen längst till vänster i bilden.
De generativa uppgifterna består av redigerings- och återställningsuppgifter. Inte bara InstructDiffusion kommer att redigera din bild, utan modellen kommer också att generera nya element för bilden, baserat på dina instruktioner.
Microsoft InstructDiffusions mest lovande funktion är dess förmåga att framgångsrikt generalisera alla instruktioner den får för att bilda en sammanhållen och djup förståelse av innebörden bakom dem. Med andra ord kommer modellen att komma ihåg instruktionerna du gav den, och den kommer framgångsrikt att använda dem för att träna sig själv ytterligare.
Men modellen kommer också att lära sig att urskilja betydelser bakom dina instruktioner, vilket leder till att den löser osynliga uppgifter och kommer på nya sätt att generera element. Denna förmåga att förstå semantiska betydelser placerar InstructDifussion ett steg längre än de andra liknande modellerna: den överträffar dem.
Men InstructDiffusion är också ett steg längre för att nå AGI: Genom att på djupet förstå den semantiska innebörden bakom varje instruktion och vara kapabel att framgångsrikt generalisera datorvisioner, kommer modellen att avsevärt främja AI-utvecklingen.
Microsoft Research Asia låter dig prova det i en demo lekplats, men du kan också använd dess kod att träna din egen AI-modell.
Vad är dina åsikter om denna modell? Kommer du att prova det?
