InstructDiffusion er i stand til at forstå semantiske betydninger, og den vil bruge dem til at redigere dine billeder.
- InstructDiffusion er en AI, der er i stand til at bruge tidligere instruktioner til at opnå evnen til at forstå semantiske betydninger.
- Modellen er også i stand til imponerende generaliseringsevner.
- Når først den lærer om en visuel cue, vil modellen udvide det kraftigt for at træne sig selv yderligere.
Microsofts seneste AI-model, Instruer diffusion, vil radikalt transformere dine billeder, eller ethvert billede, du kan uploade, i henhold til dine instruktioner. Modellen, der er udviklet af Microsoft Research Asia, er en grænseflade, der samler AI og menneskelige instruktioner til at generere og fuldføre en række visuelle opgaver.
Med andre ord, du vælger et billede, som du vil redigere, ændre eller transformere, og InstructDiffusion vil frembringe sin computervision for at ændre billedet baseret på dit input.
Microsoft frigivet papiret til modellen for et par dage siden, og InstructDiffusion har allerede en demo legeplads, hvor du selv kan prøve modellen.
Den vigtigste innovation i IntructDiffusion er, at modellen ikke behøver forudgående viden om billedet, men i stedet bruger den en diffusionsproces til at manipulere pixels. Modellen er i stand til en masse nyttige funktioner såsom segmentering, nøglepunktsdetektion og gendannelse. Praktisk talt vil InstructDiffusion bruge dine instruktioner til at ændre billedet.
I et eksempel var Microsoft Research Asia i stand til at fjerne vandmærket på et billede ved blot at instruere modellen til at gøre det.
Microsofts InstructDiffusion er i stand til at skelne betydningen bag dine instruktioner
InstructDiffusion, ligesom mange andre Microsoft AI-modeller, er i stand til innovativ adfærd, når det kommer til at løse opgaver. Microsoft Research Asia hævder, at InstructDiffusion implementerer forståelsesopgaver og generative opgaver.
Modellen vil bruge forståelsesopgaver, såsom segmentering og nøglepunktsdetektering til at lokalisere det område og de pixels, som du vil have den til at redigere.
For eksempel bruger modellen segmentering til at finde området for din følgende instruktion: mal manden til højre for billedet rød. Til nøglepunktsdetektering vil en instruktion være: brug gul til at omkranse knæet på manden længst til venstre i billedet.
De generative opgaver består af redigerings- og genoprettelsesopgaver. Ikke kun InstructDiffusion vil redigere dit billede, men modellen vil også generere nye elementer til billedet, baseret på dine instruktioner.
Microsoft InstructDiffusions mest lovende funktion er dens evne til at generalisere alle de instruktioner, den modtager, for at danne en sammenhængende og dyb forståelse af meningen bag dem. Med andre ord vil modellen huske de instruktioner, du gav til den, og den vil med succes bruge dem til at træne sig selv yderligere.
Men modellen vil også lære at skelne betydninger bag dine instruktioner, hvilket får den til at løse usynlige opgaver og komme med nye måder at generere elementer på. Denne evne til at forstå semantiske betydninger placerer InstructDifussion et skridt videre end de andre lignende modeller: den udkonkurrerer dem.
InstructDiffusion er dog også et skridt videre at nå AGI: Ved dybt at forstå den semantiske betydning bag hver instruktion og være i stand til med succes at generalisere computervisioner, vil modellen i høj grad fremme AI-udviklingen.
Microsoft Research Asia giver dig mulighed for at prøve det i en demo legeplads, men du kan også bruge dens kode at træne din egen AI-model.
Hvad er din mening om denne model? Vil du prøve det?
