InstructDiffusion pystyy ymmärtämään semanttisia merkityksiä ja käyttää niitä kuviesi muokkaamiseen.
- InstructDiffusion on tekoäly, joka pystyy käyttämään aiempia ohjeita saadakseen kyvyn ymmärtää semanttisia merkityksiä.
- Malli pystyy myös vaikuttaviin yleistysominaisuuksiin.
- Kun malli oppii visuaalisen vihjeen, se laajentaa sitä huomattavasti kouluttaakseen itseään entisestään.
Microsoftin uusin tekoälymalli, Ohjeita diffuusiota, muuttaa kuvasi radikaalisti tai minkä tahansa kuvan, jonka voit ladata ohjeidesi mukaan. Microsoft Research Asian kehittämä malli on käyttöliittymä, joka yhdistää tekoälyn ja ihmisen ohjeet erilaisten visuaalisten tehtävien luomiseen ja suorittamiseen.
Toisin sanoen valitset kuvan, jota haluat muokata, muuttaa tai muuntaa, ja InstructDiffusion saa aikaan tietokonevisionsa muuttaakseen kuvaa syöttämäsi perusteella.
Microsoft julkaisi paperi mallille muutama päivä sitten, ja InstructDiffusionilla on jo a demo leikkipaikka, jossa voit kokeilla mallia itse.
IntructDiffusionin tärkein innovaatio on, että malli ei vaadi aiempaa tietoa kuvasta, vaan se käyttää diffuusioprosessia pikselien manipuloimiseen. Malli pystyy käyttämään monia hyödyllisiä ominaisuuksia, kuten segmentointia, avainpisteiden havaitsemista ja palauttamista. Käytännössä InstructDiffusion käyttää ohjeitasi kuvan vaihtamiseen.
Yhdessä esimerkissä Microsoft Research Asia pystyi poistamaan valokuvan vesileiman yksinkertaisesti ohjeistamalla mallia tekemään niin.
Microsoftin InstructDiffusion pystyy erottamaan ohjeidesi takana olevan merkityksen
InstructDiffusion, kuten monet muutkin Microsoft AI -malleja, kykenee innovatiiviseen käyttäytymiseen tehtävien ratkaisemisessa. Microsoft Research Asia väittää, että InstructDiffusion toteuttaa ymmärtämistehtäviä ja generatiivisia tehtäviä.
Malli käyttää ymmärtämistehtäviä, kuten segmentointia ja avainpisteiden tunnistuksia, paikantaakseen alueen ja pikselit, joita haluat sen muokattavan.
Malli käyttää segmentointia esimerkiksi seuraavan ohjeesi alueen paikallistamiseksi onnistuneesti: maalaa kuvan oikealla puolella oleva mies punaiseksi. Avainpisteiden havaitsemiseen ohje olisi: käytä keltaista kuvan vasemmalla puolella olevan miehen polven ympärille.
Generatiiviset tehtävät koostuvat editointi- ja restaurointitehtävistä. InstructDiffusion ei ainoastaan muokkaa kuvaasi, vaan malli myös luo kuvalle uusia elementtejä ohjeidesi perusteella.
Microsoft InstructDiffusionin lupaavin ominaisuus on sen kyky yleistää onnistuneesti kaikki saamansa ohjeet muodostaakseen yhtenäisen ja syvän ymmärryksen niiden takana olevasta merkityksestä. Toisin sanoen malli muistaa sille antamasi ohjeet ja käyttää niitä menestyksekkäästi kouluttautuessaan entisestään.
Mutta malli oppii myös erottamaan ohjeiden takana olevat merkitykset, jolloin se ratkaisee ennennäkemättömiä tehtäviä ja keksii uusia tapoja luoda elementtejä. Tämä kyky ymmärtää semanttisia merkityksiä asettaa InstructDifussionin askeleen pidemmälle kuin muut vastaavat mallit: se ylittää ne.
InstructDiffusion on kuitenkin myös askel pidemmälle saavuttaaksesi AGI: n: Ymmärtämällä syvästi jokaisen ohjeen taustalla olevan semanttisen merkityksen ja pystymällä yleistämään tietokonevisioita menestyksekkäästi, malli edistää suuresti tekoälyn kehitystä.
Microsoft Research Asian avulla voit kokeilla sitä a demo leikkipaikka, mutta voit myös käyttää sen koodia kouluttaa omaa tekoälymalliasi.
Mitä mieltä olette tästä mallista? Kokeiletko sitä?
