InstructDiffusion е способен да разбира семантичните значения и ще ги използва, за да редактира вашите изображения.
- InstructDiffusion е AI, способен да използва минали инструкции, за да придобие способността да разбира семантичните значения.
- Моделът също така притежава впечатляващи възможности за обобщение.
- След като научи за визуален знак, моделът ще го разшири значително, за да се обучи още повече.
Най-новият AI модел на Microsoft, Инструктирайте дифузия, радикално ще трансформира вашите изображения или всяко изображение, което можете да качите, според вашите инструкции. Моделът, разработен от Microsoft Research Asia, е интерфейс, който обединява AI и човешки инструкции за генериране и изпълнение на различни визуални задачи.
С други думи, вие избирате изображение, което искате да редактирате, промените или трансформирате, а InstructDiffusion ще създаде своята компютърна визия, за да промени изображението въз основа на вашия вход.
Microsoft пусна хартията за модела преди няколко дни, а InstructDiffusion вече има a демонстрационна площадка, където можете да изпробвате модела сами.
Ключовата иновация в IntructDiffusion е, че моделът не се нуждае от предварителни познания за изображението, а вместо това използва процес на дифузия за манипулиране на пиксели. Моделът има много полезни функции като сегментиране, откриване на ключови точки и възстановяване. На практика InstructDiffusion ще използва вашите инструкции, за да промени изображението.
В един пример Microsoft Research Asia успя да премахне водния знак върху снимка, като просто инструктира модела да го направи.
InstructDiffusion на Microsoft може да различи значението зад вашите инструкции
InstructDiffusion, както много други Модели на Microsoft AI, е способен на иновативно поведение, когато става въпрос за решаване на задачи. Microsoft Research Asia твърди, че InstructDiffusion прилага задачи за разбиране и генеративни задачи.
Моделът ще използва задачи за разбиране, като сегментиране и откриване на ключови точки, за да локализира областта и пикселите, които искате да редактира.
Например, моделът използва сегментиране, за да локализира успешно зоната на следната ви инструкция: оцветете човека отдясно на изображението в червено. За откриване на ключови точки инструкцията ще бъде: използвайте жълто, за да обградите коляното на мъжа в най-лявата част на изображението.
Генеративните задачи се състоят от редактиращи и възстановителни задачи. Не само InstructDiffusion ще редактира вашето изображение, но и моделът ще генерира нови елементи за изображението, въз основа на вашите инструкции.
Най-обещаващата функция на Microsoft InstructDiffusion е способността му успешно да обобщава всички инструкции, които получава, за да формира сплотено и дълбоко разбиране на значението зад тях. С други думи, моделът ще запомни инструкциите, които сте му дали, и ще ги използва успешно, за да се обучава още повече.
Но моделът също така ще се научи да разграничава значения зад вашите инструкции, което ще го накара да решава невиждани задачи и да измисля нови начини за генериране на елементи. Тази способност за разбиране на семантичните значения поставя InstructDifussion една стъпка напред от другите подобни модели: той ги превъзхожда.
Въпреки това, InstructDiffusion е и стъпка напред за достигане на AGI: Чрез задълбочено разбиране на семантичното значение зад всяка инструкция и възможност за успешно обобщаване на компютърни визии, моделът значително ще напредне в развитието на ИИ.
Microsoft Research Asia ви позволява да го изпробвате в a демонстрационна площадка, но можете също използвайте неговия код да обучите свой собствен AI модел.
Какви са вашите мнения за този модел? ще го пробваш ли
