InstructDiffusion здатний розуміти семантичні значення та використовуватиме їх для редагування ваших зображень.
- InstructDiffusion — це штучний інтелект, здатний використовувати минулі інструкції, щоб отримати здатність розуміти семантичні значення.
- Модель також має вражаючі можливості узагальнення.
- Коли модель дізнається про візуальну підказку, вона значно розширить її, щоб навчатися ще далі.
Остання модель ШІ Microsoft, Instruct Diffusion, радикально змінить ваші зображення або будь-які зображення, які ви можете завантажити відповідно до ваших інструкцій. Модель, розроблена компанією Microsoft Research Asia, являє собою інтерфейс, який об’єднує команди штучного інтелекту та людини для створення та виконання різноманітних візуальних завдань.
Іншими словами, ви обираєте зображення, яке хочете відредагувати, змінити чи трансформувати, а InstructDiffusion запровадить своє комп’ютерне бачення, щоб змінити зображення на основі ваших даних.
Microsoft випустила папір для моделі кілька днів тому, і InstructDiffusion вже має демонстраційний майданчик, де ви можете спробувати модель на собі.
Ключове нововведення в IntructDiffusion полягає в тому, що моделі не потрібні попередні знання про зображення, натомість вона використовує процес дифузії для керування пікселями. Модель має багато корисних функцій, таких як сегментація, визначення ключових точок і відновлення. Практично InstructDiffusion використовуватиме ваші інструкції, щоб змінити зображення.
В одному прикладі Microsoft Research Asia змогла видалити водяний знак на фотографії, просто давши вказівку моделі зробити це.
InstructDiffusion від Microsoft здатний розрізняти значення ваших інструкцій
InstructDiffusion, як і багато інших Моделі Microsoft AI, здатний до інноваційної поведінки, коли справа доходить до вирішення завдань. Microsoft Research Asia стверджує, що InstructDiffusion реалізує завдання розуміння та генеративні завдання.
Модель використовуватиме завдання розуміння, такі як сегментація та визначення ключових точок, щоб знайти область і пікселі, які ви хочете редагувати.
Наприклад, модель використовує сегментацію, щоб успішно знайти область вашої наступної інструкції: пофарбуйте людину праворуч від зображення в червоний колір. Для виявлення ключових точок інструкція буде такою: жовтим кольором обведіть коліно людини в лівій частині зображення.
Генеративні завдання складаються з редагуючих і відновлювальних. InstructDiffusion не лише відредагує ваше зображення, але модель також створить нові елементи для зображення на основі ваших інструкцій.
Найбільш багатообіцяючою функцією Microsoft InstructDiffusion є її здатність успішно узагальнювати всі отримані інструкції, щоб сформувати цілісне та глибоке розуміння значення, що стоїть за ними. Іншими словами, модель запам’ятає вказівки, які ви їй дали, і успішно використає їх для подальшого навчання.
Але модель також навчиться розрізняти значення, що стоять за вашими інструкціями, що веде до вирішення невидимих завдань і винаходить нові способи створення елементів. Ця здатність розуміти семантичні значення ставить InstructDifussion на крок далі, ніж інші подібні моделі: він перевершує їх.
Однак InstructDiffusion також є кроком далі до досягнення AGI: Завдяки глибокому розумінню семантичного значення кожної інструкції та здатності успішно узагальнювати комп’ютерне бачення модель значно просуне розвиток ШІ.
Microsoft Research Asia дозволяє спробувати це в a демонстраційний майданчик, але ви також можете використовувати його код навчити власну модель ШІ.
Що ви думаєте про цю модель? Ви спробуєте?
