InstructDiffusion jest w stanie zrozumieć znaczenia semantyczne i użyje ich do edycji obrazów.
- InstructDiffusion to sztuczna inteligencja zdolna do wykorzystania wcześniejszych instrukcji w celu uzyskania umiejętności zrozumienia znaczeń semantycznych.
- Model ma także imponujące możliwości generalizacji.
- Gdy model nauczy się bodźca wizualnego, znacznie go rozwinie, aby jeszcze bardziej się szkolić.
Najnowszy model AI Microsoftu, Poinstruuj dyfuzję, radykalnie przekształci Twoje obrazy lub każdy obraz, który możesz przesłać, zgodnie z Twoimi instrukcjami. Model opracowany przez Microsoft Research Asia to interfejs łączący sztuczną inteligencję i instrukcje ludzkie w celu generowania i wykonywania różnorodnych zadań wizualnych.
Innymi słowy, wybierasz obraz, który chcesz edytować, zmienić lub przekształcić, a InstructDiffusion przeprowadzi wizję komputerową i zmieni obraz w oparciu o Twoje dane wejściowe.
Wydany przez Microsoft papier dla modelu kilka dni temu, a InstructDiffusion ma już pokazowy plac zabaw, gdzie możesz wypróbować model samodzielnie.
Kluczową innowacją w IntructDiffusion jest to, że model nie wymaga wcześniejszej znajomości obrazu, lecz zamiast tego wykorzystuje proces dyfuzji do manipulowania pikselami. Model ma wiele przydatnych funkcji, takich jak segmentacja, wykrywanie punktów kluczowych i przywracanie. W praktyce InstructDiffusion użyje Twoich instrukcji, aby zmienić obraz.
W jednym przykładzie firmie Microsoft Research Asia udało się usunąć znak wodny ze zdjęcia, po prostu instruując modelkę, aby to zrobiła.
Funkcja InstructDiffusion firmy Microsoft jest w stanie rozróżnić znaczenie Twoich instrukcji
InstructDiffusion, jak wiele innych Modele sztucznej inteligencji Microsoftu, jest zdolny do innowacyjnych zachowań przy rozwiązywaniu zadań. Microsoft Research Asia twierdzi, że InstructDiffusion realizuje zadania rozumiejące i zadania generatywne.
Model użyje zadań zrozumienia, takich jak segmentacja i wykrywanie punktów kluczowych, aby zlokalizować obszar i piksele, które chcesz edytować.
Na przykład model wykorzystuje segmentację, aby z powodzeniem zlokalizować obszar, w którym znajduje się następująca instrukcja: pomaluj na czerwono mężczyznę po prawej stronie obrazu. W przypadku wykrywania kluczowych punktów instrukcja byłaby następująca: użyj koloru żółtego, aby otoczyć kolano mężczyzny po lewej stronie obrazu.
Zadania generatywne składają się z zadań redakcyjnych i rekonstrukcyjnych. InstructDiffusion nie tylko dokona edycji Twojego obrazu, ale model wygeneruje także nowe elementy obrazu, w oparciu o Twoje instrukcje.
Najbardziej obiecującą funkcją programu Microsoft InstructDiffusion jest jego zdolność do skutecznego uogólniania wszystkich otrzymywanych instrukcji w celu uzyskania spójnego i głębokiego zrozumienia ich znaczenia. Innymi słowy, model zapamięta instrukcje, które mu dałeś i z powodzeniem wykorzysta je do dalszego treningu.
Ale model nauczy się także rozróżniać znaczenia instrukcji, co doprowadzi go do rozwiązania niewidocznych zadań i wymyślenia nowych sposobów generowania elementów. Ta umiejętność rozumienia znaczeń semantycznych stawia InstructDifussion o krok dalej niż inne podobne modele: przewyższa je.
Jednak InstructDiffusion to także krok dalej do osiągnięcia AGI: Dzięki głębokiemu zrozumieniu semantycznego znaczenia każdej instrukcji i możliwości skutecznego uogólniania wizji komputerowych, model znacznie przyspieszy rozwój sztucznej inteligencji.
Microsoft Research Asia umożliwia wypróbowanie go w wersji pokazowy plac zabaw, ale Ty też możesz użyj jego kodu do trenowania własnego modelu AI.
Jakie są Wasze opinie na temat tego modelu? Czy spróbujesz?
