InstructDiffusion est capable de comprendre les significations sémantiques et les utilisera pour éditer vos images.
- InstructDiffusion est une IA capable d'utiliser des instructions passées pour acquérir la capacité de comprendre les significations sémantiques.
- Le modèle est également capable de capacités de généralisation impressionnantes.
- Une fois qu'il aura découvert un repère visuel, le modèle le développera considérablement pour s'entraîner encore plus.
Le dernier modèle d'IA de Microsoft, Instruire la diffusion, transformera radicalement vos images, ou toute image que vous pourrez télécharger, selon vos instructions. Le modèle, développé par Microsoft Research Asia, est une interface qui rassemble l'IA et les instructions humaines pour générer et effectuer diverses tâches visuelles.
En d'autres termes, vous choisissez une image que vous souhaitez modifier, modifier ou transformer, et InstructDiffusion fera appel à sa vision par ordinateur pour modifier l'image en fonction de votre saisie.
Microsoft a publié le papier pour le modèle il y a quelques jours, et InstructDiffusion a déjà un terrain de jeu de démonstration, où vous pourrez essayer le modèle par vous-même.
L’innovation clé d’IntructDiffusion est que le modèle n’a pas besoin de connaissance préalable de l’image, mais utilise plutôt un processus de diffusion pour manipuler les pixels. Le modèle est capable de nombreuses fonctionnalités utiles telles que la segmentation, la détection de points clés et la restauration. En pratique, InstructDiffusion utilisera vos instructions pour changer l'image.
Dans un exemple, Microsoft Research Asia a pu supprimer le filigrane sur une photo, en demandant simplement au modèle de le faire.
InstructDiffusion de Microsoft est capable de distinguer la signification de vos instructions
InstructDiffusion, comme beaucoup d'autres Modèles d'IA Microsoft, est capable d'un comportement innovant lorsqu'il s'agit de résoudre des tâches. Microsoft Research Asia affirme qu'InstructDiffusion implémente des tâches de compréhension et des tâches génératives.
Le modèle utilisera des tâches de compréhension, telles que la segmentation et la détection de points clés, pour localiser la zone et les pixels que vous souhaitez modifier.
Par exemple, le modèle utilise la segmentation pour réussir à localiser la zone de votre instruction suivante: peignez l'homme à droite de l'image en rouge. Pour les détections de points clés, une instruction serait la suivante: utilisez du jaune pour encercler le genou de l'homme à l'extrême gauche de l'image.
Les tâches génératives sont constituées de tâches d'édition et de restauration. Non seulement InstructDiffusion modifiera votre image, mais le modèle générera également de nouveaux éléments pour l'image, en fonction de vos instructions.
La fonctionnalité la plus prometteuse de Microsoft InstructDiffusion est sa capacité à généraliser avec succès toutes les instructions qu’il reçoit pour former une compréhension cohérente et approfondie de leur signification. En d’autres termes, le modèle se souviendra des instructions que vous lui avez données et il les utilisera avec succès pour s’entraîner encore plus.
Mais le modèle apprendra également à distinguer la signification de vos instructions, ce qui l'amènera à résoudre des tâches inédites et à proposer de nouvelles façons de générer des éléments. Cette capacité à comprendre les significations sémantiques place InstructDifussion un peu plus loin que les autres modèles similaires: il les surpasse.
Cependant, InstructDiffusion va également plus loin pour atteindre l'AGI: En comprenant profondément la signification sémantique de chaque instruction et en étant capable de généraliser avec succès les visions par ordinateur, le modèle fera considérablement progresser le développement de l’IA.
Microsoft Research Asia vous permet de l'essayer dans un terrain de jeu de démonstration, mais vous pouvez aussi utiliser son code pour former votre propre modèle d'IA.
Quels sont vos avis sur ce modèle? Allez-vous l'essayer ?
