InstructDiffusion mampu memahami makna semantik dan akan menggunakannya untuk mengedit gambar Anda.
- InstructDiffusion adalah AI yang mampu menggunakan instruksi masa lalu untuk mendapatkan kemampuan memahami makna semantik.
- Model ini juga mampu memberikan kemampuan generalisasi yang mengesankan.
- Setelah mempelajari isyarat visual, model akan mengembangkannya secara signifikan untuk melatih dirinya lebih jauh.
Model AI terbaru Microsoft, Instruksikan Difusi, akan mengubah gambar Anda secara radikal, atau gambar apa pun yang dapat Anda unggah, sesuai dengan instruksi Anda. Model yang dikembangkan oleh Microsoft Research Asia ini merupakan antarmuka yang menyatukan AI dan instruksi manusia untuk menghasilkan dan menyelesaikan berbagai tugas visual.
Dengan kata lain, Anda memilih gambar yang ingin Anda edit, ubah, atau ubah, dan InstructDiffusion akan mewujudkan visi komputernya untuk mengubah gambar berdasarkan masukan Anda.
Microsoft dirilis kertas untuk model beberapa hari yang lalu, dan InstructDiffusion sudah memiliki taman bermain demo, di mana Anda dapat mencoba modelnya sendiri.
Inovasi utama dalam IntructDiffusion adalah model tidak memerlukan pengetahuan sebelumnya tentang gambar, namun menggunakan proses difusi untuk memanipulasi piksel. Model ini mampu melakukan banyak fitur berguna seperti segmentasi, deteksi titik kunci, dan pemulihan. Praktisnya, InstructDiffusion akan menggunakan instruksi Anda untuk mengubah gambar.
Dalam salah satu contoh, Microsoft Research Asia mampu menghapus tanda air pada foto, cukup dengan menginstruksikan model untuk melakukannya.
InstructDiffusion Microsoft mampu membedakan makna di balik instruksi Anda
InstructDiffusion, seperti banyak lainnya Model AI Microsoft, mampu berperilaku inovatif dalam menyelesaikan tugas. Microsoft Research Asia mengklaim bahwa InstructDiffusion mengimplementasikan tugas pemahaman dan tugas generatif.
Model ini akan menggunakan tugas pemahaman, seperti segmentasi dan deteksi titik kunci untuk menemukan lokasi area dan piksel yang ingin Anda edit.
Misalnya, model menggunakan segmentasi agar berhasil menemukan area dengan instruksi berikut: cat pria di sebelah kanan gambar dengan warna merah. Untuk deteksi titik kunci, instruksinya adalah: gunakan warna kuning untuk melingkari lutut pria di paling kiri gambar.
Tugas generatif terdiri dari tugas pengeditan dan restorasi. InstructDiffusion tidak hanya akan mengedit gambar Anda, tetapi model juga akan menghasilkan elemen baru untuk gambar tersebut, berdasarkan instruksi Anda.
Fitur Microsoft InstructDiffusion yang paling menjanjikan adalah kemampuannya untuk berhasil menggeneralisasi semua instruksi yang diterimanya untuk membentuk pemahaman yang kohesif dan mendalam tentang makna di baliknya. Dengan kata lain, model akan mengingat instruksi yang Anda berikan, dan model akan berhasil menggunakannya untuk melatih dirinya lebih jauh.
Namun model tersebut juga akan belajar membedakan makna di balik instruksi Anda, mengarahkannya untuk menyelesaikan tugas yang tidak terlihat dan menemukan cara baru untuk menghasilkan elemen. Kemampuan untuk memahami makna semantik ini menempatkan InstructDifussion selangkah lebih maju dibandingkan model serupa lainnya: model ini mengungguli model tersebut.
Namun, InstructDiffusion juga selangkah lebih maju untuk mencapai AGI: Dengan memahami secara mendalam makna semantik di balik setiap instruksi, dan mampu menggeneralisasi visi komputer dengan sukses, model ini akan sangat memajukan pengembangan AI.
Microsoft Research Asia memungkinkan Anda mencobanya di a taman bermain demo, tapi kamu juga bisa gunakan kodenya untuk melatih model AI Anda sendiri.
Apa pendapat Anda tentang model ini? Maukah Anda mencobanya?
