Το νέο πλαίσιο θα φέρει επανάσταση στα μοντέλα AI.
- Το πλαίσιο καθιστά δυνατή την ύπαρξη απεριόριστου μήκους περιβάλλοντος.
- Ένα απεριόριστο μήκος περιβάλλοντος σημαίνει μια πιο εξατομικευμένη συνομιλία με μοντέλα AI.
- Είναι βασικά το επόμενο βήμα για την τεχνητή νοημοσύνη να γίνει πλήρως άνθρωπος.
Η Microsoft ήταν στην πρώτη γραμμή της εκπαίδευσης AI, και των εργαλείων AI, γενικότερα. Το Copilot έρχεται πολύ σύντομα στα Windows 11, ως μέρος των ενημερώσεων των Windows. Η τεχνητή νοημοσύνη ανοίγει τον δρόμο της στο Microsoft Teams, με ένα έξυπνη ανακεφαλαίωση που βοηθά τους ανθρώπους να εργάζονται ευκολότερα.
Το Bing είναι επίσης ένα από τα πιο συναρπαστικά εργαλεία AIκαι οι δυνατότητες του σάς επιτρέπουν να βελτιστοποιήσετε τόσο την εργασία σας όσο και τον τρόπο πλοήγησης στο Διαδίκτυο.
Αλλά νωρίτερα αυτή την εβδομάδα, η Microsoft το αποκάλυψε επίσης Το Orca 13B θα γίνει σύντομα ανοιχτού κώδικα. Το Orca 13B είναι ένα μικρό μοντέλο τεχνητής νοημοσύνης που αποδίδει με την ίδια ποιότητα και ταχύτητα με τα άλλα μοντέλα AI, όπως το ChatGPT.
Τώρα, στη μάχη της τεχνητής νοημοσύνης και της έρευνας AI, η Microsoft έρχεται με LongMem, ένα υποθετικό πλαίσιο και μοντέλο γλώσσας AI.
Σύμφωνα με αυτό το νήμα του Reddit, το LongMem επιτρέπει απεριόριστο μήκος περιβάλλοντος σε μειωμένη GPU και χρήση μνήμης CPU. Όλα αυτά γίνονται με μεγαλύτερη ταχύτητα.
Η Microsoft Research προτείνει νέο πλαίσιο, το LongMem, το οποίο επιτρέπει απεριόριστο μήκος περιβάλλοντος μαζί με μειωμένη χρήση μνήμης GPU και μεγαλύτερη ταχύτητα συμπερασμάτων. Ο κώδικας θα είναι ανοιχτού κώδικα
με u/llamaShill σε LocalLLaMA
Είναι το LongMem η απάντηση της Microsoft για απεριόριστο μήκος περιβάλλοντος;
Λοιπόν, για να καταλάβουμε τι σημαίνει να έχουμε απεριόριστο μήκος περιβάλλοντος, πρέπει πρώτα να καταλάβουμε τι σημαίνει μήκος περιβάλλοντος;
Το μήκος περιβάλλοντος αναφέρεται στον αριθμό των διακριτικών (λέξεων, πινακίδων, κ.λπ.) που επιτρέπεται από ένα μοντέλο, την είσοδο και την έξοδο του, καθώς και τη δική σας.
Για παράδειγμα, το ChatGPT έχει περιορισμένο αριθμό διακριτικών που σημαίνει ότι το μήκος του περιβάλλοντος είναι επίσης περιορισμένο. Μόλις το ChatGPT περάσει αυτό το όριο, τότε όλη η συνεχής αλληλεπίδραση που είχατε μαζί του μέχρι εκείνο το σημείο, θα χάσει κάθε σημασία. Ή καλύτερα να πούμε, θα γίνει επαναφορά.
Επομένως, εάν ξεκινάτε μια συνομιλία με το ChatGPT για το θέμα των Windows και αυτή η συνομιλία διαρκεί περισσότερο από το περιορισμένο πλαίσιο μήκος, τότε το εργαλείο τεχνητής νοημοσύνης θα χάσει το πλαίσιο και είτε θα αρχίσει να αποκλίνει από το θέμα είτε ολόκληρη η συνομιλία επαναφορά.
Ένα απεριόριστο μήκος περιβάλλοντος θα διασφαλίσει ότι αυτό δεν θα συμβεί και το μοντέλο AI θα συνεχίσει να σας απαντά σχετικά με το θέμα, ενώ θα μαθαίνει και θα προσαρμόζει πληροφορίες καθώς του μιλάτε για τα Windows.
Αυτό σημαίνει ότι το μοντέλο τεχνητής νοημοσύνης θα εξατομικεύσει επίσης τη συνομιλία σύμφωνα με τη συμβολή σας, εξ ου και η ανάγκη το πλαίσιο να έχει απεριόριστη διάρκεια.
Πώς λειτουργεί το LongMem;
Η Microsoft υπόσχεται ακριβώς αυτό με τη νέα της έρευνα για το πλαίσιο, το LongMem. Το LongMem θα επέτρεπε σε μεγάλα μοντέλα γλώσσας να απομνημονεύουν μακροπρόθεσμα περιβάλλοντα και να χρησιμοποιούν τη μακροπρόθεσμη μνήμη με μειωμένη ισχύ της CPU.
Το πλαίσιο αποτελείται από ένα παγωμένο μοντέλο μεγάλης γλώσσας ως κωδικοποιητής μνήμης, ένα υπολειπόμενο πλευρικό δίκτυο ως συσκευή ανάκτησης και ανάγνωσης μνήμης και μια αποθηκευμένη τράπεζα μνήμης που αποθηκεύει ζεύγη κλειδιών-τιμών από το παρελθόν πλαίσια.
Στην έρευνα που διεξήχθη από τη Microsoft, τα πειράματα δείχνουν ότι το LongMem ξεπερνά τις βασικές επιδόσεις όσον αφορά τη μοντελοποίηση γλώσσας μεγάλου κειμένου, την κατανόηση μακροπρόθεσμου πλαισίου και τις εργασίες εκμάθησης εντός πλαισίου επαυξημένης μνήμης. Επιπλέον, η μακροπρόθεσμη μνήμη της επιτρέπει να χρησιμοποιεί περισσότερα παραδείγματα επίδειξης για καλύτερη μάθηση.
Και τα καλά νέα είναι ότι το LongMem θα είναι ανοιχτού κώδικα. Έτσι θα μπορείτε να το μελετήσετε και να μάθετε πώς να εφαρμόσετε το πλαίσιο στο δικό σας μοντέλο AI. Μπορείς να ελέγξεις το προφίλ του στο GitHub εδώ.
Και αν σας ενδιαφέρει να διαβάσετε ολόκληρη την ερευνητική εργασία για το πλαίσιο, κατευθυνθείτε εδώ και ελέγξτε το.
Τι πιστεύετε για αυτή τη νέα τεχνολογική ανακάλυψη; Θα φέρει επανάσταση στον τρόπο με τον οποίο λειτουργούν τα μοντέλα AI; Φροντίστε να μας ενημερώσετε για τις σκέψεις και τις απόψεις σας παρακάτω.
