Το phi-1 είναι το νέο μοντέλο γλώσσας της Microsoft για κωδικοποίηση.
- Η Microsoft χρηματοδοτεί μεγάλη έρευνα για την τεχνητή νοημοσύνη.
- Αφού ανακοινώσαμε ότι το Orca θα είναι ανοιχτού κώδικα, το phi-1 είναι επίσης εδώ.
- Το phi-1 είναι ικανό να εδραιώσει τη γνώση από μόνο του.
Η Microsoft κάνει πραγματικά ένα μεγάλο βήμα στην ανάπτυξη AI. Τον περασμένο μήνα, η τεχνητή νοημοσύνη ήταν στην πρώτη γραμμή του συνεδρίου Microsoft Build και η τεχνολογία που βασίζεται στο Redmond ανακοίνωσε μάλιστα ότι Το Copilot έρχεται στα Windows 11. Ως εγγενής ενσωματωμένη εφαρμογή, για όλα όσα χρειάζεστε,
Το AI έρχεται και στο Microsoft Teams, στο εργαλείο Recap Ai. Και πολλά άλλα εργαλεία της Microsoft θα χρησιμοποιούν AI, συμπεριλαμβανομένου του Microsoft Fabric.
Αλλά φαίνεται ότι η Microsoft χρηματοδοτεί επίσης την έρευνα AI. Μόλις πρόσφατα, ο τεχνολογικός γίγαντας ανακοίνωσε Το Orca 13B θα είναι ανοιχτού κώδικα. Και Το LongMem είναι ένα άλλο καλό σημείο στην έρευνα AI: είναι η απάντηση για απεριόριστο μήκος περιβάλλοντος.
Και τώρα υπάρχει χρόνος για άλλη μια μεγάλη ανακάλυψη στην έρευνα της τεχνητής νοημοσύνης, που προέρχεται φυσικά από τη Microsoft. Το νέο μοντέλο παραμέτρων 1.3B που κωδικοποιεί το LLM, που ονομάζεται phi-1, φέρεται να έχει καλύτερη απόδοση από το GPT 3.5, σε μόλις 4 ημέρες εκπαίδευσης.
Τι είναι το phi-1 και πώς ξεπερνά ήδη το GPT;
Phi-1 είναι ένα νέο μοντέλο γλώσσας παραμέτρων 1.3B για κώδικα, με σημαντικά μικρότερο μέγεθος από τα ανταγωνιστικά μοντέλα. Το μοντέλο γλώσσας εκπαιδεύτηκε για 4 ημέρες, πάνω από 7B διακριτικά (εμφανίστηκαν ελαφρώς περισσότερα από 50B συνολικά μάρκες) και ακολούθησε βελτίωση σε λιγότερα από 200 εκατομμύρια διακριτικά.
Παρά το γεγονός ότι ήταν πολύ μικρότερο από τα ανταγωνιστικά μοντέλα, το phi-1 έφτασε το 50,6% [email προστατευμένο] ακρίβεια στο HumanEval και 55,5% [email προστατευμένο] ακρίβεια σε MBPP (Κυρίως Βασικά Προγράμματα Python), τα οποία είναι ένας από τους καλύτερους αριθμούς που αναφέρονται από τον εαυτό τους χρησιμοποιώντας μόνο μία γενιά LLM.
Επιπλέον, παρά το γεγονός ότι έχει εκπαιδευτεί σε πολύ λιγότερα tokens σε σύγκριση με τα υπάρχοντα μοντέλα, το phi-1 έχει ακόμα πολλές δυνατότητες.
Οι βελτιώσεις στο HumanEval είναι τα μεγαλύτερα επιτεύγματα του phi-1, ως γλωσσικό μοντέλο. Μετά τον συντονισμό, το phi-1 κατάφερε να εκτελέσει εργασίες που δεν εμφανίζονταν στο σύνολο δεδομένων λεπτομερούς ρύθμισης. Αυτό σημαίνει ότι το μοντέλο προσαρμόστηκε και βελτίωσε τη διαδικασία λεπτομέρειας.
Και το πιο αξιοσημείωτο είναι ότι το phi-1 αναδιοργάνωσε και εδραίωσε τη γνώση που αποκτήθηκε κατά τη διάρκεια της προεκπαίδευσης, παρόλο που η γνώση δεν ήταν ρητά παρούσα εκεί εξαρχής.
Με λίγα λόγια, το phi-1 όχι μόνο μαθαίνει κατά τη διάρκεια της εκπαίδευσης αλλά επεκτείνει και μόνο του τη γνώση. Κατάφερε να ξεπεράσει το GPT 3.5 σε κάθε επίπεδο και είναι απλά θέμα χρόνου μέχρι το μικρό μοντέλο να αντιμετωπίσει τα μεγάλα, όπως το GPT 4.
Τι πιστεύετε για αυτό το νέο μοντέλο AI; Πού πιστεύετε ότι οδεύει η έρευνα για την τεχνητή νοημοσύνη; Φροντίστε να μας ενημερώσετε για τις απόψεις σας στην παρακάτω ενότητα σχολίων.
