phi-1 è il nuovo modello linguistico di Microsoft per la codifica.
- Microsoft sta finanziando molte ricerche sull'intelligenza artificiale.
- Dopo aver annunciato che Orca sarà open source, arriva anche phi-1.
- phi-1 è in grado di consolidare la conoscenza da solo.
Microsoft sta davvero facendo un grande passo avanti nello sviluppo dell'IA. Il mese scorso, l'intelligenza artificiale è stata in prima linea alla conferenza Microsoft Build e la tecnologia con sede a Redmond lo ha persino annunciato Copilot arriva su Windows 11. Come app integrata nativa, per tutto ciò di cui hai bisogno,
L'intelligenza artificiale sta arrivando anche in Microsoft Teams, nel suo strumento Recap Ai. E molti altri strumenti di Microsoft utilizzeranno l'intelligenza artificiale, incluso Microsoft Fabric.
Ma sembra che Microsoft stia anche finanziando la ricerca sull'IA. Proprio di recente, ha annunciato il gigante della tecnologia Orca 13B sarà open source. E LongMem è un altro punto positivo nella ricerca sull'IA: è la risposta per una lunghezza illimitata del contesto.
E ora c'è tempo per un altro grande passo avanti nella ricerca sull'IA, proveniente da Microsoft, ovviamente. Secondo quanto riferito, il nuovo LLM di codifica del modello di parametro 1.3B, chiamato phi-1, sta superando GPT 3.5, in soli 4 giorni di formazione.
Che cos'è phi-1 e in che modo supera già GPT?
Phi-1 è un nuovo modello di linguaggio con parametri 1.3B per il codice, con dimensioni notevolmente inferiori rispetto ai modelli concorrenti. Il modello linguistico è stato addestrato per 4 giorni, oltre 7 miliardi di token (poco più di 50 miliardi di token totali visti) seguito da una messa a punto su meno di 200 milioni di token.
Nonostante sia molto più piccolo dei modelli concorrenti, phi-1 ha raggiunto il 50,6% [e-mail protetta] precisione su HumanEval e 55,5% [e-mail protetta] accuratezza su MBPP (Mostly Basic Python Programs), che sono uno dei migliori numeri autodichiarati utilizzando una sola generazione LLM.
Inoltre, nonostante sia addestrato su molti meno token rispetto ai modelli esistenti, phi-1 ha ancora molte potenzialità.
I miglioramenti su HumanEval sono i più grandi risultati di phi-1, come modello linguistico. Dopo la messa a punto, phi-1 è riuscito a eseguire attività che non erano presenti nel set di dati di messa a punto. Ciò significa che il modello ha adattato e migliorato il processo di messa a punto.
E la cosa più notevole è che phi-1 ha riorganizzato e consolidato la conoscenza acquisita durante il pretraining, anche se la conoscenza non era esplicitamente presente lì in primo luogo.
In parole più brevi, phi-1 non solo apprende durante l'allenamento, ma espande anche la conoscenza da solo. È riuscito a superare GPT 3.5 a tutti i livelli ed è solo una questione di tempo prima che il modello piccolo superi quelli grandi, come GPT 4.
Cosa ne pensi di questo nuovo modello di IA? Dove pensi che stia andando la ricerca sull'IA? Assicurati di farci sapere le tue opinioni nella sezione commenti qui sotto.
