Le nouveau LLM de codage de Microsoft arrive après GPT 4

phi-1 est le nouveau modèle de langage de Microsoft pour le codage.

Microsoft fait vraiment un grand pas dans le développement de l'IA. Le mois dernier, l'IA était à l'avant-garde de la conférence Microsoft Build, et la technologie basée à Redmond a même annoncé que Copilot arrive sur Windows 11. En tant qu'application intégrée native, pour tout ce dont vous avez besoin,

L'IA arrive également dans Microsoft Teams, dans son outil Recap Ai. Et de nombreux autres outils de Microsoft utiliseront l'IA, y compris Microsoft Fabric.

Mais il semble que Microsoft finance également la recherche sur l'IA. Tout récemment, le géant de la technologie a annoncé Orca 13B sera open source. Et LongMem est un autre bon point dans la recherche en IA: c'est la réponse pour une longueur de contexte illimitée.

Et maintenant, il est temps pour une autre grande percée dans la recherche sur l'IA, venant de Microsoft, bien sûr. Le nouveau modèle de codage de paramètres 1.3B codant LLM, appelé phi-1, surpasserait GPT 3.5, en seulement 4 jours de formation.

Qu'est-ce que phi-1 et comment surpasse-t-il déjà GPT ?

Phi-1 est un nouveau modèle de langage 1.3B-parameter pour le code, avec une taille nettement plus petite que les modèles concurrents. Le modèle de langage a été formé pendant 4 jours, sur 7 milliards de jetons (un peu plus de 50 milliards de jetons au total vus), suivi d'un réglage fin sur moins de 200 millions de jetons.

Bien qu'il soit beaucoup plus petit que les modèles concurrents, phi-1 atteint 50,6 % [courriel protégé] précision sur HumanEval et 55,5 % [courriel protégé] précision sur MBPP (Mostly Basic Python Programs), qui est l'un des meilleurs chiffres autodéclarés utilisant une seule génération LLM.

De plus, bien qu'il soit formé sur beaucoup moins de jetons par rapport aux modèles existants, phi-1 a encore beaucoup de potentiel.

Les améliorations apportées à HumanEval sont les plus grandes réalisations de phi-1, en tant que modèle de langage. Après le réglage, phi-1 a réussi à exécuter des tâches qui ne figuraient pas dans l'ensemble de données de réglage fin. Cela signifie que le modèle a adapté et amélioré le processus de réglage fin.

Et le plus remarquable est que phi-1 a réorganisé et consolidé les connaissances acquises lors de la préformation, même si les connaissances n'y étaient pas explicitement présentes en premier lieu.

En termes plus courts, phi-1 apprend non seulement pendant la formation, mais élargit également les connaissances par lui-même. Il a réussi à surpasser GPT 3.5 à tous les niveaux, et ce n'est qu'une question de temps avant que le petit modèle ne prenne les grands, comme GPT 4.

Que pensez-vous de ce nouveau modèle d'IA? Selon vous, où va la recherche en IA? Assurez-vous de nous faire part de vos opinions dans la section des commentaires ci-dessous.