phi-1은 코딩을 위한 Microsoft의 새로운 언어 모델입니다.
- Microsoft는 많은 AI 연구에 자금을 지원하고 있습니다.
- Orca가 오픈 소스가 될 것이라고 발표한 후 phi-1도 여기에 있습니다.
- phi-1은 스스로 지식을 통합할 수 있습니다.
Microsoft는 실제로 AI 개발에 큰 발걸음을 내딛고 있습니다. 지난달 AI는 Microsoft Build 컨퍼런스의 최전선에 있었고 Redmond 기반 기술은 Copilot이 Windows 11에 제공됩니다.. 기본 내장 앱으로 필요한 모든 것을 제공합니다.
AI는 Microsoft Teams에도 적용됩니다. Recap Ai 도구에서. 그리고 Microsoft Fabric을 포함하여 Microsoft의 다른 많은 도구에서 AI를 사용할 것입니다.
그러나 Microsoft는 AI 연구에도 자금을 지원하고 있는 것 같습니다. 최근에 거대 기술 기업이 발표했습니다. Orca 13B는 오픈 소스가 될 것입니다.. 그리고 LongMem은 AI 연구의 또 다른 좋은 점입니다.: 무제한 컨텍스트 길이에 대한 답입니다.
그리고 이제 AI 연구에서 또 다른 큰 돌파구를 마련할 시간이 있습니다. 물론 Microsoft에서 옵니다. 새로운 1.3B 매개변수 모델 코딩 LLM(phi-1이라고 함)은 훈련 4일 만에 GPT 3.5를 능가하는 것으로 알려졌습니다.
phi-1은 무엇이며 이미 GPT를 능가하는 방법은 무엇입니까?
파이-1 코드를 위한 새로운 1.3B 매개변수 언어 모델입니다., 경쟁 모델보다 훨씬 작은 크기. 언어 모델은 4일 동안 70억 개 이상의 토큰(총 500억 개가 약간 넘는 토큰 표시)을 학습한 다음 2억 개 미만의 토큰을 미세 조정했습니다.
경쟁 모델보다 훨씬 작은 크기에도 불구하고 phi-1은 50.6%를 달성했습니다. [이메일 보호] HumanEval에 대한 정확도 및 55.5% [이메일 보호] 하나의 LLM 세대만 사용하는 최고의 자체 보고 수치 중 하나인 MBPP(대부분의 기본 Python 프로그램)에 대한 정확도.
또한 기존 모델에 비해 훨씬 적은 토큰으로 교육을 받았음에도 불구하고 phi-1은 여전히 많은 잠재력을 가지고 있습니다.
HumanEval의 개선은 언어 모델로서 phi-1의 가장 큰 성과입니다. 조정 후 phi-1은 미세 조정 데이터 세트에 포함되지 않은 작업을 실행했습니다. 이는 모델이 미세 조정 프로세스를 조정하고 개선했음을 의미합니다.
그리고 가장 놀라운 점은 phi-1이 사전 훈련 중에 얻은 지식을 재구성하고 통합했다는 것입니다.
간단히 말해서 phi-1은 훈련 중에 학습할 뿐만 아니라 자체적으로 지식을 확장합니다. 모든 수준에서 GPT 3.5를 능가했으며 작은 모델이 GPT 4와 같은 큰 모델을 사용하는 것은 시간 문제입니다.
이 새로운 AI 모델에 대해 어떻게 생각하십니까? AI 연구가 어디로 향하고 있다고 생각하십니까? 아래 의견 섹션에 귀하의 의견을 알려주십시오.
