phi-1 — это новая языковая модель Microsoft для программирования.
- Microsoft финансирует много исследований в области ИИ.
- После объявления о том, что исходный код Orca будет открытым, phi-1 тоже здесь.
- phi-1 способна консолидировать знания самостоятельно.
Microsoft действительно делает большой шаг в развитии ИИ. В прошлом месяце искусственный интеллект был в центре внимания конференции Microsoft Build, и специалисты из Редмонда даже объявили, что Copilot выходит на Windows 11. Как родное встроенное приложение, для всего, что вам нужно,
ИИ также приходит в Microsoft Teams, в своем инструменте Recap Ai. И многие другие инструменты от Microsoft будут использовать ИИ, в том числе Microsoft Fabric.
Но, похоже, Microsoft также финансирует исследования в области ИИ. Совсем недавно технологический гигант объявил Orca 13B будет с открытым исходным кодом. И LongMem — еще один хороший момент в исследованиях ИИ.: это ответ для неограниченной длины контекста.
И теперь настало время для еще одного большого прорыва в исследованиях ИИ, конечно же, от Microsoft. Сообщается, что новая модель с параметрами 1.3B, кодирующая LLM, называемая phi-1, превосходит GPT 3.5 всего за 4 дня обучения.
Что такое phi-1 и чем он уже превосходит GPT?
Фи-1 это новая языковая модель с параметрами 1.3B для кода, при значительно меньших размерах, чем конкурирующие модели. Языковая модель обучалась в течение 4 дней, более 7 миллиардов токенов (всего было просмотрено чуть более 50 миллиардов токенов) с последующей точной настройкой менее чем 200 миллионов токенов.
Несмотря на то, что он намного меньше, чем конкурирующие модели, фи-1 достиг 50,6% [электронная почта защищена] точность на HumanEval и 55,5% [электронная почта защищена] точность на MBPP (в основном базовые программы Python), которые являются одним из лучших показателей, о которых сообщают сами, с использованием только одного поколения LLM.
Более того, несмотря на то, что он обучался на гораздо меньшем количестве токенов по сравнению с существующими моделями, phi-1 по-прежнему имеет большой потенциал.
Усовершенствования HumanEval являются величайшими достижениями phi-1 как языковой модели. После настройки phi-1 удалось выполнить задачи, которых не было в наборе данных тонкой настройки. Это означает, что модель адаптировала и улучшила процесс тонкой настройки.
И самое примечательное, что фи-1 реорганизовал и закрепил знания, полученные во время предобучения, хотя в явном виде эти знания изначально там не присутствовали.
Короче говоря, фи-1 не только учится во время обучения, но и расширяет знания самостоятельно. Ему удалось превзойти GPT 3.5 на всех уровнях, и это всего лишь вопрос времени, когда маленькая модель сравняется с большими, такими как GPT 4.
Что вы думаете об этой новой модели ИИ? Как вы думаете, куда движутся исследования ИИ? Обязательно сообщите нам свое мнение в разделе комментариев ниже.
