Корпорація Microsoft випустила свою найменшу модель ШІ, першу з наступної трійки легких моделей SLM – Phi-3 Mini.
Оскільки на ринку з’являється все більше різних моделей ШІ, Microsoft розробляє моделі, які навчаються на менших ніж зазвичай наборах даних, – SLM.
The Verge повідомляє, що Phi-3 Mini вимірює 3,8 мільярда параметрів (стільки складних інструкцій може зрозуміти модель) і навчається на наборі даних, меншому порівняно із такими великими мовними моделями, як GPT-4.
Phi-3 Mini доступна на Azure, Hugging Face та Ollama.
Окрім Phi-3 Mini, корпорація планує випустити Phi-3 Small (7 мільярдів параметрів) і Phi-3 Medium (14 мільярдів параметрів).
Модель Phi-2 від Microsoft було випущено у грудні 2023 року із 2,7 мільярда параметрів. Microsoft Research використала підхід, який корпорація називає «підручники – це все, що вам потрібно», щоб навчати Phi SLM.
Ідея полягає у тому, щоб навчити модель надавати чіткі та лаконічні відповіді, використовуючи для цього авторитетні джерела. Так, для останнього випуску Phi-2 навчальні дані Microsoft змішували синтетичний контент та інформацію з Інтернету.
Переваги Phi-3 Mini
Менші моделі ШІ зазвичай дешевші як у створенні, так і в експлуатації. Їхній менший розмір означає, що вони добре працюють на персональних пристроях, таких як телефони та ноутбуки, що полегшує їх адаптацію та виведення на масовий ринок.
Microsoft – це не єдина компанія, яка розробляє SLM. Gemma 2B і 7B від Google зосереджені на мові та чат-ботах, Claude 3 Haiku від Anthropic розроблено для читання й узагальнення великих наукових статей (подібно до CoPilot від Microsoft), а Llama 3 8B від Meta готова допомогти із кодуванням.
Підписуйтеся на ProIT у Telegram, щоб не пропустити жодної публікації!
