Microsoft Corp. розробляє велику мовну модель із приблизно 500 мільярдами параметрів, повідомляє The Information.
Очікується, що LLM MAI-1 дебютує вже цього місяця.
Коли OpenAI представив GPT-3 у середині 2020 року, було зазначено, що початкова версія моделі мала 175 мільярдів параметрів. Компанія повідомила, що GPT-4 має більше параметрів, але поки не поділилися конкретними цифрами.
Деякі звіти свідчать про те, що флагманський LLM OpenAI включає 1,76 трильйона параметрів, тоді як Gemini Ultra від Google LLC, який має порівнянну продуктивність із GPT-4, містить 1,6 трильйона.
Те, що MAI-1 від Microsoft містить 500 мільярдів параметрів, свідчить про те, що його можна позиціонувати як варіант середнього рівня між GPT-3 і ChatGPT-4. Така конфігурація дозволить моделі забезпечувати високу точність відповіді, але споживати значно менше енергії, ніж флагманська модель OpenAI.
Згідно з даними The Information, розробкою MAI-1 керує Мустафа Сулейман, засновник LLM-розробника Inflection AI Inc. Сулейман приєднався до Microsoft у березні. Раніше він був співзасновником дослідницької групи DeepMind AI Google LLC.
У роботі Microsoft може використовувати навчальні дані та деякі інші ресурси з Inflection AI для навчання MAI-1, а також великий кластер серверів, оснащений відеокартами NVIDIA Corp.
Джерела повідомляють, що компанія поки не визначилася, як саме використовуватиме МАІ-1. Якщо модель справді має 500 мільярдів параметрів, то вона надто складна для запуску на споживчих пристроях. Це означає, що Microsoft, швидше за все, розгорне MAI-1 у своїх центрах обробки даних, де LLM можна буде інтегрувати у такі служби, як Bing та Azure.
Очікується, що компанія може дебютувати MAI-1 під час цьогорічної конференції розробників Build. Це може означати, що робочий прототип моделі вже існує.
Новина про те, що Microsoft розробляє MAI-1, з’явилася менш ніж через 2 тижні після того, як вона відкрила мовну модель під назвою Phi-3 Mini. За даними компанії, остання модель має 3,8 мільярда параметрів і може перевершувати LLM більш ніж у 10 разів.
Раніше ProIT повідомляв, що Apple планує випустити перші комп’ютери Mac на базі M4, зосередившись на ШІ.
Підписуйтеся на ProIT у Telegram, щоб не пропустити жодної публікації!
