Microsoft анонсувала нову генеративну AI-систему під назвою Mu, яка дає уявлення про майбутнє взаємодії з ПК та іншими пристроями — від комп’ютерів до тостерів. Про це повідомляє Computer World.
Mu дає можливість керувати комп’ютером за допомогою природної мови. Наприклад, ви можете сказати або написати: «увімкни темну тему» або «збільш курсор миші», — і комп’ютер виконає команду.
Перше місце інтеграції Mu — це застосунок Налаштування Windows 11, де користувачі можуть змінювати параметри за допомогою голосу або тексту, а AI-інструмент самостійно визначає й застосовує потрібні зміни.
Не LLM, а SLM — локальна модель для локального керування
Mu — це не велика мовна модель (LLM), яка працює у хмарі. Це мала мовна модель (SLM) з обсягом усього 330 мільйонів параметрів, створена для локального виконання на нейропроцесорі (NPU). Цей чип встановлюється в нових ПК Copilot+ від Microsoft, Dell, HP, Lenovo, Samsung та Acer, які почали постачатися в червні 2024 року. Лише ці пристрої підтримують Mu й інші розширені AI-функції Windows 11.
Mu працює повністю локально, навіть без підключення до інтернету. ПК Copilot+ забезпечують підтримку Mu завдяки NPU, здатному виконувати щонайменше 40 трильйонів операцій за секунду. Microsoft співпрацює з Qualcomm, AMD та Intel для оптимізації роботи Mu на їхніх NPU.
Архітектура і продуктивність
Модель побудована за схемою трансформера з енкодером і декодером. Енкодер стискає введені команди, а декодер перетворює їх у відповідні дії. У Mu — 32 шари енкодера і 12 шарів декодера, що відповідає обмеженням пам’яті та продуктивності NPU.
Mu використовує:
1) Rotary positional embeddings — для збереження порядку слів;
2) Dual-layer normalization — для стабільності роботи;
3) Grouped-query attention — для ефективного використання пам’яті.
Ці технічні рішення дають можливість Mu обробляти понад 100 токенів за секунду та відповідати менш ніж за 500 мілісекунд — значно швидше, ніж LLM-моделі на зразок ChatGPT.
Навчання та ефективність
Microsoft навчала Mu на 3,6 мільйонах прикладів, зосереджених на налаштуваннях Windows. Навчання відбувалося у хмарі Azure на GPU NVIDIA A100, після чого модель була доопрацьована і пройшла квантизацію для зменшення обсягу пам’яті. Mu приблизно вдесятеро менша за Phi-3.5-mini, але виконує спеціалізовані задачі майже так само добре.
Mu проти Siri: локальне AI-керування налаштуваннями
Mu — перша SLM-модель, інтегрована в комерційні пристрої, яка дає можливість керувати системними налаштуваннями за допомогою природної мови.
Попри те, що Apple також використовує NPU (Neural Engine) у своїх iPhone, iPad і Mac для локального AI (зокрема Siri й Apple Intelligence), жодна з моделей Apple не має такого глибокого рівня взаємодії з системними налаштуваннями, як Mu. Siri може змінювати деякі параметри, але не з такою гнучкістю і повнотою.
Читайте на ProIT: Топ-5 кейсів використання малих мовних моделей.
Підписуйтеся на ProIT у Telegram, щоб не пропустити жодної публікації!
