YouTube блогер Dave Lee (канал Dave2D) продемонстрував, що новий Mac Studio з чипом M3 Ultra може локально запускати масштабну AI-модель DeepSeek R1, якщо конфігурація містить 512 ГБ оперативної пам’яті, повідомляє MacRumors.
Тестування та результати
За результатами тестів LLM-модель на 671 млрд параметрів може працювати безпосередньо на Mac Studio, але це вимагає значних апаратних ресурсів:
- 404 ГБ сховища,
- 448 ГБ відеопам’яті, яку необхідно вручну виділити через команди Terminal.
Ключовою технологією, що дозволяє досягти таких результатів, є уніфікована пам’ять M3 Ultra, яка дозволяє ефективно обробляти 4-бітну квантовану версію DeepSeek R1.
Попри мінімальну втрату точності через квантування, модель зберігає всі параметри та забезпечує продуктивність 17-18 токенів на секунду — цього достатньо для багатьох реальних завдань.
Mac Studio vs. традиційні сервери
Найбільш вражаючим є те, що Mac Studio споживає менше ніж 200 Вт електроенергії при запуску такої ШІ-моделі. Для порівняння, аналогічна продуктивність на традиційному ПК-обладнанні вимагала б декількох GPU та приблизно в 10 разів більше електроенергії.
Локальний запуск потужних ШІ-моделей також має важливі переваги для конфіденційності, наприклад у таких сферах, як аналіз медичних даних, де передача інформації у хмару несе потенційні ризики витоку даних.
Ціна продуктивності
Висока продуктивність Mac Studio має відповідну ціну:
- Базова версія з M3 Ultra та 512 ГБ RAM коштує ≈ $10 000.
- Максимальна конфігурація (M3 Ultra, 16 ТБ SSD, 32-ядерний CPU, 80-ядерний GPU, 32-ядерний Neural Engine) — $14 099.
Попри високу вартість, для організацій, які потребують локальної обробки AI без хмарних сервісів, Mac Studio є відносно енергоефективним рішенням у порівнянні з альтернативними конфігураціями.
Apple заявляє, що M3 Ultra — це найшвидший чип Mac, який коли-небудь випускала компанія. Він побудований за технологією UltraFusion, що дозволяє поєднати два чипи M3 Max, фактично подвоюючи продуктивність у порівнянні з M3 Max.
Нагадаємо, минулого тижня Apple представила оновлений Mac Studio з чипами M4 Max і M3 Ultra.
Підписуйтеся на ProIT у Telegram, щоб не пропустити жодної публікації!
