NVIDIA стикається з конкуренцією в розробці чипів ШІ з боку таких стартапів, як SambaNova, Groq і Cerebras. Конкуренти компанії мають кращі результати в типі обчислень зі штучним інтелектом, який називається логічним висновком (inference), повідомляє Business Insider.
Висновки є стадією виробництва обчислень ШІ. Після завершення навчання моделі мікросхеми логічного висновку створюють вихідні дані та виконують завдання на основі цього навчання — чи то створення зображення, чи письмові відповіді на підказку.
Родріго Лянг став співзасновником SambaNova Systems у 2017 році з метою переслідувати вже очевидне лідерство NVIDIA. Але тоді екосистема штучного інтелекту була ще молодшою, а навантаження на висновки були невеликими. Зі збільшенням розміру та точності базових моделей стає очевидним перехід від навчання моделей машинного навчання до їх використання.
Минулого місяця фінансовий директор NVIDIA Коллін Кресс заявила, що робоче навантаження центру обробки даних компанії досягло 40%.
Лянг сказав у коментарі Business Insider, що він очікує, що 90% обчислювальних навантажень ШІ будуть залежати від висновків у недалекому майбутньому.
Ось чому кілька стартапів агресивно виходять на ринок, наголошуючи на тому, де вони можуть перевершити NVIDIA.
SambaNova використовує реконфігурований модуль потоку даних або RDU замість графічних процесорів NVIDIA та AMD.
Фірма Лянга стверджує, що її архітектура краще підходить для моделей машинного навчання, оскільки вона була розроблена для цієї мети, а не для візуалізації графіки. Це аргумент, на який посилається і генеральний директор Cerebras, суперник NVIDIA, Ендрю Фельдман. Лянг сказав, що ринок висновків почне розвиватися протягом приблизно 6 місяців.
Однак пропозиція NVIDIA враховує потужність мережі, пропозицію рідинного охолодження і процесор ARM, які є важливими для оптимального логічного висновку, пишуть аналітики. Більша частина прибутку NVIDIA від висновків наразі надходить від механізмів рекомендацій і пошуку.
Щоб відвернути клієнтів від NVIDIA, такі нові гравці, як Groq, Cerebras і SambaNova, рекламують швидкість.
Фактично, Cerebras і SambaNova стверджують, що пропонують найшвидші обчислення у світі. Вони закликають не використовувати графічні процесори, які пропагують лідери чипів NVIDIA та AMD.
За словами представників SambaNova, її RDU ідеально підходять для агентського штучного інтелекту, який може виконувати функції без особливих інструкцій. Швидкість є важливим фактором, коли кілька моделей штучного інтелекту спілкуються одна з одною, і очікування відповіді може послабити магію.
Але існує не лише одна міра швидкості висновку. Технічні характеристики кожної моделі, як-от Llama від Meta, Claude від Anthropic або o1 від OpenAI, визначають, наскільки швидко генеруються результати.
Швидкість обчислень штучного інтелекту є результатом кількох інженерних факторів, які виходять за межі самого чипа.
Спосіб об’єднання чипів у мережу може вплинути на їхню продуктивність. Це означає, що чипи NVIDIA в одному центрі обробки даних можуть працювати інакше, ніж та сама мікросхема в іншому центрі обробки даних.
Кількість токенів за секунду, які можна споживати (коли надходить підказка) і генерувати (коли надходить відповідь), є загальним показником швидкості обчислень ШІ. Токени є базовою одиницею даних, де даними можуть бути пікселі, слова, аудіо та інше. Але токени за секунду не враховують затримку, яка може виникати з кількох причин.
Також важко порівнювати апаратне забезпечення, оскільки продуктивність залежить від того, як налаштовано апаратне забезпечення і програмне забезпечення, яке його запускає.
Крім того, самі моделі постійно вдосконалюються.
У надії швидше просунутися на ринок висновків і пробитися на ринок, де домінує NVIDIA, кілька нових компаній, що займаються апаратним забезпеченням, пробують різні бізнес-моделі, щоб обійти пряму конкуренцію з NVIDIA і перейти безпосередньо до компаній, які розробляють ШІ.
SambaNova пропонує модель Meta Llama Foundation із відкритим кодом через свій хмарний сервіс, а Cerebras і Groq запустили подібні сервіси. Таким чином, ці компанії конкурують як з компаніями, що займаються розробкою чипів, як-от NVIDIA, так і з компаніями-виробниками базових моделей ШІ, наприклад OpenAI.
Artificialanalysis.ai надає загальнодоступну інформацію про порівняння моделей, які пропонують висновок як послугу через API. У середу сайт показав, що Cerebras, SambaNova і Groq справді є трьома найшвидшими API для моделей Met'a Llama 3.1 70B та 8B. NVIDIA не включена у це порівняння, оскільки не надає логічний висновок як послугу.
Нагадаємо, що NVIDIA стала другою за вартістю компанією у світі, випередивши Applе. Ринкова капіталізація гіганта з виробництва мікросхем досягла $3,01 трильйона.
Підписуйтеся на ProIT у Telegram, щоб не пропустити жодної публікації!
