На конференції NVIDIA GTC оголосили не тільки про запуск найпотужнішого чипа у світі Blackwell, а й презентували дві нові високошвидкісні мережеві платформи. Про це повідомляє NetworkWorld.
Конференція NVIDIA GDC подарувала багато новин, окрім основного анонсу архітектури Blackwell і нових масивних систем DGX на її основі. Ось короткий перелік головних оголошень, які ви могли пропустити.
Високошвидкісні мережеві платформи
NVIDIA є настільки ж мережевою компанією, наскільки і розробником графічних процесорів, хоча вона не так сильно зосереджується на мережевій стороні. Компанія анонсувала появу двох нових високошвидкісних мережевих платформ із пропускною здатністю до 800 ГБ/с, призначених для систем ШІ.
Перша платформа – Quantum-X800 InfiniBand, яка складається із двох компонентів: комутатора Quantum 3400 і ConnectX-8 SuperNIC. Він забезпечує у п’ять разів більшу пропускну здатність і в дев’ять разів більше мережевих обчислень порівняно із попереднім поколінням, що становить 14,4 терафлопс.
Друга платформа – це Spectrum-X800 Ethernet, яка використовує комутатор Spectrum SN5600 800 Гбіт/с і NVIDIA BlueField-3 SuperNIC. Він розроблений для мультитенантних генеративних хмар штучного інтелекту та великих підприємств.
Постачальники хмарних послуг шикуються в чергу для Quantum InfiniBand і Spectrum-X Ethernet, включно з Microsoft Azure, Oracle Cloud Infrastructure та Coreweave.
Виведення мікросервісів
Традиційно мікросервіси не асоціювали зі штучним інтелектом, оскільки це невеликі легкі програми, призначені для виконання однієї чи кількох функцій. Вони скупі на обчислення, антипод ШІ. Але NVIDIA представила мікросервіси для висновків на великих мовних моделях (LLM).
Програмне забезпечення під назвою NVIDIA Inference Microservices (NIM) є частиною пакету програмного забезпечення NVIDIA Enterprise AI.
Він складається з пакету оптимізованих механізмів логічного висновку, галузевих стандартних API та підтримки моделей штучного інтелекту, які об’єднані в контейнери для легкого розгортання. NIM надає готові моделі, а також дає змогу організаціям додавати власні дані та моделі.
Одне, що можна сказати про цю технологію NIM, це те, що NVIDIA не працювала у вакуумі. Компанія співпрацювала з багатьма великими постачальниками програмного забезпечення, такими як SAP, Adobe, Cadence, CrowdStrike і ServiceNow, а також із постачальниками платформ даних, включно з Box, Cohesity, Cloudera, Databricks, Datastax і NetApp.
NIM пропонує обробку висновків на багатьох популярних моделях ШІ від Google, Meta, Hugging Face, Microsoft, Mistral AI і Stability AI. Мікросервіси NIM будуть доступні в Amazon Web Services, Google Kubernetes Engine та Microsoft Azure AI.
Перехід до перевірки зберігання
Зберігання є ключовим компонентом обробки штучним інтелектом, тому що ШІ – ніщо без великої кількості даних. З цією метою NVIDIA запустила програму перевірки партнерів зі сховища, розроблену для того, щоб допомогти іншим компаніям знайти правильні рішення для зберігання.
Вона пропонує сертифікацію для робочих навантажень з інтенсивним використанням штучного інтелекту та графіки. Програма називається NVIDIA OVX. Це подібна схема іменування до обчислювальних серверів DGX. Першою групою компаній, які хочуть перевірити сховище OVX, є DDN, Dell PowerScale, NetApp, Pure Storage та WEKA.
Сервери NVIDIA OVX поєднують високопродуктивні обчислення з прискоренням графічного процесора із високошвидкісним доступом до сховища та мережею з низькою затримкою для вирішення низки складних робочих навантажень зі штучним інтелектом і графікою. Програма надає партнерам стандартизований процес перевірки їхніх пристроїв зберігання даних.
Виробники серверів кидаються на Blackwell
Всі основні OEM-виробники оголосили про нові пропозиції на базі Blackwell.
Так, компанія Dell Technologies повідомила, що сервери PowerEdge XE9680 (її флагманський восьмисторонній прискорений сервер із графічним процесором для генеративного навчання штучного інтелекту, налаштування моделі та широкомасштабного висновку штучного інтелекту) буде оновлено до нового покоління Blackwell.
Lenovo анонсувала нові 8-графічні сервери зі штучним інтелектом – системи GPU ThinkSystem SR680a V3, SR685a V3 і SR780a V3, які використовують Blackwell для підтримки штучного інтелекту, високопродуктивних обчислень (HPC), а також графічних і симуляційних робочих навантажень у різних галузях.
Компанія Hewlett Packard Enterprise оголосила, що суперкомп’ютерні продукти, анонсовані в листопаді минулого року на SC23, тепер доступні для замовлення для організацій, які шукають попередньо сконфігуроване та перевірене повноцінне рішення для розробки й навчання великих моделей ШІ. Сервери є спеціально створеним рішенням під ключ, щоб допомогти клієнтам прискорити проєкти genAI і глибокого навчання і можуть підтримувати до 168 суперчипів GH200 Grace Hopper.
Крім апаратного забезпечення, HPE Services пропонує підприємствам допомогу в розробці, розгортанні та управлінні рішенням.
На виставці GTC 2024 компанія Supermicro представила низку серверів із новими системами, що включають суперчип GB200 Grace Blackwell Superchip, а також графічні процесори B200 і B100.
Крім того, компанія заявила, що її системи NVIDIA HGX H100 і H200 готові до встановлення нових графічних процесорів. Це означає, що клієнти можуть замінити апаратне забезпечення на основі Hopper на Blackwell, коли воно буде доступним.
У Supermicro стверджують, що вона стане першою серверною компанією, яка випустить системи HGX B200 з 8 GPU і HGX B100 з 8 GPU пізніше цього року.
Суперкомп’ютер NVIDIA/AWS отримав оновлення Blackwell
Минулого року NVIDIA та Amazon об’єдналися, щоб створити один із найшвидших суперкомп’ютерів у світі під назвою Project Ceiba. З анонсом процесора Blackwell проєкт Ceiba отримає оновлення, яке зробить його в шість разів швидшим, аніж спочатку планувалося.
Проєкт Ceiba має 16 тисяч процесорів H100 Hopper AI і пропонує 65 екзафлопс обчислювальної потужності AI після завершення. З огляду на перспективу, нині найшвидшим суперкомп’ютером є Frontier Міністерства енергетики США, який може досягати 1,1 екзафлопс.
NVIDIA та Amazon збираються оновити Project Ceiba 10 386 суперчипами Blackwell B200. B200 складається з одного процесора Grace і двох з’єднаних разом мікросхем Blackwell. Тож це означає загалом 20 736 графічних процесорів. У NVIDIA стверджують, що ця машина може досягти неймовірних 414 екзафлопс.
Раніше ProIT повідомляв, що NVIDIA представила найпотужніший чип у світі – Blackwell B200, який відкриє шлях до гігантських нейронних мереж.
Також ми писали, що NVIDIA представила нові процесори RTX 500 і 1000 для ноутбуків зі штучним інтелектом.
Підписуйтеся на ProIT у Telegram, щоб не пропустити жодної публікації!
