Ще у 2021 році AMD поставила за мету до 2025 року підвищити енергоефективність своїх процесорів EPYC і прискорювачів Instinct у 30 разів порівняно із 2020 роком. Схоже, що з її останніми ЦП серії EPYC 9005 Turin і графічним процесором Instinct MI300X компанія досягла своєї мети на рік раніше, ніж планувала. Про це повідомляє Tom'sHardware.
Щоб підтвердити це, AMD використала машину, оснащену двома 64-ядерними процесорами EPYC 9575F, вісьмома прискорювачами Instinct MI300X і 2304 ГБ пам’яті DDR5, і перевірила продуктивність її висновків у Llama3.1-70B (vLLM 0.6.1.post2, TP8). Використовуючи складний набір обчислень, AMD визначила енергоефективність цієї системи та порівняла її із нерозкритою машиною 2020 року, виявивши, що нова машина у 28,3 раза енергоефективніша за попередню.
AMD не розкриває специфікації своєї системи 2020 року, але можна припустити, що вона заснована на процесорах компанії серії EPYC 7002, які мають мікроархітектуру Zen 2 з до 64 ядрами на ЦП, і прискорювачі Instinct MI100, зроблені на основі архітектури CDNA 1.
Instinct MI100 від AMD не підтримує FP8 (на відміну від MI300X, який підтримує його з тією ж швидкістю, що й INT8), хоча, якщо порівняти продуктивність INT8 між MI100 (184,6 TOPS) і MI300X (2615 TOPS/5230 TOPS з розрідженістю), то різниця буде у 14–28 разів. Приблизно така ж різниця спостерігається з FP16, тому порівняння справедливе.
Якщо взяти до уваги значно кращі підсистеми пам’яті (32 ГБ HBM2 при 1,20 ГБ/с проти 192 ГБ HBM3 при 5,30 ГБ/с) і значно кращі процесори, то не дивно, що наявні машини AMD значно швидші та продуктивніші, ніж її системи із 2020 року.
Читайте також на ProIT: Apple оновлює ноутбуки MacBook Pro новими мікросхемами та додає більше пам’яті для ШІ.
Підписуйтеся на ProIT у Telegram, щоб не пропустити жодної публікації!
