Meta оприлюднила технічні деталі того, яку роль відіграє backend aggregation (BAG) у побудові її AI-кластерів гігаватного масштабу, зокрема кластера Prometheus.
BAG дозволяє безшовно об’єднувати тисячі GPU, розміщених у кількох дата-центрах і регіонах, у єдину обчислювальну систему. У реалізації Meta backend aggregation з’єднує два різні мережеві типи — Disaggregated Schedule Fabric (DSF) та Non-Scheduled Fabric (NSF).
Після завершення розгортання Prometheus забезпечить 1 ГВт обчислювальної потужності для розвитку нових і вже наявних AI-функцій у продуктах Meta. Інфраструктура кластера охоплюватиме кілька будівель дата-центрів в одному великому регіоні та об’єднуватиме десятки тисяч GPU.
Що таке backend aggregation (BAG)
Backend aggregation — це централізований мережевий рівень типу Ethernet super-spine, призначений для з’єднання кількох spine-фабрик між дата-центрами та регіонами у межах великих кластерів. У Prometheus рівень BAG виступає точкою агрегації між регіональними мережами та глобальним бекбоном Meta, що дозволяє формувати надвеликі AI-кластери.
Архітектура BAG розрахована на екстремальні вимоги до пропускної здатності: міжрегіональні з’єднання BAG можуть досягати петабітних масштабів — від 16 до 48 Pbps на пару регіонів.
Як Meta масштабує Prometheus
Для з’єднання десятків тисяч GPU Meta розгортає розподілені BAG-шари в регіонах. Ці шари агрегують L2-фабрики з урахуванням обмежень за відстанню, затримкою та буферами.
Топології між BAG-шарами
Meta використовує дві основні топології з’єднання між BAG-шарами:
Планарна топологія — пряме з’єднання «один-до-одного» між комутаторами BAG. Вона простіша в управлінні, але концентрує домени відмов.
Розподілена (spread) топологія — лінки розподіляються між кількома BAG-площинами, що підвищує відмовостійкість і різноманітність маршрутів.
Вибір топології залежить від масштабу майданчика та доступності оптоволокна.
Підключення BAG до L2-фабрик
У Prometheus використовуються дві технології L2-мереж:
DSF (Disaggregated Schedule Fabric) — L2-зони, що з’єднують кілька будівель дата-центрів через спеціальні backend edge-поди.
NSF (Non-Scheduled Fabric) — кожна площина BAG підключається до відповідних Spine Training Switches (STSWs) усіх spine-площин.
Типовий коефіцієнт оверсабскрипції з L2 до BAG становить близько 4,5:1, тоді як BAG-to-BAG може змінюватися залежно від регіону та пропускної здатності лінків.
Апаратна частина та маршрутизація
BAG у Meta побудований на модульних шасі з ASIC Jericho3 (J3). Кожна лінійна карта підтримує до 432 портів 800G, що забезпечує високу щільність портів і масштабованість. Центральні BAG-вузли використовують більші шасі для підтримки великої кількості «спиць» і довгих міжрегіональних лінків.
Для маршрутизації застосовується eBGP з атрибутами пропускної здатності, що дозволяє використовувати UCMP (Unequal Cost Multipath) для балансування навантаження та коректної обробки відмов. З’єднання BAG-to-BAG захищені за допомогою MACsec.
Відмовостійкість і буфери
Дизайн мережі враховує аналіз доменів відмов на рівні BAG, дата-холів і систем живлення. Для мінімізації ризиків blackholing використовуються механізми дренування BAG-площин і умовної агрегації маршрутів.
Розподілена архітектура BAG дозволяє тримати коротку відстань між L2-edge і BAG, що критично для NSF-комутаторів із неглибокими буферами. Довгі міжрегіональні з’єднання BAG-to-BAG, навпаки, реалізовані на комутаторах із глибокими буферами, які підтримують безвтратні протоколи керування заторами, зокрема PFC.
Prometheus і подальші плани
Backend aggregation є ключовим елементом AI-інфраструктури нового покоління Meta. Централізуючи міжрегіональні з’єднання, BAG робить можливим створення гігаватного AI-кластеру Prometheus і закладає основу для подальшого масштабування глобальної AI-мережі компанії.
Meta очікує, що ця архітектура залишатиметься фундаментом для майбутніх інновацій і зростання AI-навантажень упродовж наступних років.
Читайте на ProIT: Amazon, Google, Meta і Microsoft витратять $635 млрд на AI та дата-центри.
Підписуйтеся на ProIT у Telegram, щоб не пропустити жодної публікації!
