Supermicro AS-8126GS-NB3RT-01-G2 — NVIDIA HGX B300 8-GPU AI Server, 2× AMD EPYC 9575F, 3 ТБ DDR5, 61,44 ТБ NVMe
Supermicro AS-8126GS-NB3RT-01-G2 — высокопроизводительный GPU-сервер корпоративного класса, предназначенный для искусственного интеллекта, обработки больших языковых моделей, машинного обучения и высокопроизводительных вычислений (HPC). Система построена на платформе NVIDIA HGX B300 с восемью ускорителями архитектуры Blackwell Ultra и оснащена двумя процессорами AMD EPYC 9575F.
Модель входит в серию Supermicro Gold Series и поставляется в предварительно сконфигурированном исполнении с 3 ТБ оперативной памяти DDR5-6400 ECC, восемью NVMe-накопителями E1.S общей ёмкостью 61,44 ТБ и двумя дополнительными M.2 NVMe SSD для системных задач.
Вычислительная платформа объединяет 2304 ГБ высокоскоростной памяти HBM3e, технологию межсоединения NVIDIA NVLink пятого поколения, NVSwitch и сетевую инфраструктуру с поддержкой подключений до 800 Гбит/с. Такая архитектура рассчитана на масштабные AI-нагрузки, интенсивный обмен данными между ускорителями и интеграцию в распределённые вычислительные кластеры.
NVIDIA HGX B300 — восемь GPU архитектуры Blackwell Ultra
В основе Supermicro AS-8126GS-NB3RT-01-G2 находится платформа NVIDIA HGX B300, объединяющая восемь вычислительных ускорителей NVIDIA B300.
Архитектура Blackwell Ultra предназначена для работы с современными AI-моделями и поддерживает ускоренные тензорные вычисления в форматах различной точности, включая FP4, FP8, FP16 и BF16.
Платформа рассчитана на ресурсоёмкие задачи:
обучение и дообучение больших языковых моделей;
инференс LLM с большим количеством одновременных запросов;
генеративный и мультимодальный AI;
обработку изображений, видео и текстовых данных;
компьютерное зрение;
научное моделирование;
распределённые вычисления;
работу корпоративных AI-сервисов.
По данным NVIDIA, вычислительная производительность платформы HGX B300 может достигать 144 PFLOPS в FP4 при использовании разреженных вычислений. Это теоретический показатель для определённого формата операций, а не гарантированная производительность конкретной нейросети.
Восемь ускорителей позволяют распределять крупные модели и вычислительные нагрузки между GPU, используя высокоскоростные соединения для обмена результатами вычислений.
2304 ГБ HBM3e — память для больших AI-моделей
Каждый NVIDIA B300 оснащён 288 ГБ памяти HBM3e.
Суммарный объём памяти восьми ускорителей составляет 2304 ГБ, или приблизительно 2,3 ТБ.
Для каждого GPU заявлена пропускная способность памяти до 8 ТБ/с. Совокупная теоретическая пропускная способность всех восьми ускорителей может достигать 64 ТБ/с.
Большой объём HBM3e особенно важен при работе с крупными языковыми моделями, где память используется для хранения весов нейросети, промежуточных данных и KV-кэша.
На практике это позволяет:
размещать крупные AI-модели на нескольких ускорителях;
обслуживать множество параллельных запросов;
работать с увеличенным контекстом в пределах возможностей программной системы;
снижать необходимость обмена данными с системной RAM;
выполнять ресурсоёмкие вычисления с большими наборами данных.
Важно учитывать, что суммарные 2304 ГБ распределены между восемью GPU. Использование этого объёма как единого логического пространства зависит от технологий параллелизации и программного обеспечения.
NVLink пятого поколения и NVIDIA NVSwitch
Платформа HGX B300 использует NVIDIA NVLink пятого поколения совместно с NVSwitch.
Для одного ускорителя заявлена двунаправленная пропускная способность NVLink до 1,8 ТБ/с, а суммарная пропускная способность коммутируемой инфраструктуры восьми GPU достигает 14,4 ТБ/с.
Эта технология обеспечивает высокоскоростную передачу данных между ускорителями внутри сервера.
NVLink и NVSwitch особенно важны для:
Tensor Parallelism;
распределённого обучения нейросетей;
выполнения коллективных GPU-операций;
синхронизации параметров моделей;
распределения больших AI-моделей между ускорителями;
интенсивного межпроцессорного обмена данными.
Высокая пропускная способность межсоединения помогает уменьшать коммуникационные ограничения в задачах, где несколько GPU должны совместно выполнять одну вычислительную операцию.
Для связи с процессорной подсистемой сервер использует интерфейсы PCI Express 5.0.
Два AMD EPYC 9575F — 128 процессорных ядер
Сервер оснащён двумя AMD EPYC 9575F поколения EPYC 9005.
Каждый процессор располагает 64 вычислительными ядрами с базовой тактовой частотой 3,3 ГГц.
Общее количество физических ядер составляет 128.
Центральные процессоры выполняют задачи подготовки данных, управления GPU-вычислениями, обработки сетевого трафика, работы системных служб и организации вычислительных процессов.
Такая конфигурация полезна при:
подготовке обучающих датасетов;
предварительной обработке текстов и изображений;
работе распределённых AI-фреймворков;
обслуживании сетевых запросов;
запуске контейнеризированных сервисов;
выполнении CPU-ориентированных вычислений.
Использование двух процессоров AMD EPYC позволяет распределять нагрузку между несколькими процессорными сокетами и обеспечивать вычислительные задачи большим количеством физических ядер.
3 ТБ DDR5-6400 ECC RDIMM
В заводской конфигурации установлено 3 ТБ оперативной памяти DDR5-6400 ECC RDIMM.
Память организована в виде 24 модулей по 128 ГБ, что соответствует количеству DIMM-слотов на системной плате.
Большой объём RAM используется для хранения и предварительной обработки наборов данных, кэширования, работы операционной системы и программных компонентов AI-инфраструктуры.
ECC обеспечивает обнаружение и коррекцию поддерживаемых типов ошибок памяти, что особенно важно при продолжительных серверных вычислениях.
Преимущества 3 ТБ системной памяти:
работа с крупными датасетами;
размещение значительных объёмов промежуточных данных;
параллельная работа нескольких вычислительных процессов;
кэширование данных перед передачей на GPU;
обслуживание корпоративных AI-сервисов.
Системная платформа поддерживает до 6 ТБ DDR5 ECC при использовании совместимых процессоров и модулей памяти. Это максимальная возможность платформы, тогда как данная комплектация уже содержит 3 ТБ.
61,44 ТБ NVMe E1.S и два M.2 SSD
Одно из важных преимуществ этой версии Gold Series — расширенная заводская подсистема хранения.
Сервер оснащён восемью накопителями E1.S NVMe ёмкостью 7,68 ТБ каждый. Суммарная номинальная ёмкость составляет 61,44 ТБ.
Дополнительно установлены два M.2 NVMe SSD номинальным объёмом около 1,9 ТБ каждый.
Такая конфигурация позволяет разделять системные данные, программное окружение и рабочие наборы данных.
Накопители E1.S подходят для:
локального хранения обучающих выборок;
кэширования больших датасетов;
размещения весов AI-моделей;
хранения результатов инференса;
подготовки данных для GPU;
организации высокопроизводительного локального хранилища.
Восемь фронтальных отсеков поддерживают горячую замену накопителей.
Реальная полезная ёмкость зависит от выбранной файловой системы, схемы резервирования и настроек хранения. Наличие NVMe SSD не заменяет необходимость внешнего резервного копирования важных данных.
Сеть 800GbE/XDR800 и 200GbE/NDR200
Supermicro AS-8126GS-NB3RT-01-G2 оснащён высокоскоростной сетевой подсистемой для интеграции в AI-кластеры.
Конфигурация предусматривает:
восемь подключений с пропускной способностью до 800 Гбит/с;
дополнительные два двухпортовых сетевых адаптера по 200 Гбит/с на порт;
два встроенных порта 10GbE RJ-45.
Платформа NVIDIA HGX B300 использует восемь NVIDIA ConnectX-8 SuperNIC для организации вычислительной сети между GPU-серверами.
Такая конфигурация особенно полезна в распределённых вычислительных системах, где требуется передавать значительные объёмы данных между серверами.
В совместимой сетевой инфраструктуре NVIDIA поддерживаются технологии RDMA, RoCE и GPUDirect, которые позволяют уменьшать накладные расходы на передачу данных и эффективнее использовать сетевую пропускную способность.
Для реализации полной скорости необходимы соответствующие коммутаторы, кабели, сетевые модули и корректная настройка программного обеспечения.
Воздушное охлаждение и резервируемое питание
Сервер выполнен в корпусе формата 8U и использует воздушное охлаждение для процессоров, GPU, памяти и сетевых компонентов.
Конструкция предусматривает до 12 высокопроизводительных вентиляторов с автоматическим регулированием скорости.
Электропитание организовано с использованием шести резервируемых блоков питания номиналом до 6600 Вт каждый, работающих по схеме 3+3.
Блоки относятся к классу эффективности Titanium. Резервирование повышает устойчивость системы к отказу отдельных компонентов питания, но допустимая нагрузка при резервировании зависит от фактического энергопотребления сервера.
Номинальная мощность блоков питания не равна постоянному потреблению системы. Доступная мощность каждого модуля также зависит от входного напряжения электросети.
Для полноценной эксплуатации требуется специализированная инфраструктура дата-центра с достаточной мощностью электропитания, вентиляцией и контролем температуры.
Корпус 8U и удалённое управление
Supermicro AS-8126GS-NB3RT-01-G2 предназначен для размещения в серверной стойке.
Габариты корпуса составляют приблизительно:
высота — 356 мм;
ширина — 449 мм;
глубина — 950 мм.
Масса сервера без транспортной упаковки составляет около 119 кг.
Платформа использует системную плату Supermicro H14DSG-OM и поддерживает средства удалённого управления и мониторинга аппаратного состояния.
Доступны инструменты Supermicro Server Manager, SuperCloud Composer и другие средства администрирования производителя.
Система также предусматривает TPM 2.0, Secure Boot, Silicon Root of Trust и механизмы защиты и восстановления микропрограмм.
Эти возможности помогают организовать централизованное управление серверной инфраструктурой, отслеживать состояние оборудования и выполнять поддерживаемые операции обслуживания.
Особенности эксплуатации
Supermicro AS-8126GS-NB3RT-01-G2 рассчитан на эксплуатацию в специализированных серверных помещениях и дата-центрах.
Производитель указывает рабочий диапазон температуры от 10 до 35 °C и относительную влажность от 8 до 90% без образования конденсата.
При проектировании инфраструктуры необходимо учитывать:
глубину и грузоподъёмность серверной стойки;
суммарное энергопотребление под рабочей нагрузкой;
требования к электроснабжению;
распределение воздушных потоков;
подключение высокоскоростной сети;
доступность программного обеспечения для управления GPU-кластером.
Для работы с AI-моделями требуется совместимая программная среда NVIDIA, включая необходимые драйверы и вычислительные библиотеки.
Производительность приложений зависит от используемой модели, алгоритмов распределения вычислений, типа данных и конфигурации инфраструктуры.
Основные характеристики
Производитель: SupermicroМодель: AS-8126GS-NB3RT-01-G2Серия: Gold Series GPU SuperServerНазначение: AI / LLM Inference / Deep Learning / HPCФорм-фактор: Rackmount 8UМатеринская плата: Supermicro H14DSG-OMGPU-платформа: NVIDIA HGX B300 NVL8Архитектура GPU: NVIDIA Blackwell UltraКоличество GPU: 8Память одного GPU: 288 ГБ HBM3eОбщая память GPU: 2304 ГБ HBM3eПропускная способность GPU-памяти: до 8 ТБ/с на GPUМежсоединение GPU: NVLink 5-го поколения / NVSwitchПропускная способность NVLink: до 1,8 ТБ/с на GPUПроцессоры: 2 × AMD EPYC 9575FЯдер CPU: 128 суммарноБазовая частота CPU: 3,3 ГГцОперативная память: 3 ТБ DDR5-6400 ECC RDIMMКонфигурация RAM: 24 × 128 ГБОсновное хранилище: 8 × 7,68 ТБ E1.S NVMe SSDОбщая номинальная ёмкость E1.S: 61,44 ТБДополнительные SSD: 2 × 1,9 ТБ M.2 NVMeВычислительная сеть: 8 × до 800GbE/XDR800Дополнительные сетевые порты: 2 × 2 порта 200GbE/NDR200Ethernet: 2 × 10GbE RJ-45Слоты расширения: PCIe 5.0Охлаждение: воздушное, до 12 вентиляторовБлоки питания: 6 × 6600 Вт, резервирование 3+3Класс эффективности БП: TitaniumБезопасность: TPM 2.0, Secure Boot, Silicon Root of TrustРазмеры: 449 × 356 × 950 ммМасса: около 119 кгРабочая температура: 10–35 °CЦвет корпуса: Silver
Кому подойдёт Supermicro AS-8126GS-NB3RT-01-G2
AI-компаниям и разработчикам больших языковых моделей: для построения инфраструктуры инференса, обучения и дообучения современных нейронных сетей.
Облачным провайдерам: для развёртывания GPU-сервисов и предоставления вычислительных ресурсов корпоративным клиентам.
Научно-исследовательским организациям: для выполнения сложных вычислений, научного моделирования и обработки больших наборов данных.
Корпоративным дата-центрам: для размещения внутренних AI-систем, интеллектуальной аналитики и обработки информации.
Разработчикам мультимодальных AI-моделей: для вычислительных задач, связанных с обработкой текста, изображений, видео и других типов данных.
Supermicro AS-8126GS-NB3RT-01-G2 объединяет восемь NVIDIA B300 с 2,3 ТБ HBM3e, 128 процессорных ядер AMD EPYC, 3 ТБ DDR5 и более 61 ТБ локального NVMe-хранилища. Эта конфигурация предназначена для организаций, которым требуется масштабируемая серверная платформа для сложных AI-вычислений и высокопроизводительных распределённых систем.
