Описание AI-сервера НОРСИ-ТРАНС НТ ПАЛАДИН-ML

Назначение и применение:

AI-сервер гетерогенный вычислительный "НТ" «Паладин-ML» предназначен для:

• Задач выполнения (инференс) нейросетевых моделей;
• Высокопроизводительных векторно-матричных вычислений, требующих операций двойной точности (FP64).

Платформа построена на базе материнской платы НИКА.469555.001 Паладин-Х01.

Архитектура гетерогенного вычислителя:

В качестве векторно-матричных сопроцессоров вычислителя используются процессоры NM6408 NeuroMatrix.

Суммарно вычислитель обеспечивает установку 12 шт. модулей сопроцессоров. Подключение каждого сопроцессора выполняется PCIe 4x линиями к основным процессорам Scalable-2. Доступная производительность на операциях FP64 за счет сопроцессоров – 1,53 ТФлоп.

Операционная система устанавливается на М2. SATA SSD (2 шт, объединяемые через PCH в RAID). Для работы высокопроизводительного кеша промежуточного буферизирования данных для обработки и вычисленных результатов предусмотрены 2xNVME PCIe 4x диска.

Также доступна загрузка операционной системы через PXE, в таком случае системные М.2 SATA не устанавливаются (для загрузки ОС) либо в случае установки могут быть использованы как дополнительный дисковый кеш.

Внешние сетевые подключения:

Вычислитель дает возможности установки следующих сетевых карт для подключения к внешней высокоскоростной сети (интерконнекту):

• OCP 3.0 (PCIe 16x): 2x10G, 4x10G, 2x25G, 2x40G, 2x100G;
• OCP 2.0 (PCIe 8x): 2x10G, 2x25G.

Интерфейсы взаимодействия с вычислительными ядрами:

Запуск обученных моделей нейросетей выполняется с предварительным проеобразованием в ONNX-формат, который через библиотеку NMDL (NeuroMatrix® DeepLearning комплект программных средств для разработки и реализации глубоких нейронных сетей) преобразовывается в формат для запуска на сопроцессорах. Полученный формат используется C/C++ кодом для запуска моделей на установленных в вычислитель сопроцессорах.

Электропитание:

• 1+1 CRPS блоки питания мощностью по 1200 Вт включительно;
• Сервер комплектуется блоком питания 220В или 48В по желанию Заказчика.

Удобство обслуживания и эксплуатации:

• Установка в типовые 19’ шкафы (1000мм);
• Направляющая для укладки кабелей, кабельные застёжки на блоках питания;
• Фирменная система удаленного управления оборудованием с мобильных устройств.

Полноценный монтажный комплект и фирменная транспортная упаковка «НТ»:

• Стандартные рельсы частичного выдвижения;
• Фирменная транспортная упаковка «НОРСИ-ТРАНС».

Возможности по построению специализированных вычислительных кластеров:

• Организация общего управления кластером, распределения задач, очередей и приоритетов обработки средствами Slurm;
• Интегрированный мониторинг оборудования и вычислительных задач.

Технические характеристики НТ ПАЛАДИН-ML