Step 1: Motherboard, Chassis & Airflow — строим правильную основу сервера

Любой сервер начинается не с видеокарт и не с красивых цифр доходности. Он начинается с основы: материнской платы, корпуса и воздуха. Если эта база собрана правильно, дальше всё становится логичным. Если здесь допустить ошибку, потом она будет проявляться где угодно — перегревом, нестабильной памятью, обрывами GPU, неудобным обслуживанием или невозможностью нормально проложить питание.

На этом шаге мы не пытаемся сразу собрать весь сервер. Наша задача проще: подготовить платформу так, чтобы она физически подходила для двух Xeon, большого объёма ECC-памяти, нескольких GPU, серверных блоков питания и постоянной работы 24/7.

1. Почему основой выбрана Supermicro X11DAi-N

В центре этой сборки стоит Supermicro X11DAi-N — двухпроцессорная плата формата E-ATX под Intel Xeon Scalable первого и второго поколения. У неё два сокета LGA3647, 16 слотов DIMM и несколько полноразмерных PCIe-слотов. Для нас это важно по очень простой причине: сервер должен одновременно дать место двум процессорам, большому объёму памяти и нескольким мощным видеокартам.

Это не новая модная игровая плата. Это взрослая серверно-рабочая платформа, рассчитанная на долгую нагрузку и большое количество оборудования. На вторичном рынке она часто стоит заметно разумнее современных аналогов, а её возможностей для нашего многокарточного сервера хватает с запасом.

У X11DAi-N есть четыре физических PCIe 3.0 x16 и ещё два PCIe 3.0 x8. Это не означает, что каждую видеокарту можно бездумно воткнуть куда угодно: распределение линий зависит от CPU и конкретного слота. Но сама плата изначально задумана как серьёзная многокарточная платформа, а это именно то, что нам нужно.

2. Формат E-ATX — почему обычный домашний корпус здесь не подходит

E-ATX крупнее стандартной ATX-платы. Поэтому корпус нужно выбирать не по фотографии и не по фразе продавца «подходит для больших плат», а по реальным размерам и схеме стоек.

Наша плата имеет размеры примерно 12 × 13 дюймов. Перед покупкой корпуса нужно убедиться, что внутри есть место под саму плату, крепёжные точки совпадают, а после установки остаётся пространство для длинных GPU, кулеров, кабелей и вентиляторной стены.

Главная ошибка новичка здесь очень типичная: купить красивый корпус, а потом выяснить, что материнская плата физически влезает, но видеокартам не хватает длины, кабели упираются в вентиляторы, а блоки питания нельзя нормально закрепить. Поэтому мы выбираем корпус не по внешности, а как техническую раму.

3. Почему именно 4U

4U — это стандартная высота серверного корпуса примерно в четыре монтажных юнита стойки. Для нас такой формат удобен тем, что в нём уже можно разместить полноразмерные видеокарты, нормальные процессорные кулеры и мощную систему обдува.

Корпус 2U или 3U можно сделать компактнее, но тогда резко усложняется охлаждение: нужны более низкие радиаторы, более шумные вентиляторы, плотнее кабельная укладка. Для домашней или небольшой коммерческой установки 4U даёт гораздо больше свободы и прощает больше ошибок.

Мы не строим сервер ради минимальной высоты стойки. Нам важнее, чтобы его можно было открыть, добраться до любой детали, заменить GPU, переставить кабель и обслужить вентилятор без разборки половины машины.

4. Воздух в сервере должен идти в одном направлении

Охлаждение сервера — это не набор отдельных вентиляторов, а поток. Представьте не «много воздуха», а реку: холодный воздух должен войти с одной стороны, пройти через самые горячие компоненты и выйти с другой.

Если часть вентиляторов дует вперёд, часть назад, а видеокарты сбрасывают горячий воздух обратно к процессорам, внутри получается рециркуляция. Температура вроде бы не выглядит критической на холостом ходу, но под длительной нагрузкой всё начинает перегреваться.

Поэтому в 4U-корпусе мы строим направленный поток. В передней части — забор холодного воздуха, затем fan wall или группа мощных вентиляторов, потом зона CPU/RAM/GPU и выход горячего воздуха назад.

5. Что такое fan wall и зачем он нужен

Fan wall — это ряд вентиляторов, установленный поперёк корпуса. Он создаёт плотный поток воздуха через всю систему. В обычном домашнем ПК вентиляторы в основном охлаждают локальные зоны. В сервере нам нужно протолкнуть воздух через радиаторы, между видеокартами, мимо памяти и накопителей.

Здесь важен не только размер вентилятора, но и статическое давление — способность вентилятора проталкивать воздух через сопротивление. Серверные вентиляторы обычно шумнее бытовых, зато они гораздо лучше работают в плотной компоновке.

Если сервер будет стоять не в спальне, а в техническом помещении или гараже, разумнее принять шум как часть конструкции и получить нормальные температуры.

6. Почему нельзя просто поставить четыре GPU вплотную

Мощные видеокарты выделяют много тепла. Даже если каждая карта сама по себе имеет хороший кулер, четыре карты рядом начинают нагревать друг друга. Особенно тяжело картам, которые оказываются зажаты между соседями.

Поэтому в этой сборке видеокарты не рассматриваются как обычные компоненты «в соседних слотах». Мы заранее оставляем место для правильного размещения и при необходимости используем полноразмерные PCIe-riser/extension кабели. Они позволяют вынести GPU туда, где карта лучше охлаждается и не перекрывает соседние слоты.

Сам принцип простой: видеокарта должна получать холодный воздух и иметь свободный выход горячего воздуха. Если для этого её нужно немного отнести от материнской платы — это нормально.

7. Перед монтажом платы проверяем стойки корпуса

Это кажется мелочью, но именно на ней можно повредить дорогую плату. Под материнской платой должны стоять металлические стойки только там, где у платы есть крепёжные отверстия.

Лишняя стойка, спрятанная под текстолитом, может замкнуть дорожки на обратной стороне. Сервер иногда вообще не включается, иногда ведёт себя нестабильно, а человек начинает подозревать процессоры, память и питание.

Перед установкой платы положите её рядом с корпусом, визуально сравните все точки крепления и уберите лишние стойки. Это занимает пять минут, но избавляет от очень неприятной диагностики.

8. Что осмотреть на самой материнской плате

Особенно если плата куплена б/у, сначала осматриваем её без процессоров и памяти. Проверяем оба сокета LGA3647, DIMM-слоты, PCIe, разъёмы питания, область VRM и сетевые разъёмы. Ищем следы коррозии, перегрева, ударов, отсутствующие пластиковые элементы и явно погнутые контакты.

Не нужно пытаться «ремонтировать взглядом» всё подряд. Цель первого осмотра — убедиться, что нет грубых повреждений, прежде чем мы начнём устанавливать CPU и RAM.

9. Сразу думаем о кабелях

Когда сервер пустой, кажется, что места много. После установки двух CPU, памяти, четырёх GPU, riser-кабелей, двух блоков питания и накопителей свободное пространство исчезает очень быстро.

Поэтому ещё на первом шаге полезно представить маршруты кабелей: где пойдут силовые линии GPU, где будут CPU EPS, где пройдёт SATA, где расположатся breakout boards, где будет fan wall. Силовые кабели не должны лежать на лопастях вентиляторов, перегибаться у разъёмов или перекрывать поток воздуха.

10. Системный диск и рабочий диск — это разные задачи

В нашем сервере будут два разных типа накопителей. Обычный SATA SSD используется как системный диск: на нём живут Ubuntu, Docker, служебные файлы и логи.

Отдельный enterprise U.2 NVMe предназначен для рабочей нагрузки. Почему мы их разделяем, подробно разберём в Step 5. Сейчас важно только предусмотреть место и обдув под оба накопителя и не пытаться засунуть всё на один диск «чтобы было проще».

11. Питание тоже начинается с корпуса

В дальнейшем мы будем использовать серверные блоки питания с breakout boards и отдельный DC-DC/PicoPSU-контур для материнской платы. Поэтому корпус должен позволять нормально закрепить силовую часть и оставить доступ к разъёмам.

Не делайте силовую систему висящей на проводах. Breakout board, sync-модули и сами PSU должны иметь нормальное физическое крепление и обдув. Силовая часть будет подробно разобрана в Step 4.

12. Опциональная расширенная плата — Supermicro X11DPi-N

В нашей базе остаётся ещё один вариант — Supermicro X11DPi-N. Это тоже двухпроцессорная серверная платформа LGA3647, но с другой компоновкой и возможностями расширения.

Она может быть полезна, если вы строите более плотную или специализированную конфигурацию. Но считать её «просто такой же платой, только лучше» нельзя. У неё нужно отдельно проверять корпус, расположение PCIe, память, ILM-крепления кулеров и силовую схему.

Поэтому основная инструкция дальше ориентируется на X11DAi-N. X11DPi-N остаётся осознанной альтернативой для человека, который понимает, зачем ему другой layout.

13. Что мы намеренно пока не устанавливаем

На этом шаге не нужно стремиться заполнить корпус всеми компонентами. Нам важнее сделать правильную основу. Процессоры и память устанавливаются уже на следующем шаге. GPU — ещё позже. Такой порядок помогает находить ошибки поэтапно.

Чем сложнее сервер, тем полезнее правило: собрал один уровень — проверил — только потом добавил следующий.

Что должно быть готово в конце Step 1

• Корпус 4U физически подходит под E-ATX и полноразмерные GPU.
• Материнская плата X11DAi-N осмотрена и установлена только на правильные стойки.
• Заранее понятен маршрут воздушного потока через корпус.
• Предусмотрено место под fan wall, GPU, два CPU-кулера, накопители и силовую часть.
• Кабели можно проложить так, чтобы они не перекрывали вентиляторы и не перегибались у разъёмов.
• Опциональная X11DPi-N рассматривается как отдельная расширенная альтернатива, а не как случайная замена.

Если основа подготовлена правильно, можно переходить к Step 2 — CPU & RAM Installation и устанавливать процессоры, охлаждение и память.