Step 2: CPU & RAM Installation — устанавливаем процессоры и память

На первом шаге мы подготовили основу сервера: материнскую плату, корпус и правильное движение воздуха. Теперь собираем его вычислительное ядро — устанавливаем два процессора, охлаждение и оперативную память. Это тот этап, где спешка особенно вредна: дорогую деталь здесь чаще портят не сложной ошибкой, а перекосом, лишним усилием или попыткой «дожать» то, что не село на место с первого раза.

Наша цель к концу этого шага очень простая: материнская плата должна уверенно пройти первый POST без видеокарт, BIOS должен увидеть оба процессора и весь установленный объём памяти, а температуры CPU должны оставаться нормальными. Только после этого мы будем добавлять GPU.

1. Что именно мы устанавливаем

В этой сборке используется двухпроцессорная плата Supermicro X11DAi-N и два одинаковых Intel Xeon Gold 6230. Это серверные процессоры второго поколения Xeon Scalable под сокет LGA3647.

Каждый Xeon Gold 6230 имеет 20 физических ядер и 40 потоков. В паре мы получаем 40 физических ядер и до 80 потоков при включённом Hyper-Threading. Для человека, который раньше собирал только обычные домашние ПК, цифра «два процессора» может звучать избыточно. Но у серверной платформы смысл не только в количестве ядер. Каждый CPU приносит свои каналы памяти, свои ресурсы ввода-вывода и участвует в общей архитектуре многопроцессорной системы.

Intel указывает для Xeon Gold 6230 тепловой пакет 125 Вт, шесть каналов DDR4 и поддержку памяти до DDR4-2933. Именно поэтому здесь важны две вещи: нормальное серверное охлаждение и правильное распределение памяти между обоими процессорами.

2. Почему выбрана именно пара Xeon Gold 6230

Мы не строим сервер по принципу «самое новое — значит самое лучшее». Для DePIN гораздо важнее получить разумный баланс цены, надёжности, количества PCIe-ресурсов, памяти и доступности запчастей.

Xeon Gold 6230 — зрелый серверный процессор. Он давно присутствует на вторичном корпоративном рынке, хорошо изучен, поддерживается этой платформой и даёт достаточно CPU-ресурса для многокарточного сервера. Для большинства вычислительных задач DePIN главным источником дохода будет GPU, поэтому бессмысленно тратить огромную долю бюджета на новейшие процессоры, если старшая видеокарта всё равно остаётся главным рабочим инструментом.

Здесь CPU выполняют роль крепкого фундамента: обслуживают операционную систему, Docker-контейнеры, сетевые процессы, дисковую подсистему, несколько параллельных задач и четыре GPU. Процессоры должны не мешать видеокартам работать, а не соревноваться с ними по цене.

3. Почему процессоры должны быть одинаковыми

В двухпроцессорном сервере не стоит смешивать случайные Xeon «лишь бы подошли в тот же сокет». Для этой сборки берём два Intel Xeon Gold 6230 одной модели. По возможности выбирайте пару с одинаковым stepping и близкой историей происхождения.

Это не вопрос красоты. BIOS и логика двухсокетной системы рассчитывают на согласованную пару процессоров. Разные модели могут иметь разную частоту, количество ядер, набор функций и требования к микрокоду. Иногда смешанная пара вообще не стартует, иногда работает с ограничениями, а иногда создаёт проблемы, которые будут выглядеть как неисправность памяти или платы.

Перед покупкой б/у CPU полезно осмотреть теплораспределительную крышку и контактную сторону. Не должно быть сколов, следов сильного перегрева, коррозии или механических повреждений. Сам процессор достаточно живуч, но сокет LGA3647 на материнской плате, наоборот, требует очень аккуратного обращения.

4. Что такое LGA3647 и почему здесь нельзя применять силу

У LGA3647 контакты находятся в сокете материнской платы. Это множество очень тонких подпружиненных контактов. Процессор сверху лишь прижимается к ним. Поэтому главный риск — не «сломать ножку на процессоре», а погнуть контакты в самом сокете.

Никогда не проводите пальцем по контактному полю и не пытайтесь поправлять что-либо металлическим предметом. Перед установкой просто внимательно осмотрите оба сокета при хорошем свете. Если видно явно погнутый контакт, лучше остановиться и разобраться до установки CPU.

Xeon Scalable для LGA3647 устанавливается вместе с предусмотренной системой удержания процессора и кулером. Здесь важно следовать механике конкретного радиатора и руководству Supermicro/Intel: правильно сориентировать CPU по ключам и метке, установить его в carrier/retention-механизм, затем посадить узел на сокет и затянуть крепёж в указанной производителем последовательности. Усилие и порядок затяжки берите из инструкции именно к вашему кулеру — не угадывайте момент затяжки.

Если узел не садится ровно, не тяните винты сильнее. Причину нужно найти, а не победить силой.

5. Охлаждение: два процессора — два полноценных кулера

Каждый Xeon Gold 6230 рассчитан примерно на 125 Вт теплового пакета. В обычном настольном компьютере такой процессор ещё можно было бы воспринимать как просто «горячий CPU», но у нас два CPU работают круглосуточно и находятся рядом с несколькими мощными видеокартами. Поэтому охлаждение — часть архитектуры сервера, а не декоративный аксессуар.

Для этой сборки предпочтительны активные серверные кулеры LGA3647, рассчитанные на фактический тип ILM вашей платы. В нашем перечне закупки используется вариант под Square ILM, но перед заказом всё равно сверяйте крепление именно с вашей X11DAi-N и конкретным кулером. У LGA3647 существуют разные механические варианты, и внешне похожий кулер может не подойти.

Пассивные серверные радиаторы допустимы только тогда, когда корпус действительно создаёт мощный направленный поток воздуха через радиаторы. В нашем 4U-сервере гораздо безопаснее исходить из того, что каждый CPU должен иметь гарантированное охлаждение, а общий поток воздуха идёт в одном направлении через весь корпус.

После первого запуска мы обязательно посмотрим температуры обоих процессоров в BIOS. Если один CPU заметно горячее второго при одинаковой нагрузке, первым делом проверяются посадка радиатора, термоинтерфейс и поток воздуха.

6. Теперь память: что такое ECC RDIMM человеческим языком

Для этой платформы используется DDR4 ECC Registered, то есть RDIMM. Это серверная память. Она отличается от обычной домашней DDR4 не только названием.

ECC — Error Correcting Code. Такая память умеет обнаруживать и исправлять определённые одиночные ошибки битов. В домашнем компьютере случайная ошибка памяти может закончиться зависанием приложения. На сервере, который работает 24/7 и считает чужие задачи, нам важнее стабильность и предсказуемость.

Registered, или RDIMM, означает, что управляющие сигналы памяти проходят через специальный регистр-буфер. Это снижает электрическую нагрузку на контроллер памяти и позволяет строить более стабильные конфигурации большого объёма. RDIMM не надо воспринимать как «ускоренную память». Её преимущество здесь — серверная надёжность и способность нормально работать в большой многоканальной конфигурации.

Обычные потребительские DDR4 UDIMM для этой сборки не покупаем. Также не смешиваем RDIMM, LRDIMM и UDIMM в одной системе.

7. Почему память делится между двумя процессорами

В двухсокетной машине память логически принадлежит не просто материнской плате, а конкретному процессору. У каждого Xeon Gold 6230 есть собственный шестиканальный контроллер памяти. Поэтому часть слотов обслуживает CPU1, а часть — CPU2.

Это основа архитектуры NUMA — Non-Uniform Memory Access. Пугаться термина не нужно. Простыми словами: каждому процессору быстрее работать с памятью, подключённой непосредственно к нему. Если поставить всю RAM около одного CPU и оставить второй почти без памяти, сервер может загрузиться, но работать будет хуже и менее предсказуемо.

Именно поэтому мы заполняем память симметрично: одинаковый объём и одинаковое количество модулей на каждый процессор.

8. На плате 16 DIMM-слотов, но у каждого CPU шесть каналов

У Supermicro X11DAi-N физически 16 слотов DIMM. Это важно: не надо делать вывод, что «раз слотов 16, значит для идеальной работы надо заполнить все 16».

Каждый Xeon Gold 6230 имеет шесть каналов памяти. Поэтому для нашей основной конфигурации полный симметричный шестиканальный режим получается при 12 модулях — по шесть модулей на каждый процессор. Остальные физические слоты нужны для других схем увеличения ёмкости и не означают, что мы обязаны их заполнить.

9. Стартовый вариант: 256 ГБ

Разумный старт — 8 × 32 ГБ = 256 ГБ. Мы ставим по четыре одинаковых модуля на каждый процессор. Это уже серьёзный объём памяти, которого достаточно для запуска системы, контейнеров и большого числа реальных DePIN-сценариев.

Почему вообще оставлен такой вариант? Потому что деньги, которые не были потрачены на лишнюю RAM на старте, часто выгоднее вложить в GPU, питание или хранилище. Оперативная память сама по себе не приносит доход так, как арендуемая видеокарта. Её задача — не стать узким местом.

Но при восьми модулях мы используем четыре канала памяти на каждый CPU из доступных шести. Это нормальный бюджетный старт, но не максимальная пропускная способность платформы.

10. Рекомендуемый вариант: 384 ГБ и все шесть каналов

Предпочтительная конфигурация — 12 × 32 ГБ = 384 ГБ. Здесь каждый процессор получает шесть модулей по 32 ГБ, то есть по одному модулю на каждый из шести каналов памяти.

Такой вариант лучше соответствует архитектуре Xeon Gold 6230: выше доступная пропускная способность памяти, больше запас для нескольких контейнеров и рабочих процессов, а конфигурация остаётся симметричной.

Это не означает, что переход с 256 до 384 ГБ автоматически увеличит доход сервера. Разные сети и задания используют память по-разному. Но если сервер должен работать долго и выполнять разнородные задачи, 384 ГБ дают более комфортный запас и полностью задействуют шесть каналов каждого CPU.

11. В какие слоты ставить модули

Здесь лучше не пользоваться правилом «через один слот», знакомым по домашним платам. Для серверной платы есть официальная таблица population sequence.

Для 8 модулей руководство Supermicro указывает симметричную схему: у CPU1 используются P1-DIMMB1, P1-DIMMA1, P1-DIMMD1 и P1-DIMME1; у CPU2 — соответственно P2-DIMMB1, P2-DIMMA1, P2-DIMMD1 и P2-DIMME1.

Для 12 модулей используются по шесть каналов: у CPU1 — P1-DIMMC1, P1-DIMMB1, P1-DIMMA1, P1-DIMMD1, P1-DIMME1 и P1-DIMMF1; у CPU2 — те же обозначения с префиксом P2.

Перед установкой всё равно сверьте маркировку прямо на вашей плате и в руководстве X11DAi-N. Это занимает несколько минут и избавляет от часов поиска «почему BIOS видит не весь объём памяти».

12. Какие модули памяти покупать

Лучший вариант — одинаковые DDR4 ECC RDIMM одного производителя, одной ёмкости, одной скорости и желательно одного part number. Серверная память с вторичного рынка часто бывает экономически очень выгодной, но её обязательно надо проверить после сборки.

Xeon Gold 6230 поддерживает память до DDR4-2933. Это не означает, что любая купленная память обязательно будет работать именно на 2933 МТ/с. Реальная частота зависит от модулей, их ранга, количества DIMM на канал, BIOS и самой платы. Поэтому нет смысла переплачивать только за красивую цифру 3200, если платформа всё равно понизит частоту до поддерживаемого режима.

Для этой сборки важнее одинаковый комплект исправной серверной памяти, чем попытка собрать набор из случайных модулей с максимальными цифрами на наклейке.

13. Первый запуск делаем без видеокарт

После установки обоих CPU, двух кулеров и оперативной памяти не спешите ставить четыре GPU. Сначала нужно проверить базовую платформу. Это один из самых полезных принципов при сборке сложного сервера: добавлять компоненты слоями и проверять каждый слой отдельно.

Подключаем питание материнской платы и оба процессорных разъёма EPS, оставляем минимум необходимых компонентов и запускаем сервер без GPU. Материнская плата должна пройти POST — Power-On Self-Test, то есть первичную аппаратную самопроверку.

Первый запуск серверной платы может занимать заметно больше времени, чем загрузка обычного домашнего ПК. Особенно после изменения объёма RAM система может выполнять memory training — настройку контроллера памяти. Поэтому несколько десятков секунд или даже заметная пауза ещё не означает неисправность.

14. Что проверить в BIOS

В BIOS должны определяться оба Intel Xeon Gold 6230. Общая конфигурация должна показывать 40 физических ядер и, при включённом Hyper-Threading, до 80 логических потоков.

Память должна определяться полностью: 256 ГБ для стартовой схемы или 384 ГБ для рекомендуемой. Если установлен модуль, а BIOS его не видит, не продолжайте сборку с мыслью «потом разберёмся». Сейчас как раз самое удобное время найти причину.

Также смотрим температуры обоих CPU. На этом этапе нас интересует не рекордно низкая температура, а отсутствие очевидного перегрева и большая разница между двумя одинаковыми процессорами.

15. Если сервер не проходит POST

Не начинайте сразу менять всё подряд. В серверной сборке полезнее двигаться последовательно. Сначала полностью снять питание и проверить разъёмы питания платы и CPU. Затем убедиться, что оба процессора установлены правильно и радиаторы затянуты равномерно. После этого проверить, что память стоит именно в рекомендуемых слотах и защёлкнута до конца.

Если проблема похожа на память, можно временно упростить конфигурацию и запускать систему с минимально необходимым количеством DIMM по схеме из руководства, постепенно возвращая модули. Так неисправный DIMM или проблемный слот находится гораздо быстрее.

Особое внимание — сокетам. Перекошенный радиатор или неправильная посадка CPU иногда проявляются не как «ошибка процессора», а как исчезнувшие каналы памяти. Контроллер памяти находится внутри CPU, поэтому плохой контакт в сокете способен выглядеть как неисправность RAM.

16. Типичные ошибки новичка на этом шаге

Самые неприятные проблемы здесь обычно возникают из простых вещей: два разных Xeon вместо одинаковой пары, неправильный тип памяти, случайное смешивание RDIMM и другой памяти, установка модулей «как на домашней плате», кулер не под тот ILM, забытый EPS-разъём питания CPU, перекос радиатора или чрезмерная затяжка.

Ещё одна распространённая ошибка — сразу собрать весь сервер целиком, поставить четыре GPU, все накопители и кабели, а потом искать, какой из двадцати компонентов мешает POST. Мы делаем наоборот: сначала подтверждаем, что сердце сервера работает само по себе.

Что должно быть готово в конце Step 2

• Оба Intel Xeon Gold 6230 правильно установлены и определяются BIOS.
• На каждом CPU установлен совместимый LGA3647-кулер с нормальным прижимом и охлаждением.
• Установлена DDR4 ECC RDIMM: либо 8 × 32 ГБ = 256 ГБ, либо рекомендуемые 12 × 32 ГБ = 384 ГБ.
• Память распределена симметрично между CPU1 и CPU2 и стоит в слотах по схеме Supermicro.
• Сервер проходит POST без видеокарт.
• BIOS видит оба процессора, полный объём RAM и не показывает очевидных температурных проблем.

Если все эти пункты выполнены, фундамент вычислительной части готов. Теперь можно переходить к Step 3 — GPU Integration: устанавливать видеокарты, разбираться с PCIe-riser и строить уже саму многокарточную конфигурацию.