Жидкостное охлаждение GPU-сервера перестало быть экзотикой ровно в тот момент, когда одна ускорительная карта начала рассеивать 700 Вт. Восемь таких карт в одном шасси — это 5–6 кВт только на GPU, плюс процессоры, память и накопители. Вопрос «воздух или жидкость» для такой машины решается не вкусом интегратора, а физикой: сколько тепла нужно снять с кристалла, сколько на это уйдёт места в стойке и какой воздух реально есть в серверной. В этой статье разбираем оба подхода на цифрах из практики и объясняем, почему для 8 GPU в 4U мы предлагаем замкнутый контур внутри шасси.
Откуда берётся тепло и куда оно должно уйти
Практически вся электрическая мощность, потреблённая сервером, превращается в тепло внутри шасси. Полностью укомплектованная платформа LM TEK 4U8GPU10KW в длительных нагрузочных тестах производителя потребляла 6800–7000 Вт — и ровно столько же тепла ушло в помещение. Эта цифра не зависит от способа охлаждения: воздушный сервер с восемью картами того же класса греет комнату так же. Разница в том, как тепло проходит путь от кристалла GPU до воздуха серверной.
У воздушного сервера путь один: кристалл → термоинтерфейс → радиатор карты → поток воздуха через шасси. У сервера с СЖО путь длиннее, но каждый участок эффективнее: кристалл → термоинтерфейс → медное основание водоблока → хладагент → радиатор → воздух. Ключевое звено здесь — жидкость: её объёмная теплоёмкость на порядки выше, чем у воздуха, поэтому то же количество тепла переносится гораздо меньшим объёмом среды и с меньшим перепадом температур.
Воздушное охлаждение: где оно упирается в потолок
Классическая серверная проектировалась под 2–3 кВт на стойку. Воздушная система охлаждения помещения — фальшпол, прецизионные кондиционеры, межрядные теплообменники — рассчитана именно на такие нагрузки. Один сервер на 7 кВт в такой стойке — это уже в два-три раза больше расчётного тепла на всю стойку.
Внутри шасси проблема ещё острее. Чтобы унести киловатт тепла воздухом при разумном перепаде температур 15–20 °C, через сервер нужно прогнать порядка 150–200 м³ воздуха в час. Для 7 кВт это больше тысячи кубометров в час через четыре юнита высоты — отсюда высокооборотные вентиляторы, шум и заметная доля мощности, потраченная на сам обдув. Пассивные радиаторы дата-центровых карт рассчитаны на такой продув и занимают два слота PCIe каждый, поэтому воздушные 8-GPU серверы традиционно выпускаются в корпусах 6U и 8U.
Есть и третье ограничение — температура воздуха на входе. Гиперскейлерный дата-центр целенаправленно держит холодный коридор. Обычная серверная, R&D-лаборатория или аппаратная в офисе работает при той температуре, которую даёт кондиционер здания, а летом это нередко 30 °C и выше. Воздушная карта в таких условиях начинает снижать частоту — тихо и без предупреждения, просто потому что перестаёт укладываться в тепловой пакет.
Что воздух делает хорошо
- Не требует обслуживания контура и не имеет жидкости рядом с электроникой.
- Прост в закупке: любая карта с референсным радиатором встаёт в любой совместимый сервер.
- Достаточен для 1–2 GPU в 2U при нормальной температуре серверной.
Жидкостное охлаждение GPU-сервера: два способа реализации
Здесь важно не смешивать две разные архитектуры. Первая — прямое жидкостное охлаждение с подводом от здания (direct-to-chip, DLC): водоблоки в сервере, а хладагент циркулирует через стоечный или зальный блок распределения (CDU), который через теплообменник связан с контуром здания — чиллером или сухой градирней на крыше. Это решение для нового дата-центра, где инженерные системы проектируются под жидкость с самого начала.
Вторая — замкнутый контур внутри шасси. Помпа, резервуар, манифолд, водоблоки CPU и GPU и радиатор находятся внутри сервера; радиатор стоит на фронтальном заборе воздуха, и тепло сбрасывается в воздух серверной — тот же воздух, что охлаждал бы обычный сервер. Никаких труб от здания, никакого CDU. Именно по этой схеме построена платформа LM TEK 4U8GPU10KW. Подробно разницу между этими подходами мы разбираем в статье о CDU и замкнутом контуре.
Почему жидкость даёт плотность
Водоблок с полным покрытием платы (full-cover) снимает тепло с кристалла, памяти HBM/GDDR и цепей питания VRM одним медным основанием толщиной 22–24 мм. Стоечные блоки EK-Pro для NVIDIA H100 NVL, H200 NVL, A100 и RTX 6000 Ada занимают один слот PCIe вместо двух. Именно это, а не более крупный корпус, позволяет разместить восемь полновысотных карт PCIe Gen 5 с устойчивой мощностью до 700 Вт на слот в шасси 4U.
Сравнение на одной таблице
| Параметр | Воздух, 8 GPU | Замкнутая СЖО в шасси, 8 GPU | DLC с CDU |
|---|---|---|---|
| Высота шасси | 6U–8U | 4U | 4U и ниже |
| Слот на карту | 2 слота (пассивный радиатор) | 1 слот (водоблок) | 1 слот |
| Инженерные системы здания | Не требуются | Не требуются | Контур здания, CDU, чиллер |
| Допустимая температура в помещении | Ограничена запасом карт | 5–30 °C по спецификации платформы | Зависит от проекта |
| Температура GPU под нагрузкой при 30 °C | Риск троттлинга | 76–81 °C в тестах производителя | Зависит от проекта |
| Расход воды в эксплуатации | Нет | Нет: контур заполнен один раз | Зависит от схемы отвода тепла |
| Сервис одной карты | Снять карту | Отсоединить QDC, снять карту | Отсоединить QDC, снять карту |
Обратите внимание на строку про температуру помещения. Замкнутый контур не отменяет необходимости отводить тепло из серверной: 7 кВт по-прежнему нужно убрать кондиционером. Но он переносит тепло с кристалла в воздух гораздо эффективнее, поэтому карты остаются в рабочем диапазоне при той температуре воздуха, при которой воздушная система уже снижает частоты.
Что означает «замкнутый контур» на практике
Опасения по поводу жидкости в сервере сводятся к трём вопросам: давление, материалы и обслуживание. Ответы у промышленной СЖО документированы.
- Давление. Рабочее давление контура EK-Pro — 2500 Па, максимальное — 30 000 Па в контуре с узлом помпа-резервуар-манифолд и 75 000 Па в остальных случаях. Для сравнения, радиаторы опрессовываются на заводе давлением 1 бар (100 000 Па). Контур работает при давлении в десятки раз ниже испытательного.
- Материалы. Никелированная медь, нержавеющая сталь, POM Acetal и уплотнения EPDM — единый стек материалов по всему каталогу, без конфликта металлов. Хладагент EK-CryoFuel протестирован на коррозию по BS5117 / ASTM D1384 и имеет низкую электропроводность.
- Обслуживание. Быстроразъёмные соединения (QDC) позволяют извлечь одну карту, не сливая контур. Контур поставляется заправленным и проверенным на заводе.
Когда мы рекомендуем воздух, а когда жидкость
Мы собираем и воздушные, и жидкостные GPU-серверы, поэтому рекомендация зависит от задачи, а не от каталога.
- 1–2 GPU, серверная с нормальным кондиционированием, нет планов роста — воздушный сервер 2U. Простой, дешёвый в обслуживании.
- 4 GPU и планы дойти до 8 — платформа с замкнутой СЖО. Старт с двух карт на шасси, изначально рассчитанном на восемь: апгрейд сводится к карте, водоблоку и проверке по спецификации, а не к замене сервера.
- 8 GPU по 700 Вт в существующей серверной — только замкнутая СЖО. Воздушный аналог не поместится в 4U и не удержит температуру при 30 °C на входе.
- Десятки стоек с GPU — проект нового зала с DLC и CDU; здесь замкнутый контур в шасси уже не главный инструмент.
Отдельный аргумент в пользу СЖО — следующее поколение ускорителей. Сегодняшние 700 Вт на карту завтра станут 1000 Вт и более, и воздушное охлаждение на такой плотности исчерпывает запас быстрее, чем устаревает сама карта. Шасси и контур, рассчитанные на жидкость, переживут не одну смену GPU. Как это учесть при закупке, читайте в чек-листе по выбору GPU-сервера.
Что дальше
- AI-серверы с жидкостным охлаждением — платформа 4U на 8 GPU без внешнего CDU.
- GPU-серверы и рабочие станции — конфигурации под инференс, обучение и рендеринг.
- Водоблоки для GPU — однослотовые блоки для H100 NVL, H200 NVL, A100, RTX 6000 Ada.
- Решения — от стартового узла до выделенной AI-инфраструктуры.
Опишите планируемое число GPU, температуру и мощность вашей серверной — подберём схему охлаждения и рассчитаем, поместится ли конфигурация в существующую стойку. Поставляем в Россию, Казахстан, Беларусь и Узбекистан.
Обсудить задачу с инженером