Обзор-исследование

Электроника ЦОД:
оборудование, печатные платы и технологии производства

Техническое обеспечение центров обработки данных.

Рецензия

Статья посвящена системному рассмотрению электроники центров обработки данных — от компонентов и печатных плат до серверного, сетевого, силового и охлаждающего оборудования. Рассматриваются взаимосвязи между архитектурой электронных узлов, высокоскоростными интерфейсами, электропитанием, тепловыми режимами, материалами и технологиями производства. Материал представляет интерес как обзор инженерных требований, определяющих конструкцию и эксплуатационные характеристики современной электроники ЦОД. 

Статья периодически дополняется. Дата последних изменений — 27 сентября 2026 года. Обновлены и добавлены новые принятые стандарты и их ревизии.

1. Что такое электроника ЦОД

Центр обработки данных со стороны выглядит как совокупность стоек, серверов, систем хранения и сетевого оборудования. Но если разобрать эту систему до уровня физических соединений, становится видна другая картина.

Внутри ЦОД одновременно идут три связанных процесса: электронные устройства обрабатывают и передают данные, получают и преобразуют электрическую энергию, а выделяемое при работе тепло необходимо отводить. Между узлами проходят сигналы и токи, работают системы управления и мониторинга, передаётся информация о состоянии оборудования.

Поэтому «электроника для ЦОД» — это не отдельный класс устройств, а совокупность электронных узлов разного назначения, мощности, конструкции и условий эксплуатации.

1.1. От компонента к системе

Нижний уровень электронной системы образуют компоненты: микросхемы, транзисторы, диоды, резисторы, конденсаторы, разъёмы и другие элементы.

Отдельный компонент выполняет конкретную функцию. Процессор обрабатывает данные, память хранит их, преобразователь изменяет параметры электрической энергии, а конденсаторы используются, в частности, для фильтрации и развязки цепей питания.

Работающее устройство возникает не из набора компонентов как такового, а из их электрического и механического соединения. Основой такого соединения часто служит печатная плата (printed circuit board, PCB).

Для печатной платы важен не только проводящий рисунок. Она является конструктивной системой, для которой задаются материалы, структура слоёв, межслойные соединения, покрытия, электрические и другие характеристики. С 1 августа 2025 года общие технические условия для печатных плат в России установлены ГОСТ Р 72069-2025.

Следующий уровень — электронная сборка (printed board assembly, PCBA), то есть плата с установленными компонентами. Здесь к требованиям самой PCB добавляются геометрия размещения элементов, технология монтажа, качество паяных соединений и контроль.

Дальше появляются функциональные модули, электронные блоки и законченные устройства.

Получается последовательность:

компонент → печатная плата → электронная сборка → электронный модуль / блок → оборудование.

Каждый уровень добавляет собственные ограничения. В готовом электронном блоке к самой плате и монтажу присоединяются корпус, разъёмы, механические крепления, питание, охлаждение и взаимодействие с другими узлами.

1.2. Какие электронные системы работают в ЦОД

С функциональной точки зрения оборудование ЦОД можно разделить на несколько крупных групп.

Вычислительные системы выполняют обработку данных. В сервере объединяются процессоры, память, интерфейсы ввода-вывода, накопители и средства управления.

Системы хранения данных (СХД) обеспечивают запись, хранение и выдачу информации. В зависимости от архитектуры они включают накопители, контроллеры, интерфейсы и специализированные электронные модули.

Сетевое оборудование передаёт данные между серверами, системами хранения и внешними сетями. В коммутаторах, маршрутизаторах и других сетевых устройствах одновременно работают высокоскоростные каналы, контроллеры и средства обработки сигналов.

Силовая электроника преобразует и распределяет электрическую энергию, формирует необходимые напряжения, регулирует питание отдельных узлов и участвует в защите оборудования.

Отдельный слой образуют системы управления и мониторинга. Они измеряют температуру, напряжение, ток и другие параметры, обеспечивают диагностику, удалённое управление и взаимодействие электронных узлов между собой.

Все перечисленные системы связаны с охлаждением: потребляемая электроника выделяет тепло, которое затем необходимо вывести из оборудования.

1.3. Сервер показывает, как эти функции сходятся в одном изделии

Сервер удобен для рассмотрения архитектуры электроники ЦОД, поскольку в одном изделии соединяются практически все основные функции.

На системной плате могут одновременно находиться процессоры, память, цепи питания, контроллер управления, высокоскоростные интерфейсы, локальное хранение и разъёмы для дополнительных модулей.

Разные участки платы при этом работают в разных физических режимах. Процессорные и сетевые интерфейсы требуют определённых электрических параметров канала. Силовые цепи проводят большие токи. Память связана с процессором через высокоскоростные соединения. Мощные компоненты требуют организованного отвода тепла. Разъёмы одновременно выполняют электрическую и механическую функцию.

Серверная плата поэтому является результатом согласования нескольких инженерных областей: электротехники, высокоскоростной схемотехники, силовой электроники, теплотехники, механики и технологии производства.

1.4. Почему электроника ЦОД предъявляет особые требования

Процессор, память или печатная плата сами по себе не становятся оборудованием ЦОД. Определяющими являются условия, в которых они работают, и нагрузки всей системы.

Для ЦОД характерны длительная эксплуатация, высокая концентрация оборудования и ограниченный объём, в котором одновременно находятся значительные электрические и тепловые нагрузки. При проектировании оборудования учитываются температура, влажность, воздушный поток, жидкостное охлаждение и другие параметры среды.

Это непосредственно отражается на электронной конструкции. Плата должна соответствовать механическим ограничениям корпуса, компоненты — располагаться с учётом движения воздуха или элементов жидкостного охлаждения, силовые цепи — учитывать ток и выделение тепла, а высокоскоростные соединения — сохранять требуемые параметры на всём протяжении канала.

Причём электрический канал не заканчивается на поверхности PCB. Между двумя микросхемами или платами в него входят проводники, переходные отверстия, контактные площадки, разъёмы, выводы корпусов и другие соединения. На высоких скоростях их свойства становятся частью общего результата.

То, что в обычной низкоскоростной цепи выглядит как простой проводник, в высокоскоростной системе уже может вести себя как линия передачи. Появляются отражения, потери, перекрёстные помехи и другие эффекты, зависящие от геометрии и материалов конструкции.

1.5. От физических связей к требованиям конструкции

За названиями отдельных устройств скрывается общая физическая основа.

Процессору требуется питание и соединение с памятью. Накопитель должен получать энергию и обмениваться данными с контроллером. Сетевой интерфейс передаёт и принимает сигналы. Контроллеры взаимодействуют с компонентами оборудования и средствами управления.

Каждая из этих функций реализуется физическими элементами: проводниками, контактами, переходными отверстиями, разъёмами, корпусами компонентов, кабелями и печатными платами.

Изменение одного параметра системы может затронуть сразу несколько областей. Рост вычислительной плотности увеличивает количество компонентов и тепловую нагрузку. Рост скорости передачи данных повышает требования к электрическому каналу. Увеличение мощности предъявляет новые требования к питанию и отводу тепла. Усложнение конструкции повышает требования к воспроизводимости изготовления и контролю.

Именно здесь возникает связь между архитектурой ЦОД и производством электроники: требования конечного оборудования постепенно превращаются в конкретные параметры платы, электронной сборки и электронного блока.

Требование высокой вычислительной плотности может привести к более плотному монтажу, многослойной конструкции и применению HDI.

Высокая скорость передачи данных выражается в требованиях к геометрии проводников, материалам, импедансу, переходным отверстиям и разъёмам.

Рост мощности требует управления сопротивлением проводящих путей, распределением тока и тепловым потоком.

Длительная эксплуатация добавляет требования к материалам и соединениям, производственному контролю, прослеживаемости и испытаниям.

Поэтому путь от оборудования ЦОД до готовой электроники проходит через несколько связанных уровней:

условия эксплуатации → функция → электрические и тепловые параметры → конструкция → материалы → технология изготовления → контроль → испытания.

Дальше эти связи можно рассмотреть уже предметно — сначала на примере серверной электроники и систем хранения данных, затем для электропитания и охлаждения, а после перейти к печатным платам, монтажу, высокоскоростным каналам, тепловым режимам, электромагнитной совместимости и надёжности.

2. Серверная электроника

Сервер объединяет вычислительные ресурсы, память, устройства хранения, интерфейсы ввода-вывода и средства управления. Его архитектура зависит от назначения: один сервер может использоваться для виртуализации и баз данных, другой — для высокопроизводительных вычислений или задач искусственного интеллекта.

С точки зрения электроники особенно интересно то, что все эти функции сходятся в одном изделии. На его платах одновременно передаются высокоскоростные сигналы, распределяется питание, работают цепи управления, устанавливаются компоненты с высокой плотностью монтажа и решаются тепловые задачи.

Основой такого объединения служит материнская плата, хотя часть функций может быть вынесена на отдельные платы и модули.

2.1. Материнская плата сервера

Материнская плата связывает основные узлы сервера в единую электрическую систему. В зависимости от платформы на ней размещаются процессорные разъёмы или сами процессоры, модули памяти, цепи питания, контроллеры, интерфейсные микросхемы, локальные накопители, BMC и многочисленные разъёмы.

Разные участки платы при этом работают в разных условиях. Цепи питания рассчитаны на передачу значительных токов, каналы между процессором, памятью и периферийными устройствами работают на высоких скоростях, служебные интерфейсы обслуживают датчики и управляющие функции, а разъёмы одновременно выполняют электрическую и механическую задачу.

Отсюда и возникает сложность серверной PCB. Её многослойность определяется не только количеством соединений: необходимо разместить сигнальные и силовые структуры, сформировать возвратные пути, обеспечить связи между компонентами и уложиться в ограничения корпуса.

2.2. Процессор, память и локальная система питания

Процессор является одним из наиболее мощных потребителей на серверной плате, поэтому рядом с ним находятся силовые преобразователи, память и высокоскоростные интерфейсы. Сам процессор не получает питание непосредственно от входного напряжения сервера: необходима система преобразования, формирующая требуемые напряжения, а на материнской плате для этого используются регуляторы и связанные с ними силовые компоненты.

Их расположение нельзя выбирать независимо от остальной компоновки. Силовая часть оказывается рядом с мощным потребителем и одновременно соседствует с чувствительными сигнальными каналами; поэтому архитектура питания, трассировка и тепловой режим оказываются связаны уже на уровне размещения компонентов.

Память образует другой крупный кластер соединений. На серверных платформах используются DIMM-модули и соответствующие разъёмы либо другие конструктивные варианты. Сам канал памяти выходит далеко за пределы корпуса процессора: в него входят контакты, проводники PCB, разъём и проводники модуля. При повышении скорости электрические параметры всей этой цепочки начинают влиять на результат.

Поэтому изменение положения разъёма, структуры слоёв или материала платы способно затронуть не только компоновку, но и характеристики канала.

2.3. Платы расширения и ускорители

Часть функций сервера размещается на отдельных платах: сетевых адаптерах, контроллерах хранения, ускорителях вычислений и других модулях. В серверных архитектурах OCP используются, например, riser card, mezzanine I/O, networking и accelerator, что позволяет собирать систему из функциональных узлов, соединённых стандартизированными механическими и электрическими интерфейсами.

Ускорители особенно показательны. Они повышают вычислительную плотность, но одновременно предъявляют высокие требования к питанию и требуют большого числа высокоскоростных соединений. Поэтому плата ускорителя и базовая плата, к которой он подключается, фактически образуют единый электрический канал.

Показательный пример — OCP Accelerator Module (OAM), mezzanine-модуль для систем с несколькими ускорителями.

2.4. Система управления сервером и служебные интерфейсы

У серверной электроники есть ещё один самостоятельный уровень — контроллер управления базовой платой (baseboard management controller, BMC). Он выполняет мониторинг и управление системой независимо от основной операционной системы: получает сведения о температуре и питании, участвует в диагностике, работает с микропрограммами и позволяет управлять состоянием платформы.

В архитектуре OCP DC-SCM BMC является отдельным элементом системы управления. Он получает собственную последовательность питания и участвует в разрешении включения основного вычислительного тракта.

Это означает, что управляющая электроника не должна полностью зависеть от состояния самого вычислительного узла. Даже при остановке или недоступности основной системы часть функций мониторинга и управления должна сохраняться.

В зависимости от архитектуры BMC размещается непосредственно на материнской плате либо выносится на отдельный модуль, например в рамках DC-SCM. В любом случае это отдельный электронный узел со своим питанием, памятью, интерфейсами и связями с контролируемыми компонентами.

В сервере информационные и служебные каналы выполняют разные функции. Высокоскоростные интерфейсы передают данные, тогда как служебные соединения используются для конфигурации, диагностики, чтения датчиков, работы с микропрограммами и управления компонентами.

На примере OAM это разделение видно особенно хорошо. В спецификации OCP предусмотрены sideband-интерфейсы, включая I²C/SMBus и JTAG; в предусмотренных конфигурациях также используются UART и MCTP через PCIe. По этим каналам система управления получает сведения о состоянии ускорителя и его компонентов и выполняет диагностические операции.

Так серверная электроника оказывается разделена на два тесно связанных контура: основной отвечает за вычисления и передачу данных, служебный — за наблюдение, конфигурацию и управление. Для PCB это означает необходимость реализовать не только основные информационные каналы, но и предусмотренные архитектурой цепи мониторинга, диагностики и программирования.

 

2.5. Разъём как часть электрического канала

По мере того, как серверная архитектура становится модульной, всё больше функций распределяется между несколькими платами. Материнская плата соединяется с платами расширения, накопителями, сетевыми модулями, ускорителями и другими узлами через различные типы разъёмов, причём один и тот же соединитель одновременно является механическим и электрическим элементом.

Для низкоскоростной служебной цепи его электрические параметры могут иметь сравнительно небольшое влияние. В высокоскоростном канале ситуация меняется: разъём становится частью межсоединения (interconnect), а его характеристики входят в параметры всего тракта.

Сигнал проходит последовательный путь от проводника одной PCB через переходное отверстие, контакт разъёма и ответную часть соединения к проводнику следующей платы. На каждом участке возникают собственные потери и отражения, поэтому электрический канал приходится рассматривать целиком, а не ограничиваться анализом одной платы.

 


Архитектура сервера задаёт требования не к отдельным компонентам по отдельности, а к их совместной работе. Материнская плата должна одновременно поддерживать питание процессора и памяти, высокоскоростные соединения, служебное управление и межплатные интерфейсы; при этом все эти функции реализуются в ограниченном механическом объёме и должны работать в заданном тепловом режиме.

Именно поэтому изменение одной части конструкции может затронуть несколько других. Перенос разъёма меняет трассировку канала, изменение питания — размещение силовых компонентов и тепловую нагрузку, а появление нового модуля — электрические и механические интерфейсы между платами.

Сервер в этом отношении хорошо показывает общий принцип электроники ЦОД: функции оборудования в конечном счёте превращаются в требования к физическим соединениям, компонентам, печатной плате и способу их объединения в готовую систему.

3. Электроника систем хранения данных

Система хранения данных (storage system) объединяет накопители, контроллеры, интерфейсы, средства управления и другие электронные узлы, необходимые для записи, чтения и обработки информации.

В простейшем варианте накопитель подключается непосредственно к вычислительной системе. В более сложной конфигурации множество накопителей объединяется в массив, а доступ к ним организуется контроллерами и программно-аппаратными средствами. Поэтому понятие «электроника СХД» охватывает несколько уровней — от небольшой платы SSD до контроллеров, backplane и электронных модулей, связывающих большое количество накопителей.

Уровень

Пример

Основная задача

Накопитель

SSD, HDD

Хранение данных и обмен с хостом

Контроллер

Storage controller, RAID controller

Управление накопителями и обработка запросов

Интерфейс

PCI Express, SATA, SAS

Передача данных между узлами

Печатная плата

SSD PCB, controller board, backplane

Соединение компонентов и интерфейсов

Система

Дисковый массив, СХД

Объединение накопителей, контроллеров и средств управления


Конструкция платы в такой системе определяется не только типом накопителя. Не менее существенна её роль в общей архитектуре: это может быть плата самого SSD, контроллера, распределительной панели или другой части системы хранения.

3.1. Твердотельный накопитель как специализированная электронная система

Твердотельный накопитель (solid-state drive, SSD) хорошо показывает, насколько сложной может быть электроника даже в небольшом устройстве.

Основными элементами SSD являются микросхемы NAND flash и контроллер. Контроллер принимает команды хоста, управляет обращением к памяти и передаёт данные через соответствующий интерфейс. На той же плате располагаются цепи питания, тактирования, служебные и вспомогательные компоненты.

NAND flash отличается от обычной оперативной памяти физической организацией данных. Ячейки объединяются в страницы и блоки: программирование выполняется на уровне страницы, а стирание — на уровне блока, содержащего множество страниц.

Контроллер поэтому работает не только с логическими адресами, которые видит хост, но и с физической организацией NAND. Он управляет размещением данных, их перемещением и операциями записи, одновременно обслуживая внешний интерфейс накопителя.

Это отражается и на конструкции PCB. Контроллер должен иметь большое количество соединений с микросхемами памяти, получать стабильное питание и поддерживать высокоскоростной канал связи с хостом. В результате небольшая SSD-плата может представлять собой плотную многослойную конструкцию с большим количеством высокоскоростных межсоединений.

3.2. Что находится на плате SSD

Конкретный состав зависит от архитектуры накопителя, но на SSD PCB обычно можно выделить несколько функциональных групп:

  • контроллер, обрабатывающий команды и управляющий NAND;
  • микросхемы NAND flash;
  • цепи питания и преобразования напряжения;
  • конденсаторы и другие элементы фильтрации и локального запаса энергии;
  • тактовые и служебные цепи;
  • интерфейсную часть для связи с хостом.

В корпоративных SSD к этому могут добавляться средства мониторинга состояния, защиты данных и защиты от потери питания.

Компоненты на такой плате связаны не только электрической схемой. Имеют значение длина и геометрия соединений, расположение силовых элементов относительно контроллера, тепловой режим и характеристики интерфейсного канала. В одном небольшом электронном узле таким образом совмещаются хранение и обработка данных, питание, высокоскоростная передача информации и тепловое обеспечение.

3.3. Интерфейсы хранения

Накопитель является частью вычислительной системы через интерфейс связи с хостом, поэтому его электронную конструкцию приходится рассматривать вместе с используемым транспортом данных.

В современных системах хранения применяются NVMe, SATA и SAS. NVMe изначально создавался для взаимодействия программного обеспечения хоста с энергонезависимой памятью через PCI Express и прежде всего ориентирован на твердотельные накопители. SATA и SAS исторически связаны с дисковой инфраструктурой и сохраняют значение там, где требуется совместимость с соответствующими накопителями и системами хранения.

По состоянию на дату подготовки статьи к публикации актуальная редакция NVM Express Base Specification — 2.4, а NVM Express over PCIe Transport Specification достигла редакции 1.4, ратифицированной в июле 2026 года. Подробнее — в соответствующем разделе.

Для PCB выбор интерфейса означает не просто наличие нужного разъёма. В электрический канал входят контроллер, проводники платы, переходные отверстия, разъём и ответная часть соединения. С ростом производительности возрастают требования к потерям, импедансу, длине и геометрии межсоединений, 

Поэтому плата системы хранения одновременно выполняет несколько функций: размещает компоненты, распределяет питание и образует часть высокоскоростного тракта передачи данных. В более крупных СХД к этим задачам добавляется соединение множества накопителей с контроллерами и другими узлами системы.

4. Электроника электропитания

Электронное оборудование ЦОД не подключается к электрической сети напрямую. Между внешним источником энергии и процессором, памятью или другим потребителем находится система преобразования и распределения питания.

В зависимости от архитектуры часть преобразований выполняется на уровне ЦОД или стойки, часть — внутри самого оборудования, а локальные регуляторы формируют напряжения непосредственно для отдельных групп компонентов. Поэтому силовая часть сервера или СХД представляет собой не один источник питания, а цепочку преобразователей, шин, распределительных узлов и локальных регуляторов.

4.1. От входной энергии к напряжению процессора

Напряжения, необходимые электронным компонентам, значительно отличаются от напряжения, поступающего на оборудование. Поэтому энергия проходит несколько стадий преобразования:

входная энергия → источник питания → промежуточная шина → преобразователь на плате → локальный регулятор → нагрузка.

Конкретная архитектура зависит от устройства. В силовой электронике широко применяются импульсные преобразователи (switching converter), в которых энергия передаётся за счёт управляемого переключения полупроводниковых ключей и накопления энергии в магнитных и ёмкостных элементах.

Реальный преобразователь включает силовые полупроводники, дроссели, конденсаторы, контроллеры, цепи измерения и обратной связи, а также средства защиты.

Несколько ступеней преобразования позволяют распределять функции между различными уровнями системы. Более высокое напряжение уменьшает ток при передаче той же мощности, а низкое формируется уже непосредственно для электронной нагрузки. Каждый промежуточный преобразователь при этом добавляет собственные потери, элементы управления и требования к отводу тепла.

4.2. VRM: питание процессора на самой плате

На системной плате локальная система питания формирует напряжения для процессора, памяти и других потребителей. Одним из её основных узлов является VRM (voltage regulator module), расположенный рядом с мощным потребителем.

Для процессора требуется не просто получить заданное напряжение. Оно должно оставаться в допустимых пределах и при быстрых изменениях тока нагрузки. Поэтому при проектировании VRM учитываются динамика регулирования, выходная ёмкость, сопротивление и индуктивность соединений, скорость реакции силовой части и параметры системы управления.

В многофазном преобразователе (multiphase converter) несколько силовых фаз работают совместно и распределяют ток нагрузки между собой. Это позволяет распределить тепловую нагрузку и уменьшить пульсации.

На PCB VRM представляет собой плотный участок силовой электроники. Рядом с процессором размещаются силовые полупроводники, дроссели, конденсаторы и цепи управления, а через медные структуры платы проходят большие токи. Поэтому геометрия силовых соединений и расположение компонентов становятся частью электрического расчёта.

4.3. Ток, сопротивление и физическая реализация силовой схемы

Для одной и той же мощности ток зависит от напряжения:

P = U × I

А потери на сопротивлении проводящего пути определяются выражением:

Pпотерь = I² × R

Отсюда следует простой физический эффект: передача мощности при более высоком напряжении позволяет уменьшить ток. Например, для 10 кВт при 50 В требуется 200 А, тогда как при 12 В — около 833 А. При одинаковом условном сопротивлении проводников отношение омических потерь составило бы примерно 17,4 раза.

Это только иллюстрация зависимости. В реальной системе сопротивления проводников, соединителей и преобразователей различаются.

Сопротивление однородного проводника можно представить как:

R = ρ × L / A,

где ρ — удельное сопротивление материала, L — длина проводника, A — площадь его поперечного сечения.

Для PCB площадь проводящего сечения зависит, в частности, от ширины и толщины меди. Однако силовой путь обычно не сводится к одной дорожке: используются широкие проводники, медные полигоны, внутренние слои и группы переходных отверстий.

Снижение сопротивления уменьшает электрические потери, но энергия, рассеиваемая на сопротивлении, всё равно превращается в тепло. Поэтому силовой участок платы одновременно задаёт электрические и тепловые требования.

На принципиальной схеме проводники выглядят идеальными соединениями. В реальной плате каждый участок имеет собственное сопротивление и паразитную индуктивность — это относится к проводникам, переходным отверстиям, выводам компонентов и соединительным площадкам.

Для быстродействующего импульсного преобразователя даже небольшая длина соединения может влиять на его работу. Особенно заметно это в силовых контурах с быстрым переключением, где геометрия соединений и расположение конденсаторов относительно силовых ключей определяют паразитные параметры контура.

Поэтому электрическая схема преобразователя должна рассматриваться вместе с тем, как она физически реализована на PCB.

Перемещение ключа, дросселя или конденсатора меняет токовые контуры и, следовательно, их паразитные параметры. Вместе с ними могут измениться потери и уровень электромагнитных помех.

4.4. Архитектура питания, резервирование и эффективность

Архитектура питания может строиться по-разному. В традиционной схеме каждый сервер имеет собственный источник питания, а преобразование энергии происходит внутри его корпуса.

В другой архитектуре часть силовой системы переносится на уровень стойки. Open Compute Project развивает для Open Rack решения с power shelf, от которого энергия распределяется нескольким IT-устройствам через общую шину.

Перенос преобразования на уровень стойки меняет не только место расположения источника питания. Вместе с ним меняются архитектура резервирования, механическая компоновка и требования к межсоединениям.

При этом централизованное питание не является универсальной заменой локальному. Выбор зависит от мощности, схемы резервирования, уровней преобразования, допустимых потерь, механической архитектуры и условий эксплуатации.

Для ЦОД система питания должна сохранять работоспособность при отказе отдельного источника или другого элемента силового тракта. Несколько источников могут работать параллельно с распределением нагрузки, а в централизованной архитектуре резервирование может быть организовано на уровне power shelf.

При параллельной работе возникает задача current sharing — распределения тока между источниками. Если один из них принимает на себя непропорционально большую нагрузку, его тепловой и электрический режим может выйти за расчётные пределы.

Другой параметр — эффективность преобразования. Для реального преобразователя:

Pпотерь = Pin − Pout

η = Pout / Pin

Потери возникают в силовых полупроводниках, магнитных компонентах, проводниках, конденсаторах и других элементах и зависят от режима работы и конструкции. Для ЦОД они имеют двойное значение: увеличивают потребление электроэнергии и одновременно становятся дополнительной тепловой нагрузкой.

4.5. Что силовая архитектура означает для производства

Требования силовой системы непосредственно отражаются на конструкции PCB и её изготовлении. Задаются геометрия и толщина медных слоёв, конструкция переходных отверстий, электрические расстояния и параметры силовых соединений; для монтажа важны соответствующие посадочные места, качество паяных соединений и условия отвода тепла.

При контроле в зависимости от конструкции могут использоваться визуальная инспекция, AOI, электрические проверки, ICT и функциональные испытания. При этом значение имеет не только соответствие отдельного изделия документации, но и повторяемость характеристик от платы к плате: изменение геометрии проводящего рисунка, толщины меди, параметров компонентов или условий монтажа способно изменить сопротивление, тепловой режим и характеристики преобразователя.

Силовая архитектура в результате определяет целую цепочку связанных решений — от способа распределения энергии и схемы преобразования до конструкции платы, монтажа, охлаждения и контроля. При росте вычислительной мощности эти связи становятся ещё теснее, а перенос части силовой инфраструктуры с серверной платы на уровень стойки меняет уже саму архитектуру оборудования.

5. Электроника систем охлаждения

Система охлаждения ЦОД удаляет тепло, выделяемое вычислительным, сетевым и другим оборудованием. В неё входят механические, гидравлические, теплотехнические и электронные узлы: электроника измеряет параметры среды и оборудования, управляет исполнительными устройствами, обеспечивает защиту при нарушении режима и связывает охлаждение с IT-оборудованием.

В простейшем случае сервер охлаждается потоком воздуха. Однако при увеличении тепловой плотности возможностей воздуха для некоторых классов оборудования становится недостаточно, и применяются жидкостные схемы, в том числе непосредственное охлаждение наиболее мощных компонентов.

5.1. Воздушное охлаждение и контур управления

При воздушном охлаждении электронная система управления связана не только с вентиляторами. Она объединяет температурные датчики, контроллеры, схемы питания и управления вентиляторами, интерфейсы мониторинга и, в зависимости от конструкции, средства аварийного реагирования. Температура отдельных компонентов и зон корпуса используется как основной источник информации о текущем тепловом состоянии оборудования.

В сервере датчики могут располагаться рядом с процессорами, ускорителями, силовыми преобразователями и другими участками с повышенным тепловыделением. Контроллер сопоставляет измеренные значения с заданными режимами и изменяет частоту вращения вентиляторов. При этом управление обычно строится не по одному температурному показателю: учитываются несколько зон и текущая нагрузка оборудования, чтобы система реагировала не только на уже возникший перегрев, но и на изменение теплового режима.

Максимальный расход воздуха сам по себе не является целью. Поток ограничен конструкцией корпуса, сопротивлением воздуховодов, радиаторов и других элементов системы охлаждения, а вентиляторы дополнительно потребляют электрическую энергию. Поэтому задача управления заключается в выборе достаточного воздушного потока при текущей нагрузке, а не в постоянной работе вентиляторов на предельной мощности.

Для электронной аппаратуры важна и обратная сторона этой задачи: отказ вентилятора, датчика или цепи управления может непосредственно повлиять на тепловой режим вычислительного узла. Поэтому система охлаждения рассматривается как часть общей системы мониторинга и защиты оборудования. При выходе параметров за допустимые пределы она может сформировать предупреждение или аварийный сигнал, а в предусмотренных архитектурой случаях — изменить режим работы или перевести оборудование в безопасное состояние.

В воздушных и жидкостных системах действует один и тот же принцип: измерение параметров → обработка данных → управляющее воздействие → новое измерение.

В сервере температурные датчики могут располагаться рядом с процессорами, силовыми преобразователями и другими участками с повышенным тепловыделением. В жидкостном контуре дополнительно контролируются температура теплоносителя, давление и расход.

Такая система управления выполняет не только регулирование. При выходе параметров за допустимые пределы она может сформировать предупреждение или аварийный сигнал, а в предусмотренных архитектурой случаях — перевести оборудование в безопасное состояние.

5.2. Жидкостное охлаждение и контур управления

ASHRAE рассматривает несколько вариантов жидкостного охлаждения. На уровне стойки тепло может передаваться жидкости через теплообменник, а в IT-оборудовании жидкость может циркулировать внутри корпуса или через связанные с ним элементы. При непосредственном охлаждении жидкость отводит тепло непосредственно от наиболее мощных компонентов через теплообменный элемент.

Один из распространённых вариантов direct liquid cooling — cold plate, теплопередающая плита, устанавливаемая на процессор или другой мощный источник тепла. Жидкость проходит через внутренние каналы плиты и уносит тепло от компонента.

Жидкостное охлаждение при этом не обязательно полностью вытесняет воздушное. В гибридной системе процессор или ускоритель может охлаждаться через cold plate, тогда как память, силовые преобразователи, сетевые контроллеры и другие элементы остаются на воздушном охлаждении.

В жидкостной системе появляются собственные электронные узлы: насосы, регулирующие клапаны, датчики температуры, давления и расхода, контроллеры, интерфейсы связи и средства аварийной защиты.

Одним из элементов такого контура является cooling distribution unit (CDU). В зависимости от архитектуры в него входят теплообменник, насосы, клапаны, средства измерения, мониторинга и управления. CDU связывает технологический контур охлаждения с контуром инфраструктуры здания или другой частью системы.

Для управления контуром используются несколько параметров одновременно. Температура характеризует состояние теплоносителя и тепловой нагрузки, расход — движение жидкости по системе, давление — состояние гидравлического контура.

5.3. Конденсация и выбор охлаждающей жидкости

Жидкостное охлаждение добавляет к тепловой задаче ещё одно ограничение — риск образования конденсата.

Если поверхность системы охлаждения или электронного оборудования оказывается холоднее точки росы окружающего воздуха, на ней может конденсироваться вода. Для электронной аппаратуры это создаёт риск токов утечки, коррозии и других повреждений.

Поэтому теплоноситель нельзя выбирать по принципу «чем холоднее, тем лучше». Его температура должна соответствовать условиям окружающей среды, прежде всего температуре и влажности. Для систем с водой дополнительно учитываются качество жидкости, совместимость материалов и защита от утечек.

В жидкостных системах применяются вода с присадками, гликолевые растворы, хладагенты, диэлектрические и другие специально разработанные жидкости. Выбор зависит от архитектуры системы, температурного диапазона, требований к теплообмену и совместимости материалов.

При immersion cooling электронные компоненты полностью или частично погружаются в диэлектрическую жидкость, которая непосредственно окружает электронную сборку. В direct-to-chip с cold plate жидкость с самой электронной схемой не контактирует: тепло передаётся через теплопроводящий интерфейс и стенку теплообменного элемента.

Эти варианты предъявляют разные требования к конструкции. Если жидкость непосредственно контактирует с электронными и механическими элементами, необходимо учитывать совместимость с ней изоляции, покрытий, уплотнений, соединителей и других материалов.

5.4. Жидкостное охлаждение и конструкция электронного блока

Cold plate снимает тепловую нагрузку с конкретного мощного компонента, но не устраняет нагрев остальных элементов платы. Поэтому при проектировании учитываются размещение компонентов, медные области, тепловые переходы, контактные площадки и пути распространения тепла по PCB. Подробно физика теплопередачи и температурные режимы рассматриваются в разделе 10.

Жидкостный контур добавляет и новые сценарии отказа: нарушение работы насоса или клапана, отказ датчика, утечку или нарушение герметичности. В требованиях Open Compute Project к системам жидкостного охлаждения рассматриваются обнаружение и локализация утечек, аварийные действия и требования к охлаждающей жидкости.

Это отражается и на электронике. Платы управления охлаждением работают рядом с гидравлическими узлами, а их конструкция и контроль должны учитывать не только электрические параметры, но и условия окружающей среды, механические нагрузки и возможный контакт с рабочей жидкостью.

Охлаждение поэтому уже нельзя рассматривать как полностью внешнюю по отношению к электронике систему. Датчики, контроллеры и исполнительные устройства образуют с вычислительным оборудованием единый контур управления, а выбранная архитектура охлаждения непосредственно влияет на конструкцию электронного блока.

6. Печатная плата как основа электроники ЦОД

Печатная плата (Printed Board, PCB) соединяет электронные компоненты в физическую электрическую схему и одновременно служит конструктивной основой электронного изделия. В простой аппаратуре достаточно представить её как основание с медными проводниками, однако в серверной и вычислительной технике плата должна одновременно передавать высокоскоростные сигналы, распределять питание, обеспечивать механическое размещение компонентов и участвовать в отводе тепла.

Поэтому физические параметры PCB непосредственно влияют на работу электронной системы. Ширина и толщина проводника определяют его электрическое сопротивление, расстояние между проводящими слоями влияет на параметры высокоскоростной линии, свойства диэлектрика — на распространение и затухание сигнала, а конструкция переходных отверстий задаёт способ межслойного соединения. Распределение меди при этом отражается сразу на нескольких характеристиках платы.

В российской нормативной базе общие технические условия для печатных плат устанавливает ГОСТ Р 72069-2025. Стандарт распространяется на односторонние, двусторонние и многослойные платы на жёстком, гибком и гибко-жёстком основаниях, а также на гибкие печатные кабели; в нём установлены технические требования, правила приёмки и методы контроля.

6.1. Конструкция и многослойность печатной платы

Печатная плата состоит из проводящего рисунка и изоляционных материалов, образующих единую конструкцию. В многослойном изделии проводящие и диэлектрические слои чередуются и соединяются переходными отверстиями.

Проводящие слои могут использоваться для сигнальных цепей, распределения питания и формирования сплошных проводящих областей. Диэлектрик одновременно обеспечивает электрическую изоляцию и задаёт геометрию межсоединений.

В зависимости от конструкции применяются разные типы переходных отверстий. Сквозное отверстие (via) проходит через всю толщину платы, глухое (blind via) соединяет внешний слой с внутренними, а скрытое (buried via) располагается внутри платы и связывает внутренние слои. В HDI-конструкциях используются микропереходы (microvia), рассчитанные на более плотную систему межсоединений.

IPC-6012F рассматривает требования к различным типам жёстких печатных плат, включая материалы, металлизацию, отверстия, микропереходы и защитные покрытия.

Элемент

Назначение

Сигнальный слой

Передача электрических сигналов

Слой питания

Распределение напряжения между узлами

Плоскость земли

Опорная система для питания и сигналов

Диэлектрик

Электрическая изоляция и формирование геометрии межсоединений

Переходное отверстие

Соединение проводников различных слоёв

Микропереход

Межслойное соединение в плотной HDI-конструкции

Паяльная маска

Защита поверхности и предотвращение нежелательных соединений при пайке

Поверхностное покрытие

Защита контактных поверхностей и обеспечение требуемых свойств монтажа


Конкретный состав слоёв и их назначение зависят от самой платы. Универсальной структуры многослойной PCB для серверного оборудования не существует.

Главная причина многослойности — большое количество соединений. На серверной плате необходимо связать процессоры, память, контроллеры, сетевые устройства, накопители, платы расширения и цепи управления, причём разместить всё это в ограниченном механическом объёме.

Внутренние слои позволяют распределять проводники по толщине платы и тем самым использовать площадь эффективнее. Они также дают возможность сформировать силовые структуры и опорные плоскости для высокоскоростных цепей.

Поэтому многослойная конструкция решает сразу несколько задач. Её стек определяет, где проходят сигнальные и силовые цепи, как организованы возвратные пути, на каком расстоянии находятся проводники от опорных плоскостей и какие условия создаются для высокоскоростных каналов.

6.2. Структура слоёв и высокоскоростная линия

Сигнал в цифровой схеме обычно представляют как изменение напряжения на проводнике, но физическое распространение этого изменения определяется всей электромагнитной структурой соединения. У тока есть обратный путь, а на высоких частотах его положение зависит от распределения поля и геометрии окружающих проводников.

Поэтому сигнальный проводник и расположенная рядом опорная плоскость образуют связанную структуру. Если плоскость прерывается, обратный путь меняется, увеличивается площадь контура и могут измениться параметры соединения.

Эта же геометрия входит в стек слоёв (stack-up), то есть в последовательность проводящих и диэлектрических слоёв, их толщину и используемые материалы. Для высокоскоростной цепи изменение расстояния между проводником и опорной плоскостью меняет распределение электромагнитного поля и, соответственно, характеристический импеданс.

В простейшем случае различают микрополосковую линию (microstrip), расположенную на внешнем слое над опорной плоскостью, и полосковую линию (stripline), расположенную между опорными слоями. При одинаковой ширине проводника их электрические параметры могут различаться из-за разной геометрии поля.

Для низкоскоростной цепи печатный проводник во многих случаях можно рассматривать как соединение с определённым сопротивлением. При увеличении быстродействия такого приближения уже недостаточно.

Значение имеет не только частота повторения логических операций, но и время нарастания фронта сигнала. Когда время распространения сигнала по соединению становится заметной долей времени изменения его состояния, разные точки проводника уже нельзя считать находящимися под одинаковым мгновенным напряжением. Проводник начинает вести себя как линия передачи.

У такой линии присутствуют распределённые индуктивные и ёмкостные свойства, определяемые геометрией проводника, окружающим диэлектриком и опорными проводящими слоями. В результате становятся значимыми характеристический импеданс, отражения, затухание и перекрёстные помехи.

Именно поэтому высокоскоростную PCB приходится рассматривать как часть электрического тракта, а не просто как носитель соединений. Конкретные последствия этой физики для PCIe и других интерфейсов будут рассмотрены в разделе 9.

6.3. Выбор материала печатной платы

Материал платы выполняет одновременно механическую и электрическую функции. В традиционной электронике широко используются стеклотекстолитовые материалы на основе эпоксидной смолы, однако при росте скорости передачи данных становятся заметнее диэлектрические потери, стабильность диэлектрических характеристик и температурное поведение материала.

Для части высокоскоростных конструкций применяются материалы с пониженными потерями. Промышленным примером является семейство MEGTRON 6 компании Panasonic, которое производитель указывает для многослойных плат с низкими потерями, включая серверное и сетевое оборудование. Другой известный материал — Rogers RO4003C; для него производитель указывает Dk 3,38 ± 0,05 и коэффициент потерь 0,0027 при 10 ГГц при оговорённых условиях измерения.

Эти примеры не задают универсальный выбор для серверной электроники. Они показывают другой принцип: материал выбирается как часть конкретной электрической, тепловой и технологической конструкции.

Сравнивать материалы только по одному значению Dk или коэффициента потерь также недостаточно. Результат зависит от частоты и метода измерения, а сам материал характеризуется не только диэлектрическими параметрами, но и механическими и температурными свойствами. Имеет значение и то, как конкретный ламинат и препрег ведут себя в выбранной технологии изготовления.

6.4. Медь на плате отвечает не только за передачу сигнала

Медь образует проводники, контактные площадки, силовые области и внутренние плоскости платы. В силовой электронике она одновременно служит одним из путей распространения тепла.

Для однородного проводника:

R = ρ × L / A

где ρ — удельное сопротивление материала, L — длина проводника, A — площадь его поперечного сечения.

При прохождении тока выделяется мощность:

Pпотерь = I² × R

Поэтому увеличение площади проводящего сечения уменьшает сопротивление и связанные с ним потери. На практике силовая цепь редко представляет собой одну дорожку: используются широкие проводники, медные полигоны, внутренние слои и группы переходных отверстий.

Увеличение количества меди, однако, не является универсальным решением. Большая толщина проводящего слоя меняет технологию формирования рисунка и влияет на травление, прессование, механическую обработку и другие операции.

IPC-6012F рассматривает металлическую фольгу, медные покрытия и проводящие плоскости как составные элементы конструкции жёсткой печатной платы. Для большой токовой нагрузки применяются варианты с увеличенной толщиной меди, но конкретный выбор определяется током, температурой, геометрией проводников и возможностями производства.

6.5. Переходные отверстия — электрические соединения и элементы конструкции

Переходные отверстия связывают проводники разных слоёв и тем самым превращают отдельные участки многослойной платы в единую электрическую цепь.

Сквозное отверстие проходит через всю толщину платы, глухое соединяет внешний слой с внутренним, скрытое располагается внутри структуры, а микропереходы применяются в конструкциях с высокой плотностью межсоединений.

Тип переходного соединения определяется не только необходимой маршрутизацией. Сквозное отверстие занимает пространство на всех пересекаемых слоях, а его неиспользуемая часть в высокоскоростном канале может образовывать паразитный участок — stub.

При определённых скоростях такой участок становится источником отражений и дополнительных потерь. Поэтому в сложных платах применяются решения, уменьшающие длину неиспользуемой части отверстия, в том числе обратное сверление (back-drilling).

6.6. HDI и плотность соединений

По мере увеличения количества компонентов и соединений становится трудно разместить все трассы, сохраняя необходимую геометрию. HDI позволяет повысить плотность межсоединений за счёт более мелких конструктивных элементов и микропереходов.

Для серверной электроники такие конструкции нужны тогда, когда обычной многослойной платы недостаточно, чтобы разместить необходимое количество соединений на заданной площади. Это может относиться к участкам вокруг крупных корпусов с большим числом выводов, к ускорителям, системам хранения и другой высокоплотной аппаратуре.

Повышение плотности одновременно увеличивает требования к точности изготовления и контролю межслойных соединений. Отдельные проблемы надёжности microvia рассматривались IPC в связи с дефектами, которые могут проявиться не сразу после изготовления, а на последующих операциях, испытаниях или уже в эксплуатации.

Подробно устройство HDI, микропереходов и вариантов их применения будет разобрано в следующем разделе.

6.7. Тепло и печатная плата

Печатная плата участвует и в отводе тепла от электронных компонентов. Тепловой путь может проходить от кристалла через корпус компонента и паяное соединение к медной площадке, а затем распространяться по медным слоям и межслойным соединениям.

Для мощных компонентов используются тепловые переходы (thermal via) и крупные медные области. Они позволяют передавать тепло от локального источника к внутренним проводящим слоям и далее к элементам охлаждения.

Однако большое количество меди само по себе не гарантирует требуемого результата. Значение имеют тепловое сопротивление материалов, расположение переходов, конструкция контактной области, соединение с теплоотводом и условия охлаждения.

Поэтому зона вокруг мощного компонента одновременно является частью силовой цепи, теплового пути, механической конструкции и технологии изготовления. Более подробно температурные режимы и физика теплопередачи рассматриваются в разделе 10.

 


В сложной электронике параметры платы нельзя настраивать независимо друг от друга. Изменение одной части конструкции нередко меняет условия для нескольких других.

Требование оборудования

Конструктивное решение

Возможное производственное следствие

Большое количество соединений

Многослойная плата

Усложнение структуры слоёв и требований к совмещению

Высокая плотность

HDI, микропереходы

Более сложное изготовление и контроль

Высокая скорость

Контролируемый импеданс, заданный стек

Требования к материалу и геометрии

Большая токовая нагрузка

Силовые области, увеличенная медь

Требования к проводникам, нагреву и монтажу

Высокое тепловыделение

Тепловые переходы, медные области

Требования к конструкции и охлаждению

Большое количество разъёмов

Плотная компоновка

Ограничения трассировки и монтажа

Скрытые паяные соединения

BGA и другие корпуса высокой плотности

Необходимость соответствующего контроля


Эта таблица показывает характерную для сложных PCB ситуацию: электрические, тепловые, механические и производственные решения приходится согласовывать в одной конструкции.

6.8. От конструкции PCB к производству

После завершения проектирования печатная плата превращается в конкретную производственную задачу. Согласованный стек слоёв, выбранные материалы, геометрия проводников, типы переходных отверстий, толщина меди и требования к высокоскоростным цепям определяют не только конструкцию самой платы, но и условия её изготовления и контроля.

ГОСТ Р 72069-2025 устанавливает технические требования, правила приёмки и методы контроля печатных плат. IPC-6012F связывает характеристики готовой жёсткой платы с материалами, конструкцией, металлизацией, поверхностным покрытием, отверстиями и другими элементами.

При этом комплект производственных данных описывает не просто рисунок проводников. За отдельными размерами и допусками стоят вполне конкретные электрические, механические и тепловые требования изделия.

Сервер задаёт вычислительную нагрузку, система хранения — состав интерфейсов и соединений, силовая часть — требования к распределению тока, охлаждение — тепловые условия. Всё это должно одновременно поместиться в физическую конструкцию PCB.

Следующий уровень связан уже не столько с самой платой, сколько с тем, как на ней размещаются и соединяются компоненты. Здесь появляются корпуса высокой плотности, BGA, технологии монтажа и методы контроля электронной сборки.

7. HDI и высокая плотность межсоединений

В сложной электронной аппаратуре количество соединений между компонентами может стать ограничением раньше, чем функциональные возможности самих микросхем. Процессоры, память, контроллеры и разъёмы занимают сравнительно небольшую площадь, а между ними необходимо провести множество электрических цепей. При такой компоновке одной обычной многослойной структуры может оказаться недостаточно.

Для подобных случаев применяется технология высокой плотности межсоединений (HDI, high-density interconnect). Она позволяет увеличить число соединений на единицу площади за счёт более плотной трассировки, тонких диэлектрических слоёв, микропереходов (microvia) и различных способов соединения внутренних и наружных слоёв.

HDI используется в части серверных и сетевых плат, ускорителях вычислений, системах хранения и другой аппаратуре с высокой плотностью соединений. IPC-6012F включает многослойные платы с глухими, скрытыми и микропереходами в область требований к жёстким печатным платам.

7.1. Microvia и HDI под BGA

Сквозное переходное отверстие проходит через всю толщину платы и занимает пространство на всех пересекаемых слоях. Для сравнительно простой конструкции это не создаёт серьёзных ограничений, но под крупным BGA-корпусом, где требуется вывести большое количество соединений из плотной матрицы контактов, ситуация меняется.

Микропереход соединяет ограниченное число соседних слоёв и имеет значительно меньшие размеры. Он формируется в тонком диэлектрическом слое, обычно лазерным способом, после чего проводящее соединение создаётся металлизацией. В одном из технических документов IPC, опирающихся на терминологию IPC-T-50, для microvia приводится диаметр менее 0,15 мм.

Такой переход можно разместить непосредственно в плотной области корпуса и вывести соединение на ближайший слой, освободив место для остальных цепей.

В BGA-корпусе контакты образуют матрицу. При уменьшении шага между ними пространство для вывода соединений на наружные слои быстро сокращается.

Микропереход позволяет вывести соединение из области контактной площадки непосредственно на соседний слой, а дальше продолжить трассировку внутри платы. Ещё один вариант — via-in-pad, то есть размещение переходного отверстия непосредственно в контактной площадке компонента.

Открытое отверстие в такой конструкции создаёт технологическую проблему: во время пайки припой может уходить внутрь перехода. Поэтому для ряда изделий отверстия заполняют и формируют плоскую поверхность, пригодную для монтажа. IPC рассматривает различные варианты заполнения и перекрытия переходных отверстий для таких конструкций.

Таким образом, решение, принятое для повышения плотности межсоединений, одновременно затрагивает изготовление PCB и формирование паяного соединения.

7.2. Последовательное наращивание слоёв

HDI-плата может строиться на основе уже сформированной многослойной структуры, к которой последовательно добавляются тонкие диэлектрические и проводящие слои с микропереходами. Такой процесс называют последовательным наращиванием (sequential build-up).

Применяются разные варианты структуры. Например, обозначение 1+N+1 означает один дополнительный HDI-слой с каждой стороны центральной N-слойной части платы, а 2+N+2 — два дополнительных слоя с каждой стороны.

Исторически соответствующие конструкции рассматривались в IPC-2226, однако этот документ имеет статус No Longer Maintained и не должен представляться как действующий самостоятельный стандарт.

Каждый новый цикл формирования платы добавляет технологические операции и повышает требования к совмещению элементов, геометрии проводников, толщине диэлектрика и качеству металлизации. Поэтому HDI-структура должна соответствовать возможностям конкретного производства ещё на этапе выбора конструкции.

7.3. Stacked и staggered microvia

Микропереходы могут располагаться по ступенчатой или вертикальной схеме. При staggered microvia соседние переходы смещены относительно друг друга, тогда как stacked microvia располагаются один над другим, образуя последовательную вертикальную структуру.

Staggered-вариант требует больше площади по горизонтали, зато отдельные переходы не объединяются в одну вертикальную колонну. Stacked позволяет экономить место, но предъявляет более высокие требования к конструкции и качеству изготовления.

Надёжность таких соединений изучалась в отраслевых работах IPC. В опубликованном IPC исследовании Hardeep Heer и Ryan Wong сравнивались одно-, двух-, трёх- и четырёхуровневые stacked microvia на 18-слойных платах с микропереходами диаметром 0,15 мм. Авторы отдельно отмечали, что для трёх- и четырёхуровневых структур экспериментальных данных было недостаточно для статистически значимых выводов.

7.4. Скрытая проблема плотности

Уменьшение размеров соединений снижает технологический запас. Смещение, которое мало заметно для крупного переходного отверстия, в микропереходной структуре может занять значительную часть доступного пространства.

Особенно важна регистрация — точное совмещение элементов, сформированных на разных технологических этапах. При последовательном наращивании положение каждого нового элемента зависит от предыдущих операций, а в stacked-конструкциях несколько соединений сходятся в одной вертикальной области.

К этому добавляется механическое воздействие температурных циклов. Материалы платы и медная металлизация имеют разные коэффициенты теплового расширения, поэтому при нагреве и охлаждении в микроэлектронных соединениях возникают механические напряжения.

Проблема может проявляться не сразу. В 2018 году IPC опубликовала документ The Hidden Reliability Threat – Weak Microvia Interface и организовала дальнейшее исследование отказов, при которых дефект интерфейса microvia становился заметен во время пайки оплавлением или после термического воздействия, хотя при комнатной температуре соединение могло выглядеть работоспособным.

В ряде исследованных случаев слабой оказывалась область между микропереходом и целевой площадкой. Последующее тепловое воздействие увеличивало механическую нагрузку на это соединение и могло привести к его разрушению.

Поэтому для HDI внешний вид готовой платы не даёт полной картины. В сложных конструкциях приходится учитывать качество внутренних межслойных соединений и механизмы отказа, которые проявляются только после определённых воздействий. IPC-6012F включает требования и методы оценки, относящиеся к сложным структурам microvia и microsection evaluation.

7.5. HDI: производство и выбор конструкции

Для производителя HDI означает изменение самого технологического маршрута. Последовательное наращивание добавляет технологические циклы, малый размер переходов требует соответствующего способа формирования, а via-in-pad может потребовать заполнения отверстий и получения плоской поверхности под компонентом.

Отдельное значение имеет металлизация. Для работы микроперехода необходимо обеспечить требуемое качество и равномерность медного покрытия, а в сложных структурах — ещё и надёжное соединение между последовательными уровнями. В материалах IPC по технологии microvia рассматриваются, в частности, электролитическое осаждение меди, заполнение переходов, образование пустот и качество интерфейса с целевой площадкой.

Такая внутренняя структура влияет и на контроль. Часть дефектов невозможно уверенно оценить только по внешнему виду, поэтому для сложных HDI-конструкций применяются методы анализа внутренних соединений и поперечного сечения, а технологический процесс контролируется не только по конечному результату.

HDI не является обязательным свойством любой современной печатной платы. Если требуемую схему можно реализовать обычной многослойной конструкцией с допустимыми размерами и технологическими запасами, дополнительное усложнение структуры не даёт очевидного преимущества.

HDI становится необходимой там, где плотность соединений, корпуса компонентов или ограничения по площади уже не позволяют получить нужную конструкцию традиционными средствами. Для серверной электроники это может быть связано с крупными BGA-корпусами, высокой концентрацией выводов, большим количеством интерфейсов и ограниченным пространством вокруг процессоров и ускорителей.

Поэтому выбор HDI — это не отдельное решение ради уменьшения переходных отверстий. Он определяется тем, какую электрическую и механическую архитектуру необходимо реализовать на заданной площади и какими средствами конкретное производство способно её воспроизвести.

Следующий уровень — сами компоненты и их корпуса. От их геометрии и способа соединения с PCB зависят посадочные места, трассировка, технология монтажа и возможности контроля.

8. Компоненты и монтаж

Печатная плата создаёт физическую структуру соединений, но вычислительная, управляющая, запоминающая и силовая функции возникают после установки компонентов и формирования электрических контактов между ними.

В оборудовании ЦОД компонент тесно связан с конструкцией PCB. Его корпус определяет расположение и геометрию контактов, количество выводов влияет на трассировку, тепловые характеристики связаны с конструкцией платы и охлаждением, а способ соединения с PCB задаёт технологию монтажа и доступные методы контроля.

Поэтому компонент при разработке серверной или storage-платы рассматривается не только по электрическим характеристикам: его физическая конструкция становится частью общей электронной системы.

 


На одной серверной PCB одновременно работают компоненты с принципиально разными требованиями к размещению, монтажу, теплоотводу и контролю. Процессор или сетевой ASIC занимает крупную область платы и задаёт требования к питанию, высокоскоростным соединениям и охлаждению; рядом с ним размещаются микросхемы памяти, силовые компоненты, контроллеры, пассивные элементы и разъёмы.

Для производства это означает необходимость согласовать на одной PCBA участки с различной тепловой массой, геометрией выводов, требованиями к посадочным местам и доступностью для контроля. Крупный BGA, небольшой пассивный компонент и механически нагруженный разъём могут проходить через разные технологические операции, хотя устанавливаются в составе одной сборки.

Поэтому компонентная база серверной платы рассматривается не как перечень электронных деталей, а как совокупность физических и технологических ограничений, которые должны быть учтены ещё до запуска монтажа.

8.1. Корпус компонента становится частью конструкции платы

Электрическая схема описывает компонент через его выводы и связи, а на производстве приходится иметь дело уже с физическим корпусом (package), для которого требуется сформировать конкретное посадочное место.

Для поверхностного монтажа геометрия контактных площадок PCB, расстояния между ними, зазоры и конфигурация паяльной маски влияют на формирование паяного соединения. IPC-7351 исторически устанавливал общие требования к геометрии посадочных мест компонентов поверхностного монтажа, однако сейчас имеет статус No Longer Maintained; более новым руководством IPC является IPC-7352.

При разработке конкретной платы используются и рекомендации производителя компонента: размеры корпуса, контактных площадок, отверстий, зазоров и другие параметры. Поэтому посадочное место определяется не простой проекцией корпуса на поверхность платы, а условиями будущего монтажа и контроля.

8.2. Процессор и память как элементы производственной конструкции

Для серверных процессоров принципиально различаются корпуса, устанавливаемые в сокет, и корпуса для непосредственной пайки.

В документации Intel для семейства Xeon 6 перечислены варианты FCLGA4710, LGA7529-1 и FCBGA5026. LGA-корпус устанавливается в совместимый сокет, тогда как BGA-вариант соединяется с платой непосредственно массивом паяных контактов.

Для PCB это два разных конструктивных решения. В LGA используется сложный механический разъём с большим количеством контактов и отдельным массивом площадок на плате. В BGA сокет отсутствует, зато сами соединения скрыты под корпусом и становятся частью технологии монтажа и контроля.

IPC-7095E рассматривает конструкции с BGA и FBGA, включая вопросы проектирования, сборки, инспекции, ремонта и надёжности.

Для производства различие возникает уже на уровне оборудования и технологического маршрута: меняются требования к посадочным местам, установке, нагреву, контролю и возможностям ремонта.

В сервере оперативная память обычно представлена модулем DIMM. На нём размещаются микросхемы DRAM, а сам модуль подключается к материнской плате через разъём.

Широко применяются RDIMM (registered dual in-line memory module). Между контроллером памяти и DRAM в таком модуле находится регистр, буферизующий определённые управляющие и адресные сигналы. Это снижает электрическую нагрузку на контроллер памяти и позволяет использовать конфигурации с большим объёмом памяти.

Современный DDR5 RDIMM сам является сложным электронным изделием. На таких модулях устанавливаются дополнительные микросхемы управления питанием; Micron, например, указывает применение PMIC непосредственно на серверных DDR5-модулях.

В результате электрическая граница проходит через несколько уровней: процессор, разъём памяти, PCB, модуль DIMM и расположенные на нём компоненты. Каждый переход добавляет свои контактные и электрические параметры.

8.3. Пассивные и силовые компоненты

Сложность серверной платы определяется не только крупными микросхемами. Большую часть пространства могут занимать конденсаторы, резисторы и силовые компоненты.

Конденсаторы используются в цепях питания, фильтрации и развязки. Резисторы задают режимы работы, формируют цепи управления и согласования. Силовые транзисторы работают вместе с драйверами, дросселями, конденсаторами и контроллерами преобразователей.

При этом физическое положение компонента способно влиять на работу схемы. В импульсном преобразователе, например, длина и форма силового контура связаны с паразитной индуктивностью. Поэтому два компонента с одинаковым электрическим номиналом могут требовать разного размещения в зависимости от конкретной схемы.

Отдельный класс образуют корпуса без выступающих выводов, например QFN (quad flat no-lead). На нижней стороне такого корпуса находятся контактные площадки, а у ряда компонентов — крупная открытая тепловая площадка (exposed pad).

Такая площадка может одновременно выполнять электрическую и тепловую функцию. В материалах Texas Instruments приведены примеры QFN, где exposed pad подключён к земле и одновременно используется для отвода тепла.

Для монтажа недостаточно обеспечить пайку периферийных площадок. Необходимо получить заданное соединение центральной площадки и контролировать распределение припоя под корпусом.

Для конкретного компонента TI DS250DF230 производитель отдельно указывает параметры трафарета и расположение переходных отверстий, влияющие на формирование соединения с exposed pad.

8.4. BGA и скрытые паяные соединения

BGA особенно характерен для серверной и высокопроизводительной электроники благодаря высокой плотности контактов. Они располагаются не по периметру корпуса, а в виде матрицы под ним, что позволяет получить большое количество соединений на ограниченной площади.

Обратная сторона такой компоновки — контакты скрыты от прямого визуального наблюдения. Поэтому результат зависит от согласованной работы нескольких операций: геометрии контактных площадок, конструкции трафарета, объёма припоя, точности установки и профиля нагрева. Для оценки скрытых соединений могут потребоваться специальные методы контроля.

IPC-7095E рассматривает BGA как совместную задачу проектирования и производства, включая паяные соединения, инспекцию, ремонт и надёжность.

8.5. Разъём тоже является частью электронного тракта

Разъёмы одновременно выполняют механическую и электрическую функцию. В сервере они соединяют материнскую плату с модулями памяти, платами расширения, накопителями, ускорителями, источниками питания и кабелями.

Для силового соединения имеют значение допустимый ток, сопротивление контакта и выделение тепла. В высокоскоростном соединении к ним добавляются электрические параметры контактов и всей переходной конструкции.

Показательный пример даёт OCP Accelerator Module. В его спецификации используются два 688-контактных разъёма Molex Mirror Mezz Pro с BGA-креплением к плате. Через них одновременно проходят питание и высокоскоростные сигналы; для соответствующей версии разъёма нормируются также параметры дифференциальных пар.

Сам разъём в таком случае становится полноценным BGA-компонентом. Для его монтажа требуются посадочное место, точное совмещение, заданный процесс пайки и соответствующий контроль.

8.6. От посадочного места к паяному соединению

Между корпусом компонента и платой существует промежуточный уровень — посадочное место.

Его геометрия задаёт положение компонента и условия формирования паяного соединения. При разработке учитываются размеры корпуса, нанесение паяльной пасты, тепловой режим, допуски изготовления платы, точность установки и возможности контроля.

Для BGA, QFN и других корпусов высокой плотности это особенно заметно: небольшое изменение геометрии может изменить объём припоя или форму соединения, а особенности конструкции определяют доступность последующей инспекции.

Поэтому посадочное место фактически является частью технологической модели будущей сборки.

До установки компонентов необходимо подготовить поверхность платы, паяльную пасту, трафарет и оборудование.

Паяльная паста представляет собой смесь металлического порошка и флюса. IPC-J-STD-005B устанавливает требования к её характеристикам и методам испытаний и связан с требованиями к флюсам и припойным сплавам.

При нанесении через трафарет на каждой контактной площадке формируется заданный объём пасты. Для плотного монтажа задача усложняется тем, что один и тот же процесс должен работать с площадками очень разного размера.

Результат пайки определяется совокупностью факторов, а не одной температурой печи или составом припоя. На него влияют размеры и форма компонентов, геометрия контактных площадок, объём паяльной пасты, масса меди на участке платы, тепловая масса компонента, соседние элементы и профиль нагрева.

Большой разъём и небольшой керамический конденсатор, установленные на одной плате, во время нагрева ведут себя по-разному. Поэтому профиль оплавления приходится подбирать с учётом всего набора компонентов и конкретной конструкции платы.

IPC-7530B предназначен для температурного профилирования массовой пайки, включая процессы оплавления и пайки волной.

На серверной плате эта задача дополнительно осложняется сочетанием BGA, массивных разъёмов, большого количества пассивных компонентов и мощных элементов питания.

IPC-7525 посвящён конструкции трафаретов, а IPC-7527 — процессу нанесения паяльной пасты.

После нанесения пасты компоненты устанавливаются на заданные позиции, затем плата проходит нагрев. Во время оплавления припой расплавляется и формирует электрические и механические соединения между компонентами и PCB.

IPC J-STD-001J устанавливает требования к материалам, методам и процессам пайки электронных сборок и связывает качество паяных соединений с управлением процессом.

8.7. Что происходит с платой после монтажа

После установки компонентов PCB превращается в печатный узел, и теперь необходимо проверять уже не только исходную плату, но и множество сформированных соединений.

Часть дефектов можно обнаружить оптическим контролем, для других применяются рентгеновские методы. Электрические соединения проверяются отдельными средствами, а работоспособность всей сборки — функциональными испытаниями.

IPC-A-610J содержит критерии приёмки электронных сборок, тогда как IPC J-STD-001J устанавливает требования к материалам и процессам пайки. Эти документы решают разные, но взаимосвязанные задачи: один задаёт критерии приемлемости готовой сборки, другой — требования к самому процессу и паяным соединениям.

В результате производственная цепочка выглядит так:

компонент → корпус → посадочное место → нанесение припоя → установка → оплавление → паяное соединение → контроль.

На этом уровне особенно хорошо видно, почему компонент нельзя рассматривать как независимую деталь. Геометрия корпуса определяет посадочное место, количество контактов влияет на трассировку, тепловые характеристики связаны с конструкцией платы, а способ соединения определяет технологию монтажа и методы контроля.

9. Высокоскоростные интерфейсы и целостность сигнала

Серверы и системы хранения передают данные между процессорами, памятью, накопителями, сетевыми адаптерами, ускорителями и другими устройствами. По мере роста производительности электрические свойства соединений начинают всё заметнее влиять на результат.

Для электроники ЦОД особенно важны PCI Express, NVMe, Ethernet и другие высокоскоростные интерфейсы. Передатчик формирует сигнал, который затем проходит через корпус компонента, контактное соединение, участок печатной платы, переходные отверстия, разъёмы и другие элементы, прежде чем попасть на вход приёмника.

Каждый из этих участков вносит собственные изменения. Поэтому целостность сигнала (signal integrity, SI) относится ко всему электрическому каналу — от передатчика до приёмника, а не к отдельной микросхеме или дорожке.

9.1. Почему высокая скорость меняет представление о проводнике

На низких скоростях соединительный проводник удобно представлять как элемент с некоторым сопротивлением. Но цифровой сигнал меняется за конечное время, а его фронт содержит широкий спектр частот.

Когда время распространения сигнала по соединению становится заметной долей времени его нарастания, разные точки проводника уже нельзя считать электрически связанными мгновенно. Сигнал распространяется по линии, и её распределённые свойства начинают влиять на форму импульса.

В этом случае печатный проводник рассматривается как линия передачи (transmission line). Для идеализированной однородной линии характеристический импеданс выражается через распределённые индуктивность и ёмкость:

Z₀ = √(L / C)

Реальная печатная линия сложнее этой модели, но зависимость показывает основной принцип: импеданс определяется геометрией проводника, расстоянием до опорных слоёв и свойствами диэлектрика.

Howard Johnson и Martin Graham подробно рассматривают переход от сосредоточенной модели к модели линии передачи, включая влияние времени нарастания, длины соединения, отражений, переходных отверстий и разъёмов. Eric Bogatin рассматривает эти же эффекты в контексте целостности сигнала и питания.

9.2. Отражения и контролируемый импеданс

Если характеристический импеданс линии и импеданс нагрузки не совпадают, часть энергии сигнала отражается обратно к источнику.

Для идеализированной линии коэффициент отражения на нагрузке определяется выражением:

Γ = (Zₙ − Z₀) / (Zₙ + Z₀)

где Zₙ — импеданс нагрузки, Z₀ — характеристический импеданс линии.

При Zₙ = Z₀ отражение отсутствует.

В реальной PCB изменение импеданса может возникнуть практически на любом участке канала: при изменении ширины проводника, переходе на другой слой, прохождении через переходное отверстие, контактную площадку компонента или разъём, а также при изменении окружающей геометрии.

Отражённая волна складывается с исходным сигналом. В зависимости от времени прихода и полярности это вызывает выбросы, провалы, звон и смещение момента, в который приёмник распознаёт логическое состояние. Поэтому проблема заключается не только в внешнем виде осциллограммы: важно, чтобы сигнал сохранял необходимые параметры в точке приёма.

В печатной плате нельзя задать одно универсальное значение импеданса для всех высокоскоростных линий. Конкретные параметры определяются интерфейсом и архитектурой устройства; для дифференциальной пары задаётся дифференциальный импеданс, для одиночного проводника — соответствующий характеристический импеданс.

Геометрия линии формируется сразу несколькими параметрами. Для проводника над опорной плоскостью имеют значение его ширина и толщина, расстояние до плоскости и свойства диэлектрика. Изменение любого из них меняет распределение электромагнитного поля и электрические характеристики канала.

Поэтому контролируемый импеданс относится не только к проектированию. Производственный процесс должен воспроизводить заданную геометрию с соответствующими допусками.

Для измерения таких параметров применяются, в частности, методы рефлектометрии во временной области (TDR, time-domain reflectometry). TDR позволяет видеть изменение импеданса вдоль электрического тракта и находить участки его нарушения.

В производственной документации требования к импедансу могут задаваться для конкретной линии или группы линий. Тогда проверяется не просто соответствие платы чертежу, а способность процесса стабильно обеспечивать заданный электрический параметр.

9.3. Дифференциальные пары и перекрёстные помехи

Многие высокоскоростные интерфейсы используют дифференциальную передачу. Сигнал передаётся по двум проводникам, а приёмник оценивает разность напряжений между ними.

Такое соединение уменьшает чувствительность к некоторым видам внешних помех, однако оба проводника должны рассматриваться как единая структура. Имеют значение их взаимное расстояние, длина, симметрия, положение относительно опорных плоскостей и переходы между слоями.

Если один проводник проходит через переходное отверстие иначе, чем второй, меняется симметрия пары и её электрические параметры. В реальной конструкции идеальной симметрии добиться невозможно, поэтому проектирование и производство должны удерживать соответствующие отклонения в заданных пределах.

На многослойной плате сигнальные линии нередко проходят рядом друг с другом. Электрическое и магнитное поля одного проводника взаимодействуют с соседними, и часть энергии переходит из одной цепи в другую. Так возникают перекрёстные помехи (crosstalk).

Их уровень зависит от расстояния между проводниками, длины параллельного участка, структуры слоёв, времени нарастания сигнала и других параметров. Поэтому простого правила «разнести дорожки как можно дальше» недостаточно: значение имеют также опорные плоскости, направление трассировки и длина участков взаимного сближения.

Источник помехи при этом может находиться в другой функциональной цепи. Изменение состояния соседнего проводника создаёт электромагнитное воздействие, которое проявляется на рассматриваемой линии как дополнительный сигнал.

Bogatin рассматривает ёмкостную и индуктивную связь между соседними цепями как два основных механизма перекрёстных помех. Для серверных плат проблема особенно заметна из-за большого количества параллельных высокоскоростных соединений, расположенных на ограниченной площади.

9.4. Переходные отверстия и разъёмы как часть высокоскоростного канала

Переход с одного слоя платы на другой кажется простой геометрической операцией, но для высокоскоростного канала он становится частью электрической конструкции.

Сквозное переходное отверстие проходит через всю толщину платы. Если сигнал использует только часть его длины, оставшийся участок образует паразитный отросток — шлейф (stub). С ростом быстродействия длина такого участка начинает иметь самостоятельное электрическое значение и может стать источником отражений.

Один из способов уменьшить его влияние — обратное сверление (back-drilling), при котором ненужная часть металлизированного отверстия удаляется после формирования многослойной структуры. В сложных платах применяются также глухие и скрытые отверстия, включая микропереходы.

Таким образом, одно и то же переходное отверстие выполняет сразу две разные функции в зависимости от уровня рассмотрения: на уровне конструкции PCB оно соединяет слои, а в высокоскоростном канале является частью линии передачи.

При проектировании высокоскоростной платы недостаточно рассчитать участок медной трассы между двумя микросхемами. Если сигнал выходит с платы через разъём, параметры соединителя становятся частью общего канала.

Внутри разъёма находятся металлические контакты, диэлектрические элементы, зазоры и переходы между различными геометриями. Каждый из этих элементов имеет собственные паразитные параметры.

Поэтому высокоскоростной разъём должен одновременно обеспечивать механическую фиксацию и заданные электрические характеристики. Это особенно заметно в серверном оборудовании при соединении материнских плат с ускорителями, сетевыми модулями, накопителями и другими платами.

Howard Johnson подробно рассматривает влияние паразитной ёмкости, индуктивности, дифференциальной передачи и конструкции высокоскоростных соединителей на параметры канала.

9.5. PCI Express как пример развития требований

PCI Express хорошо показывает, как рост скорости постепенно переносит ограничения с логического интерфейса на его физическую реализацию.

Версия

Скорость передачи на линию

Основной тип сигнализации

PCIe 3.0

8 GT/s

NRZ

PCIe 4.0

16 GT/s

NRZ

PCIe 5.0

32 GT/s

NRZ

PCIe 6.0

64 GT/s

PAM4

PCIe 7.0

128 GT/s

PAM4

PCIe 5.0, выпущенный в 2019 году, использует скорость 32 GT/s на линию. PCIe 6.0 увеличил её до 64 GT/s и перешёл на PAM4, добавив FEC и передачу данных в режиме FLIT. PCIe 7.0, официально выпущенный 11 июня 2025 года, увеличил скорость ещё вдвое — до 128 GT/s на линию.

GT/s нельзя механически переводить в гигабиты в секунду. Этот показатель обозначает число передач в секунду, а количество битов на символ зависит от способа сигнализации. NRZ передаёт один бит на символ, тогда как PAM4 использует четыре уровня и кодирует два бита на один символ.

Переход на PAM4 позволяет увеличить количество передаваемой информации за один символ, но одновременно уменьшает разницу между уровнями напряжения и повышает требования к качеству канала.

PCIe 7.0 ориентирован, в частности, на серверы, гипермасштабируемые ЦОД, высокопроизводительные вычисления и системы искусственного интеллекта. PCI-SIG также развивает оптические варианты PCIe для увеличения дальности соединений.

При этом наличие спецификации не означает автоматической работы конкретного сервера на соответствующей скорости. Реальная поддержка определяется процессорами, коммутаторами, устройствами и всей физической конструкцией канала.

9.6. NVMe и PCI Express

Развитие твердотельных накопителей особенно тесно связано с PCI Express. NVMe (Non-Volatile Memory Express) определяет модель взаимодействия с энергонезависимой памятью и может использовать PCI Express как транспорт.

По состоянию на август 2026 года актуальны NVM Express Base Specification Revision 2.4 и NVM Express NVMe over PCIe Transport Specification Revision 1.4; обе редакции входят в набор NVMe 2.4, выпущенный в августе 2026 года.

Для системы хранения это означает, что путь от хост-контроллера до SSD включает не только программный протокол. Физически данные проходят по PCIe-каналу, параметры которого зависят от передатчиков и приёмников, проводников платы, переходных отверстий, разъёмов и других элементов.

Поэтому ограничение производительности SSD-системы может находиться не в самом накопителе, а в другом участке соединения.

9.7. Потери и измерение высокоскоростного канала

Помимо отражений в канале возникают потери. Сигнал ослабляется при прохождении по проводнику, часть энергии поглощается диэлектриком, а на высоких частотах проявляется зависимость электрических параметров от частоты.

Дополнительные неоднородности возникают в переходных отверстиях, разъёмах и местах изменения геометрии. В результате сигнал на входе приёмника отличается от сформированного передатчиком.

Для многогигабитных последовательных каналов это уменьшает запас по ошибке и ограничивает допустимую длину и сложность соединения. Поэтому материал платы, геометрия проводников, структура слоёв, переходные соединения и разъёмы рассматриваются как элементы одного канала.

В предыдущем разделе уже были приведены Panasonic MEGTRON 6 и Rogers RO4003C как примеры материалов с опубликованными электрическими характеристиками. Для высокоскоростной линии их выбор определяется конкретными требованиями к потерям, конструкции и технологии изготовления.

Расчёт и моделирование не заменяют измерений. При разработке высокоскоростной системы используются моделирование, измерения во временной и частотной области, анализ параметров канала и проверка готового изделия.

Осциллограф позволяет исследовать форму сигнала во времени, анализатор цепей — измерять S-параметры и оценивать поведение высокочастотного тракта, а TDR — видеть изменения импеданса вдоль линии.

Есть и ещё одна тонкость: измерительная система сама становится частью электрической схемы. Щуп обладает собственной ёмкостью и индуктивностью, а длинный провод заземления способен добавить заметную паразитную индуктивность и изменить наблюдаемую форму импульса.

Поэтому результат измерения нужно оценивать вместе со способом его получения. Johnson и Graham отдельно рассматривают влияние измерительного оборудования на высокоскоростные цепи, включая паразитные эффекты щупов и особенности измерения последовательных каналов.

9.8. Что высокоскоростной интерфейс означает для производства

После проектирования требования к каналу превращаются в конкретные производственные параметры. Заданный импеданс требует воспроизводимой геометрии проводников и диэлектрических промежутков; высокоскоростные переходы между слоями — контроля конструкции и положения отверстий; при back-drilling необходимо удалить определённую часть металлизированного отверстия, не повредив рабочую структуру.

Если применяются материалы с малыми потерями, они становятся частью согласованной конструкции многослойной платы. При использовании высокоскоростных разъёмов и BGA контроль распространяется и на переход между компонентом и PCB.

Внешне безупречная плата при этом может иметь электрические параметры, не соответствующие заданному каналу. Поэтому визуальный контроль и проверка геометрии дополняются электрическими измерениями тех линий, для которых такие параметры нормируются.

Высокая скорость постепенно превращает геометрию в электрический параметр: ширина проводника входит в расчёт импеданса, толщина диэлектрика определяет структуру линии, переходное отверстие становится частью канала, а свойства материала влияют на его потери.

Именно на этом уровне особенно ясно видна связь между проектированием и производством. Разработчик задаёт требуемое поведение канала, а изготовитель должен воспроизвести физическую конструкцию с такой точностью, чтобы оно сохранилось в готовой плате.

Высокоскоростные линии при этом соседствуют на одной PCB с силовыми преобразователями, большими токами и источниками тепла. Поэтому дальше возникает уже другая группа связанных задач — целостность питания и электромагнитная совместимость.

10. Тепловые режимы электронной аппаратуры

Электронные компоненты не просто потребляют электрическую энергию — значительная её часть в итоге превращается в тепло. Для вычислительной техники это особенно заметно: практически вся мощность, подведённая к серверному процессору, памяти, накопителю или силовому преобразователю, в конечном счёте должна быть отведена в окружающую среду.

Поэтому тепловое проектирование электронной аппаратуры связано не столько с выбором самого радиатора или вентилятора, сколько с построением непрерывного пути отвода тепла от конкретного источника до системы охлаждения ЦОД. На каждом участке этого пути имеют значение материалы, геометрия, площадь контакта, качество соединений и условия эксплуатации.

10.1. Откуда берётся тепло

Основным источником тепловыделения в электронном оборудовании являются потери энергии. В цифровых микросхемах мощность расходуется на переключение ёмкостей, токи утечки и другие физические процессы; в силовых цепях значительная часть энергии рассеивается на сопротивлении проводников и полупроводников, а при переключении возникают дополнительные потери.

Упрощённо тепловую мощность можно представить как разность между потребляемой и переданной в полезную нагрузку мощностью:

Pпотерь = Pin − Pout

Для вычислительного оборудования практически вся потреблённая мощность в итоге превращается в тепло. Поэтому компонент с потреблением 100 Вт создаёт примерно такую же тепловую нагрузку, если энергия не передаётся в другую физическую систему.

Для платы в целом важна уже не только суммарная мощность, но и её пространственное распределение. Одинаковая мощность, распределённая по большой площади, и та же мощность, сосредоточенная на небольшом участке, создают разные условия охлаждения. Особенно это характерно для современных процессоров и ускорителей, где возникают локальные горячие области — hot spots.

10.2. От кристалла до окружающей среды: тепловой путь

Температура электронного компонента не равна температуре воздуха вокруг него. Между активной областью полупроводника и окружающей средой существует тепловой путь, состоящий из нескольких последовательно соединённых участков.

Для типового компонента тепло может передаваться от кристалла через корпус, тепловой интерфейс, паяное соединение и печатную плату либо через верхнюю поверхность корпуса непосредственно в теплоотвод.

Чем выше тепловое сопротивление отдельных участков, тем больше разность температур при одной и той же рассеиваемой мощности:

Rₜₕ = ΔT / P,

или

ΔT = P × Rₜₕ.

В реальной конструкции суммарное тепловое сопротивление можно представить как последовательность нескольких составляющих:

Rₜₕ,total = R₁ + R₂ + R₃ + ... .

Например, между кристаллом и окружающим воздухом последовательно могут находиться тепловое сопротивление корпуса, теплового интерфейса, радиатора и конвективного теплообмена. В другой конструкции значительная часть теплового потока будет проходить через PCB.

10.3. Корпус компонента и печатная плата как часть теплового пути

Корпус полупроводникового прибора одновременно определяет электрическое подключение, механическое крепление и один из основных путей отвода тепла. У одних корпусов тепловой поток преимущественно направлен к верхней поверхности, где устанавливается теплоотвод; у других значительная часть энергии передаётся через нижнюю контактную площадку непосредственно в печатную плату.

Особенно хорошо это видно на корпусах с открытой тепловой площадкой. QFN, PowerQFN и ряд других типов корпусов имеют снизу металлическую площадку, предназначенную для отвода тепла. В такой конструкции тепловой путь включает корпус, паяное соединение, медную структуру PCB и далее систему теплоотвода.

Передача тепла во внутренние слои и на противоположную сторону платы может осуществляться через массив тепловых переходов (thermal vias). Поэтому одна и та же контактная область компонента может одновременно обеспечивать электрическое соединение, механическую фиксацию и формировать значительную часть теплового пути.

10.4. Почему медь распространяет тепло, но PCB не превращается в радиатор

Медь обладает высокой теплопроводностью и хорошо распределяет тепло по проводящим областям платы. Для одномерной теплопередачи закон Фурье можно записать как:

Q = −kA × dT/dx,

где k — коэффициент теплопроводности материала, A — площадь поперечного сечения теплового потока, dT/dx — градиент температуры.

Но печатная плата представляет собой неоднородную конструкцию: помимо медных слоёв и металлизированных отверстий, в ней присутствуют диэлектрические материалы с существенно меньшей теплопроводностью. Поэтому тепловой поток распространяется по структуре неравномерно.

Особенно важен участок перехода от небольшой области источника тепла к значительно большей площади медного слоя. Здесь возникает растекание тепла (thermal spreading), и тепловое сопротивление определяется уже не только свойствами материала, но и геометрией распространения теплового потока.

Поэтому увеличение площади меди само по себе не гарантирует низкую температуру компонента: тепло ещё должно эффективно передаться от локального источника к достаточно большой области, связанной с системой охлаждения.

10.5. Thermal vias и тепловое сопротивление

Тепловые переходы уменьшают тепловое сопротивление между компонентом и внутренними либо противоположными медными слоями. Один thermal via представляет собой металлизированное отверстие, но на практике тепловой путь обычно формируют массивом переходов, работающих как несколько параллельных каналов передачи тепла.

Одновременно thermal vias являются частью электрической конструкции. Они могут быть соединены с землёй или определённым внутренним слоем, а их расположение должно учитывать трассировку, конструкцию контактных площадок и технологию изготовления платы.

При плотной компоновке приходится согласовывать тепловые, электрические и производственные требования. Слишком плотный массив переходов или нестандартная геометрия могут влиять одновременно на распределение тепла, металлизацию, конструкцию слоя и технологию монтажа.

В документации на компоненты встречаются параметры θJA, θJC и другие тепловые характеристики. Они необходимы для расчётов и сравнения вариантов, но не являются неизменными свойствами корпуса, которые можно перенести из одной конструкции в другую без учёта условий.

Результат зависит от того, какой тепловой путь рассматривается, какова конструкция платы, сколько меди используется под компонентом, какой воздушный поток проходит через изделие и каким образом организован контакт с теплоотводом.

Один и тот же корпус поэтому может демонстрировать различный температурный режим на разных платах. Увеличение площади медной области, добавление thermal vias или изменение способа соединения с теплоотводом меняют сопротивление теплового пути.

Параметр θJA относится не только к самому корпусу компонента. Его значение определяется также условиями испытаний и конструкцией, через которую тепло отводится от корпуса в окружающую среду. Поэтому цифру из справочника нельзя без проверки считать точным тепловым сопротивлением готовой платы.

10.6. Температурные градиенты, циклы и ресурс

Даже при равномерном охлаждении температура платы не будет одинаковой во всех точках. Рядом с мощным процессором или силовым преобразователем возникает горячая область, соединённая через материалы платы и элементы конструкции с более холодными зонами.

Такой температурный градиент имеет механические последствия. Разные материалы расширяются при нагреве с различными коэффициентами теплового расширения, причём для многослойной PCB характерно различие поведения в плоскости платы и по толщине.

При повторных нагревах и охлаждении связанных между собой материалов их деформация ограничивается механическими связями. Возникающие напряжения передаются на металлизированные отверстия, компоненты и паяные соединения.

Поэтому для электронного изделия имеет значение не только максимальная температура, но и число температурных циклов, их амплитуда и продолжительность воздействия. Крупные корпуса с большим числом контактов особенно чувствительны к различию в расширении корпуса и платы, поскольку часть возникающей деформации приходится на паяные соединения.

Аналогичный процесс происходит внутри самой PCB: циклическая температура создаёт механическую нагрузку на медную металлизацию, переходные отверстия и межслойные соединения.

Высокая температура сама по себе ещё не означает немедленный отказ. Компонент может работать в диапазоне, предусмотренном изготовителем, однако одинаковая максимальная температура не означает одинаковых условий эксплуатации.

Имеют значение продолжительность воздействия, распределение температуры, частота циклов, температурный градиент, механические ограничения и состояние конкретного компонента.

Для части кремниевых компонентов предельные температуры нормальной работы могут находиться примерно в диапазоне 85–105 °C, однако конкретное значение определяется документацией производителя и конкретным режимом изделия.

ASHRAE разделяет температурные ограничения IT-оборудования на функциональные, надёжностные и предельные, связанные с предотвращением повреждения. Поэтому способность сервера функционировать при определённой температуре ещё не означает подтверждения требуемого ресурса.

10.7. Воздушное и жидкостное охлаждение как разные тепловые пути

Архитектуры воздушного и жидкостного охлаждения уже рассматривались в разделе о системах охлаждения ЦОД. Здесь важен другой аспект: они отличаются прежде всего тем, на каком участке теплового пути происходит основной теплообмен.

При воздушном охлаждении тепло передаётся от компонентов и элементов конструкции воздуху, после чего воздушный поток уносит энергию. При использовании cold plate значительная часть тепла от мощного компонента передаётся непосредственно теплоносителю через теплопроводящую конструкцию.

ASHRAE рассматривает cold plate как элемент жидкостно-охлаждаемого оборудования, устанавливаемый непосредственно на процессор или другой источник высокой тепловой нагрузки. В direct-to-chip архитектуре основной тепловой поток от процессора может проходить через корпус, тепловой интерфейс и cold plate, практически не вовлекая внутренний воздух оборудования в отвод основной мощности.

Это не отменяет тепловой задачи остальных компонентов платы. Память, преобразователи питания, сетевые контроллеры, накопители и другие элементы продолжают выделять тепло и требуют собственного пути его отвода.

10.8. Тепловое проектирование и производство

Способ отвода тепла необходимо учитывать ещё при выборе компонента. Если корпус рассчитан преимущественно на верхний теплоотвод, конструкция платы будет отличаться от варианта, в котором основной тепловой поток проходит через нижнюю тепловую площадку.

На серверной плате это особенно заметно в области процессора. Рядом располагаются цепи питания, модули памяти, высокоскоростные соединения и другие компоненты, поэтому тепловое решение процессорной зоны влияет на компоновку всей прилегающей области.

То же относится к силовым преобразователям. Размещение MOSFET, дросселей и конденсаторов определяется не только электрической схемой: компоненты с заметным тепловыделением должны иметь эффективный путь для распределения и отвода энергии.

Поэтому тепловой расчёт платы начинается одновременно с выбором компонентов и формированием компоновки, а не после завершения электрического проектирования.

Тепловое решение, рассчитанное только на идеальную геометрию, может оказаться нестабильным в серийном производстве. Площадь медной области имеет производственные допуски, толщина медных слоёв изменяется в пределах установленных требований, а положение и качество переходных отверстий не остаются абсолютно неизменными. Для многослойных плат добавляются допуски толщины диэлектрика и совмещения слоёв.

Чем выше тепловая плотность, тем меньше запас между расчётным и предельным состоянием. Поэтому при разработке необходимо учитывать не только номинальную конструкцию, но и чувствительность теплового режима к реальным технологическим отклонениям.

Эта связь выходит за пределы самой платы. Тепловой поток проходит через корпус оборудования, воздух или жидкость, теплообменники и далее выводится за пределы машинного зала. ASHRAE связывает тепловую конструкцию IT-оборудования с возможностями инфраструктуры ЦОД, включая температуру подаваемого воздуха или жидкости и расход охлаждающей среды.

Получается единая тепловая цепь:

источник тепла → корпус компонента → печатная плата или теплоотвод → охлаждающая среда → система удаления тепла.

Нарушение одного из участков увеличивает нагрузку на остальные. Поэтому рост тепловой плотности требует не просто более мощной системы охлаждения, а согласованного решения на уровнях компонента, PCB, электронного блока и инфраструктуры ЦОД.

Современные исследования показывают, что эта задача постепенно выходит и на уровень самой микроэлектронной структуры. На IEEE International Electron Devices Meeting 2024 года была представлена концепция трёхмерных тепловых структур с использованием поликристаллического алмаза для сверхплотных интегральных систем. Это исследовательская технология, а не обычное решение для серверных PCB, но она показывает направление развития: тепловые пути всё теснее интегрируются непосредственно в архитектуру электронных систем.

Для производства такая тенденция означает необходимость согласовать геометрию платы, материалы, медные слои, переходные отверстия, корпус компонента, технологию монтажа и тепловые интерфейсы так, чтобы расчётный тепловой режим был воспроизводим не только на экспериментальном образце, но и в серии изделий.

Тепловое проектирование электронной аппаратуры поэтому начинается с распределения мощности и выбора компонентов, проходит через конструкцию корпуса, PCB и способ монтажа и заканчивается условиями эксплуатации всего электронного блока.

11. Электромагнитная совместимость и целостность питания

Высокоскоростная печатная плата одновременно является системой передачи сигналов и системой распределения электроэнергии. На одной конструкции работают процессоры, память, контроллеры, преобразователи питания, источники тактовых сигналов и интерфейсы связи, поэтому их электрические цепи связаны через питание, землю и электромагнитное поле.

Для такой платы приходится одновременно решать три взаимосвязанные задачи.

Область

Что рассматривается

Основной вопрос

Целостность сигнала (signal integrity, SI)

Передача информационного сигнала

Доходит ли сигнал до приёмника с требуемыми параметрами?

Целостность питания (power integrity, PI)

Работа системы распределения питания

Получает ли нагрузка необходимое напряжение с допустимыми отклонениями и помехами?

Электромагнитная совместимость (electromagnetic compatibility, EMC)

Взаимодействие оборудования с электромагнитной средой

Не создаёт ли устройство недопустимые помехи и сохраняет ли работоспособность под внешними воздействиями?

Eric Bogatin в своих работах по целостности сигнала и питания рассматривает эти области как связанные проявления одних и тех же физических процессов в электрических соединениях, цепях питания и проводящих структурах.

Для оборудования ЦОД эта взаимосвязь особенно заметна. На одной плате могут одновременно работать многогигабитные интерфейсы и силовые преобразователи с импульсными токами, поэтому изменение режима одного узла способно воздействовать на другой через общую электрическую структуру.

11.1. Изменение нагрузки и локальная развязка питания

Источник питания не является идеальным генератором постоянного напряжения. Любое реальное соединение обладает сопротивлением и индуктивностью, а каждый элемент системы реагирует на изменение нагрузки с конечной скоростью.

Если ток нагрузки изменяется, на элементах, расположенных между источником и потребителем, возникает соответствующее изменение напряжения. Для простой индуктивной связи:

U = L × dI/dt

Чем быстрее изменяется ток и чем больше индуктивность соединения, тем больше возникающее изменение напряжения.

Именно поэтому быстрый переход процессора из одного режима в другой может сопровождаться кратковременным изменением напряжения на его выводах. Источник питания и система управления не могут мгновенно компенсировать изменение нагрузки, поэтому часть переходного процесса определяется физическими свойствами самой сети питания.

В документации Intel по анализу сети питания (power delivery network, PDN) эта задача рассматривается через частотную зависимость эффективного импеданса. Систему развязки подбирают так, чтобы импеданс сети оставался в требуемых пределах в соответствующем диапазоне частот.

Поэтому в серверной плате имеет значение не только номинал источника питания. На результат влияют расстояние между преобразователем и нагрузкой, геометрия проводников, переходные отверстия, плоскости питания и земли, параметры конденсаторов и их расположение.

Конденсатор развязки устанавливают между цепью питания и землёй, чтобы обеспечить локальный путь для высокочастотных составляющих тока и уменьшить изменение напряжения при быстрых изменениях нагрузки.

Для идеализированного конденсатора:

Z = 1 / (jωC),

где C — ёмкость, а ω — угловая частота.

С увеличением частоты импеданс идеального конденсатора уменьшается. Реальный компонент устроен сложнее: кроме ёмкости, он обладает последовательным сопротивлением и паразитной индуктивностью. Поэтому существует собственная резонансная область, после которой дальнейшее увеличение частоты уже приводит к росту импеданса.

Отсюда следует практическое ограничение: большая номинальная ёмкость сама по себе не делает конденсатор лучшим средством высокочастотной развязки. На высоких частотах важна вся геометрия соединения — выводы корпуса, контактные площадки, переходные отверстия и участок проводника между конденсатором и нагрузкой.

Именно поэтому рядом с мощными микросхемами часто располагают множество небольших конденсаторов. Они участвуют в формировании требуемого импеданса сети питания в разных диапазонах частот.

Один и тот же конденсатор, установленный в нескольких миллиметрах от вывода микросхемы или соединённый с ней более длинной дорожкой, представляет собой разные электрические структуры с точки зрения высокочастотного поведения.

Intel в материалах по анализу PDN рассматривает размещение конденсаторов как часть общей задачи оптимизации сети питания и связывает выбор конфигурации развязки с расчётом эффективного импеданса.

Для высокочастотной развязки значение имеет не только ёмкость конденсатора, но и путь тока между ним и нагрузкой. Пара дополнительных миллиметров проводника или неудачная геометрия переходных отверстий могут заметно изменить поведение всей цепи.

11.2. Цепь питания как распределённая система

На многослойной плате питание распределяется не через одну идеальную точку. Между источником энергии и потребителями находятся проводники, переходные отверстия, плоскости и компоненты, образующие систему с распределёнными электрическими параметрами.

На разных частотах ток может распределяться между этими путями по-разному. Это связано с частотной зависимостью сопротивления и индуктивности, а также с распределённой ёмкостью между проводящими слоями.

Плоскость питания и плоскость земли образуют распределённую ёмкость и при определённых сочетаниях геометрии и частоты могут иметь собственные резонансные режимы. Поэтому при высоких требованиях к питанию анализируют не только отдельные конденсаторы, но и поведение всей сети.

Bogatin отдельно рассматривает резонансы плоскостей, импеданс сети питания и способы управления шумом в системах с быстрыми изменениями тока.

11.3. Шум через питание и дифференциальные линии

Взаимодействие между узлами происходит не только через соседние сигнальные дорожки. Если мощный потребитель резко изменяет ток, возмущение общей сети питания может попасть в другую цепь.

Для дифференциальных соединений удобно различать два вида такого воздействия. Дифференциальный шум создаёт разность напряжений между двумя проводниками и непосредственно влияет на работу приёмника. Синфазная помеха (common-mode noise) изменяет оба проводника относительно общего потенциала.

Идеальный дифференциальный приёмник способен подавлять одинаковое воздействие на оба проводника, но реальная система несимметрична. Различия в длине и геометрии проводников, переходы через разъёмы, свойства компонентов и нагрузки способны преобразовывать часть синфазной помехи в дифференциальную.

Кабель или пара проводников, по которым проходит синфазный ток, при определённых условиях могут также становиться эффективным источником электромагнитного излучения. Поэтому развязка питания, симметрия дифференциальных пар и размещение силовых цепей рассматриваются как части одной электромагнитной конструкции.

11.4. Электромагнитное излучение и возвратный ток

Изменяющиеся электрические и магнитные поля возникают при быстрых изменениях токов и напряжений. Проводник с изменяющимся током создаёт магнитное поле, а изменение напряжения связано с изменением электрического поля.

Практическое значение имеет геометрия токовой петли. Чем больше её площадь, тем выше потенциальная способность такой структуры создавать электромагнитное излучение.

Поэтому уменьшение площади токовой петли, близкое расположение прямого и обратного проводников, непрерывная опорная плоскость и короткие соединения помогают ограничить распространение электромагнитного поля.

По этой же причине одна и та же трассировка одновременно влияет на signal integrity и EMC. Площадь токовой петли, возвратный ток, геометрия проводников и пути связи между цепями нельзя рассматривать независимо.

Высокоскоростной сигнал имеет не только прямой, но и обратный путь. На многослойной PCB обратный ток часто проходит в ближайшем опорном проводящем слое.

Если эта плоскость непрерывна, площадь связанной с сигналом петли может оставаться небольшой. Если под сигналом появляется разрыв, щель или другая геометрическая неоднородность, ток вынужден менять путь.

Это способно увеличить площадь петли, усилить электромагнитное излучение и одновременно изменить параметры самого сигнала. Проблема особенно заметна, когда трасса пересекает границу между различными областями питания или земли.

На принципиальной схеме такое соединение может выглядеть корректно, но физическое положение проводника относительно опорной плоскости уже изменяется. Поэтому при разработке сложной PCB контролируют не только сами сигнальные проводники, но и непрерывность структур, по которым возвращается ток.

11.5. Электромагнитная совместимость и производство

PCB не является единственным источником или проводником электромагнитных помех. Сигналы могут выходить за пределы платы через кабели, разъёмы и другие соединения, а кабель при определённых условиях способен выступать как эффективный излучающий элемент.

Поэтому корпус оборудования, экраны, фильтры, разъёмы, кабели и печатная плата рассматриваются как единая система электромагнитной совместимости.

EMC включает две взаимосвязанные задачи: оборудование не должно создавать недопустимый уровень излучаемых и проводимых помех и одновременно должно сохранять работоспособность при внешних электромагнитных воздействиях.

Для ЦОД обе стороны имеют практическое значение: оборудование работает в тесном пространственном соседстве и связано большим количеством электрических, сетевых и силовых соединений.

Например, электронный блок может сохранять работоспособность в лабораторном режиме при отсутствии сильного внешнего воздействия, но реагировать на наведённый импульс или радиочастотное поле. Возможна и обратная ситуация, когда устройство устойчиво к внешним воздействиям, но создаёт помехи для соседнего оборудования.

Электромагнитные характеристики зависят не только от исходной принципиальной схемы. Изменение геометрии проводника меняет параметры линии, изменение положения компонентов — длину токовых петель, изменение структуры слоёв — путь возвратного тока, а замена разъёма или кабеля меняет часть общего электрического тракта.

Поэтому при серийном производстве особенно важна воспроизводимость конструкции. Даже небольшое систематическое отклонение от предусмотренной геометрии способно повлиять на высокоскоростную или силовую часть платы.

Требования EMC и целостности питания должны быть связаны с конкретными технологическими параметрами PCB: геометрией проводников, структурой слоёв, положением компонентов, конструкцией переходных отверстий, разъёмами и кабельными соединениями.

В результате EMC и целостность питания нельзя рассматривать только как задачи финальных испытаний. Они закладываются в конструкцию платы, а производство должно воспроизвести эту конструкцию с достаточной точностью.

11.6. Целостность питания и целостность сигнала связаны

Высокоскоростной сигнал не существует независимо от питания передатчика и приёмника. Изменение напряжения питания способно менять пороги переключения, характеристики выходного каскада и форму сигнала. Одновременно переключение большого числа цифровых цепей изменяет ток потребления и создаёт возмущение в сети питания.

Возникает замкнутая физическая связь:

переключение цифровых цепей → изменение потребляемого тока → возмущение сети питания → изменение условий работы передатчиков и приёмников → изменение сигнала.

Поэтому качество питания и параметры высокоскоростного сигнала приходится рассматривать совместно.

В итоге одна плата объединяет несколько взаимодействующих электрических сред. Высокоскоростные линии требуют контролируемой геометрии и предсказуемого возвратного пути, силовая часть — низкого и предсказуемого импеданса сети питания, а EMC требует управлять токовыми петлями и путями выхода помех за пределы устройства.

Для производства это означает, что механическая точность PCB, качество монтажа, свойства материалов и электрический контроль становятся частями одного результата. Готовая плата должна не только соответствовать чертежу, но и сохранять рассчитанное электрическое поведение в составе электронной сборки.

12. Надёжность электроники ЦОД

Для обычной электронной аппаратуры работоспособность часто рассматривается как соответствие заданным параметрам в течение установленного срока службы. В ЦОД этого недостаточно: сервер, контроллер СХД, силовой модуль или плата управления охлаждением работают внутри взаимосвязанной инфраструктуры, где отказ одного узла способен изменить режим работы других.

Поэтому надёжность приходится рассматривать на нескольких уровнях — от компонента и паяного соединения до печатной платы, электронного блока и оборудования в целом. ASHRAE рассматривает питание, охлаждение, пространство и сетевую инфраструктуру ЦОД как взаимосвязанные системы.

12.1. Откуда берутся отказы

У отказа электронной аппаратуры обычно есть физическая причина: ток вызывает нагрев, различие коэффициентов теплового расширения — механические деформации, влажность создаёт условия для электрохимических процессов, механические нагрузки воздействуют на соединители и корпус, а длительные токовые нагрузки ускоряют деградацию проводников и силовых компонентов.

Для электроники ЦОД эти воздействия часто действуют одновременно. Мощный процессор создаёт тепловую нагрузку и быстрые изменения потребляемого тока, а плата должна одновременно передать этот ток, отвести тепло, обеспечить работу высокоскоростных линий и сохранить механическую целостность соединений.

При анализе отказа полезно различать место его обнаружения и физическую причину. Неисправность BGA-соединения может проявиться как потеря контакта, хотя механизм связан с температурными циклами и различием КТР корпуса и платы. Обрыв переходного отверстия также может обнаружиться как обычная электрическая неисправность, хотя повреждение развивалось внутри металлизированной структуры.

Уровень

Что может деградировать

Что запускает процесс

Компонент

Полупроводниковая структура, конденсатор, корпус, соединение

Температура, электрическая нагрузка, старение материала

Паяное соединение

Трещина, усталостное разрушение, изменение сопротивления

Температурные циклы, механическая нагрузка, различие КТР

Печатная плата

Металлизация, межслойные соединения, диэлектрик

Термомеханические нагрузки, влага, загрязнения, производственные дефекты

Электронный модуль

Соединители, платы, крепления

Вибрация, нагрев, токовые нагрузки, внешняя среда

Электронный блок

Питание, охлаждение, связи между модулями

Сочетание электрических, тепловых и механических воздействий

Оборудование ЦОД

Сервер, СХД, сетевое или силовое устройство

Отказ узлов, нарушение условий эксплуатации

Испытание при этом не является универсальным доказательством надёжности. Проверка при высокой температуре не показывает автоматически ресурс паяного соединения при механической нагрузке, а испытание во влажной среде не заменяет проверку силовой части под нагрузкой.

12.2. Термомеханическая усталость

Один из наиболее изученных механизмов отказа связан с различием теплового расширения соединённых материалов.

На электронном модуле таких сочетаний много: печатная плата состоит из меди, полимерного диэлектрика и стекловолокна, а на ней находятся корпуса полупроводников, металлические элементы, припой, соединители и механические детали. При нагреве и охлаждении они изменяют размеры по-разному, а механические связи ограничивают свободную деформацию.

Особенно заметен этот эффект в крупных корпусах с большим числом контактов. Чем дальше соединение находится от центра корпуса, тем больше относительное перемещение между корпусом и платой при одинаковом изменении температуры.

При повторных циклах в паяном соединении накапливается повреждение, превращая разовую механическую нагрузку в усталостный процесс. IPC-9701B посвящён исследованию усталостного ресурса поверхностных паяных соединений методом температурного циклирования и связывает его с взаимодействием корпуса компонента и печатной платы.

Для ускоренных испытаний используют температурное циклирование, но число циклов в камере нельзя напрямую переводить в определённое количество лет эксплуатации. Результат зависит от температуры, длительности выдержки, скорости перехода между температурами, конструкции корпуса и других параметров. IPC-9701B отдельно рассматривает применение коэффициентов ускорения.

IEC 60068-2-14:2023 описывает испытания на изменение температуры с учётом температуры, времени выдержки, скорости перехода, количества циклов и свойств образца.

12.3. Печатная плата может стареть изнутри

Не все механизмы деградации видны при визуальном осмотре. В многослойной печатной плате проводящие соединения находятся внутри диэлектрика, и при сочетании электрического поля, влажности, температуры и особенностей материала могут развиваться электрохимические процессы.

Один из таких механизмов — образование проводящей анодной нити, CAF (Conductive Anodic Filament). При неблагоприятных условиях в структуре стеклоткани и эпоксидного связующего может сформироваться проводящий путь, содержащий соединения меди, между участками с разным электрическим потенциалом. Исследования связывают развитие CAF с областью контакта стекловолокна и связующего, повышенной влажностью и электрическим градиентом.

Отказ, которого не видно на рентгене

Проблема может находиться внутри диэлектрика, а не на поверхности платы. Поэтому внешне исправная многослойная PCB способна уже содержать формирующийся проводящий путь между соседними цепями.

Для многослойных плат значение имеют не только геометрия проводников, но и расстояния между цепями, структура стеклоткани и связующего, влажность, состояние отверстий и технология изготовления. При высокой плотности конструкции запас по изоляции уменьшается, поэтому эти факторы особенно существенны для HDI и плат с плотным расположением переходных отверстий.

12.4. Влажность, коррозия и загрязнения

В ЦОД электронное оборудование находится в контролируемой среде, но это не исключает химических воздействий.

Повышенная влажность в сочетании с загрязнениями воздуха может ускорять коррозию металлических поверхностей. Для тонких проводников и контактов это способно привести к росту сопротивления, ухудшению контакта или появлению токов утечки.

ASHRAE TC 9.9 рассматривает влияние относительной влажности и газообразных загрязнений на коррозию информационного оборудования. IEC 60068-2-30:2025 описывает испытания на циклическое воздействие влажности при изменениях температуры, в том числе с возможным образованием конденсата.

При жидкостном охлаждении температура поверхности электронного компонента может оказаться ниже точки росы окружающего воздуха. В этом случае возникает риск образования конденсата, поэтому контроль температуры без учёта влажности недостаточен.

12.5. Высокие токи и постепенное повреждение проводников

В силовой электронике деградация связана в том числе с плотностью тока и температурой проводника.

При прохождении тока выделяется тепло:

P = I² × R

Рост сопротивления увеличивает тепловыделение, а изменение температуры влияет на сопротивление. Поэтому локальный участок с худшим теплоотводом может получить дополнительную нагрузку.

В микросхемах существует другой механизм — электромиграция. При больших плотностях тока перенос импульса от электронов к атомам металла приводит к их постепенному перемещению, образованию пустот и выступов и, в конечном счёте, к обрыву или короткому замыканию. Для анализа применяется модель Блэка, связывающая ресурс с плотностью тока и температурой.

Электромиграцию в микросхемах не следует отождествлять с нагревом медного проводника на PCB. Для печатной платы гораздо чаще определяющими являются нагрев меди, механические напряжения, качество металлизации и соединений.

В силовых конструкциях поэтому важны толщина и ширина проводников, распределение меди между слоями, количество параллельных переходных отверстий и организация теплоотвода.

12.6. Контактные соединения — отдельная задача

В сервере может быть множество разъёмных соединений: платы устанавливаются в разъёмы корпуса, модули подключаются к объединительной плате, устанавливаются накопители, ускорители, сетевые интерфейсы и блоки питания.

Контакт должен одновременно обеспечивать низкое сопротивление и механическую стабильность. На его состояние влияют окисление, загрязнение, механические перемещения и изменение усилия прижатия.

Для каждого соединителя учитываются условия эксплуатации, ток, нагрев, механический ресурс и состояние поверхности. Для высокоскоростных линий добавляются электрические параметры контакта: паразитная ёмкость и индуктивность, рассогласование импеданса и потери.

12.7. Контроль и постепенная деградация

Функциональный тест отвечает на вопрос, работает ли изготовленный экземпляр в условиях данного испытания. Надёжность — как долго и при каких воздействиях изделие сохраняет требуемые характеристики.

Функциональный контроль может обнаружить неправильный монтаж, отсутствие контакта, короткое замыкание, неисправный компонент или ошибку программирования, но не обязательно выявит механизм, который приведёт к отказу после длительной эксплуатации.

Вид проверки

Что позволяет установить

Визуальный контроль

Внешние дефекты платы, монтажа и компонентов

Автоматический оптический контроль

Расположение и видимые паяные соединения

Рентгеновский контроль

Скрытые соединения и внутренние дефекты определённых типов

Электрический контроль

Наличие и отсутствие электрических связей согласно заданной программе

Функциональные испытания

Способность изделия выполнять заданные функции

Климатические испытания

Поведение при заданных температуре и влажности

Температурное циклирование

Устойчивость к повторным изменениям температуры

Механические испытания

Устойчивость к заданным вибрациям, ударам и другим нагрузкам

Испытания на долговечность

Изменение параметров и появление отказов в заданном режиме

Выбор испытаний зависит от назначения изделия. Один универсальный набор проверок не является доказательством надёжности любой электронной конструкции.

IPC-6012F определяет требования к квалификации и характеристикам жёстких печатных плат, а IPC J-STD-001J и IPC-A-610J относятся к материалам, процессам пайки и критериям приёмки электронных сборок.

Соответствие критериям приёмки означает соответствие установленным требованиям на момент оценки и само по себе не подтверждает заданный срок службы.

Некоторые механизмы отказа развиваются настолько медленно, что долго остаются незаметными. Металлическое покрытие изменяет свойства, паяное соединение накапливает усталостное повреждение, контакт постепенно увеличивает сопротивление, а влага изменяет состояние поверхности или диэлектрика.

Необычный пример — металлические «усы» олова (tin whiskers), проводящие кристаллические образования, которые иногда вырастают из оловянного покрытия. NASA документировало случаи, когда они становились причиной коротких замыканий и отказов электронных систем.

В одном из приведённых NASA случаев короткое замыкание из-за оловянного «уса» возникло более чем через 20 лет после ввода системы в эксплуатацию. Аппаратура при этом находилась под напряжением лишь несколько часов в месяц во время проверок.

Это показывает, почему календарный срок службы нельзя сводить только к количеству часов непрерывной работы. Некоторые механизмы деградации определяются медленным развитием физических изменений в материалах.

12.8. Надёжность всей системы и резервирование

Даже надёжный электронный модуль не делает ЦОД надёжным автоматически.

В серверной инфраструктуре применяют резервирование блоков питания, сетевых соединений, вентиляторов, накопителей, контроллеров и других узлов. Но резервирование требует корректной реакции системы на отказ: резервный модуль должен обнаруживаться, переключаться в работу, принимать нагрузку и сохранять требуемые электрические и тепловые режимы.

Поэтому отказ на одном уровне может проявиться на другом. Перегрев силового преобразователя способен привести к снижению питающего напряжения и сбоям вычислительного модуля, а сбой контроллера охлаждения — к изменению температуры компонентов и увеличению механической нагрузки на паяные соединения.

12.9. От надёжности к технологии производства

Для производителя требования к надёжности переводятся в конкретные параметры конструкции и процесса.

Большие токи требуют управления сопротивлением проводников, нагревом меди и отводом тепла. Высокоскоростные интерфейсы — определённой структуры слоёв, геометрии проводников, переходных отверстий и соединителей. Крупные BGA повышают требования к долговечности паяных соединений, высокая плотность монтажа — к межслойным соединениям и точности изготовления, а воздействие влаги — к диэлектрику, металлическим поверхностям и защитным покрытиям.

Получается последовательность:

условия эксплуатации → физическая нагрузка → механизм деградации → требования к конструкции → материалы → производство → контроль → испытания.

Так требования ЦОД превращаются в конкретные требования к печатной плате, электронной сборке и электронному модулю. Надёжность в этом смысле является не отдельной характеристикой готового изделия, а результатом согласованной конструкции, материалов, технологии изготовления, контроля и условий эксплуатации.

13. Как требования ЦОД превращаются в требования производства

На предыдущих этапах мы рассмотрели физические процессы, которые определяют работу электроники ЦОД: токовые нагрузки, тепловыделение, высокоскоростную передачу данных, механические и климатические воздействия, деградацию материалов и соединений.

Теперь эти требования необходимо перевести на язык производства. Фраза «плата должна работать при высокой нагрузке» сама по себе недостаточна: нужны значения тока, допустимого нагрева, параметры медных проводников, требования к отводу тепла и методы проверки. Для высокоскоростного интерфейса аналогично задаются импеданс, структура слоёв, геометрия проводников, переходы между слоями и параметры соединителей.

13.1. От требований к комплекту производственной документации

Одно требование проходит несколько уровней конкретизации.

Предположим, серверный модуль должен стабильно питать мощный процессор при резком изменении нагрузки. На уровне оборудования это функциональное требование, на уровне схемы — диапазоны напряжений, токи и скорость изменения нагрузки, на уровне PCB — сопротивление силовых путей, пути возвратного тока и допустимая паразитная индуктивность. На технологическом уровне появляются толщина меди, структура слоёв, параметры переходных отверстий, способы металлизации и методы контроля.

Та же цепочка действует для PCIe 6.0 или PCIe 7.0: одного соответствующего разъёма недостаточно. Конструкция должна обеспечить заданный импеданс, контролируемые потери, геометрию дифференциальных пар, допустимые переходы между слоями и необходимые параметры соединителей.

Уровень

Пример требования

Функциональный

Серверный модуль должен стабильно работать при изменении нагрузки

Электрический

Напряжение и ток должны находиться в заданных диапазонах

Тепловой

Температура определённых узлов не должна превышать установленную

Конструктивный

Проводники и соединения должны иметь заданную геометрию

Материальный

Диэлектрик должен обладать заданными электрическими и тепловыми характеристиками

Производственный

Должны быть обеспечены заданная толщина меди, размеры отверстий и параметры металлизации

Контрольный

Соответствие должно подтверждаться определённым методом измерения или испытания

Производственное требование тем самым связывает функцию изделия с физическим параметром, способом его получения и методом проверки.

Печатная плата или электронный блок не могут быть однозначно описаны одной схемой или изображением проводников.

В российской системе конструкторской документации состав и комплектность документов регулирует ГОСТ Р 2.102-2023, а технические условия относятся к отдельному виду документации и регламентируются, в частности, ГОСТ 2.114-2016.

Для PCB необходимо определить конструкцию и характеристики, включая материалы, структуру слоёв, отверстия, проводники и требования к контролю. Для электронной сборки добавляются компоненты, корпуса, размещение, ориентация, соединения, материалы монтажа и испытания.

Эту же границу показывают стандарты IPC: IPC-2221C относится к общим требованиям проектирования, IPC-6012F — к квалификации и эксплуатационным характеристикам жёстких печатных плат, IPC-A-600 — к критериям приёмки изготовленных плат. Для сложных многослойных конструкций IPC-6012F учитывает глухие, скрытые и микропереходы, а также платы с металлическим основанием.

Таким образом, «плата» в производственной документации — это совокупность требований к конструкции, материалам, изготовлению и приёмке.

13.2. DFX и производственные ограничения конструкции

Электрически работоспособная конструкция ещё не обязательно пригодна для воспроизводимого серийного изготовления.

При проектировании учитываются минимальные ширины проводников и зазоры, соотношение размеров отверстий и толщины платы, положение компонентов относительно края, доступность соединений для контроля, технологические поля, особенности прессования многослойной конструкции и другие ограничения процесса.

Для этого применяется подход Design for Excellence (DFX), объединяющий анализ конструкции с точки зрения изготовления, сборки, тестируемости, надёжности и других характеристик. IPC-2231A задаёт соответствующую методику инженерного анализа до начала производства.

DFX не означает механического упрощения платы. Смысл подхода в том, чтобы требуемые свойства конструкции можно было воспроизводимо получить выбранной технологией, а не только реализовать в САПР.

На практике чрезмерное уменьшение зазоров, рост плотности размещения и увеличение числа переходов могут оставить слишком маленький технологический запас. Для электроники ЦОД это особенно заметно на платах, где одновременно сочетаются крупные BGA, мелкие пассивные компоненты, HDI, высокоскоростные линии и силовые цепи.

Требования к материалу платы следуют из режима работы изделия. Для высокоскоростных систем важны диэлектрическая проницаемость и диэлектрические потери, для силовых — тепловые характеристики, для многослойных конструкций — механические свойства, поведение при прессовании и устойчивость к температурным циклам.

Поэтому обозначение «FR-4» само по себе не описывает материал достаточно подробно: это семейство материалов с различными электрическими, тепловыми и механическими характеристиками.

В высокоскоростных конструкциях применяются специализированные материалы. Например, семейство Panasonic MEGTRON используется для многослойных плат с повышенными требованиями к потерям, а Rogers RO4003C относится к материалам для высокочастотных применений.

Требование к току также нельзя свести только к толщине фольги. На сопротивление и тепловой режим влияют ширина проводников, распределение меди по слоям, переходы между слоями, толщина проводящего покрытия и технологические допуски. Ток может распределяться между несколькими слоями, а группы переходных отверстий одновременно обеспечивать электрическое соединение и передачу тепла.

ГОСТ Р 72069-2025 устанавливает общие технические условия для печатных плат, включая требования, правила приёмки и методы контроля. Требования к технологии производства печатных плат выделены в ГОСТ Р 53432-2025, действующем с 1 июля 2026 года.

13.3. Производственные данные, сборка и тестопригодность

Для высокоскоростной платы одного изображения медного рисунка недостаточно. Производителю необходимо передать структуру слоёв, материалы, геометрию проводников и переходов, параметры контролируемого импеданса и другие характеристики, от которых зависит физическое поведение изделия.

IPC-2581C описывает машиночитаемое представление данных о печатной плате и сборке для изготовления, монтажа и контроля. Оно включает не только геометрию, но и сведения о слоях, материалах, компонентах, отверстиях, спецификациях и других характеристиках.

В результате современная PCB передаётся в производство как цифровое описание физического изделия, а не просто как изображение проводников.

Печатная плата и смонтированная на ней электроника — разные производственные объекты.

Для монтажа необходимы спецификация компонентов, корпуса, номиналы, допустимые замены, координаты, ориентация и сторона установки. Замена компонента может затронуть сразу несколько уровней: другой корпус конденсатора потребует нового посадочного места, замена BGA — изменения разводки и контроля, другой вариант памяти — изменения высоты компонентов и зон питания.

Контроль также должен учитываться заранее. Для платы могут применяться визуальный контроль, измерение размеров, проверка отверстий, контроль электрической целостности, микрошлиф и контроль металлизации. Для электронной сборки добавляются автоматический оптический контроль, рентген, электрические и функциональные испытания.

IPC-A-610J устанавливает критерии приёмки электронных сборок, тогда как J-STD-001J относится к материалам и процессам пайки. Эти документы описывают разные стороны производственной задачи.

На плате могут предусматриваться контрольные точки, технологические площадки, диагностические разъёмы, интерфейсы программирования и участки для измерения электрических параметров. Для серверной платы это особенно существенно: наличие установленного PCIe-соединения ещё не доказывает требуемый запас по потерям линии, как и правильное выходное напряжение преобразователя не характеризует поведение всей сети питания при быстром изменении нагрузки.

Тестопригодность поэтому закладывается в конструкцию до начала производства.

13.4. Прослеживаемость, управление изменениями и серийное производство

Для сложной электроники важно знать происхождение материалов и компонентов, версии производственных данных и результаты технологических операций.

IPC-1782B устанавливает требования к прослеживаемости при производстве и в цепочке поставок электронных изделий. Для серверной и силовой электроники это может означать связь серийного номера изделия с партией платы, установленными компонентами, версией производственных данных и результатами контроля.

При обнаружении проблемы такая информация помогает определить затронутую партию и установить использованные материалы, компоненты, документацию и результаты контроля.

Изменение конструкции также требует управляемой ревизии. Замена компонента может изменить посадочное место, BGA — разводку, материал — режим прессования, а элемент питания — тепловой режим и размещение соседних компонентов. В российской системе ЕСКД соответствующие правила регламентируются, в частности, ГОСТ Р 2.503-2023.

Плата, успешно изготовленная в небольшой серии, ещё не обязательно готова к выпуску тысячами.

На малой серии часть проблем можно компенсировать ручными операциями, дополнительным контролем и индивидуальной корректировкой процесса. В серийном производстве возрастает значение стабильности процесса, автоматизации, доступности компонентов, воспроизводимости параметров и скорости обнаружения отклонений.

Поэтому подготовка производства должна подтверждать не только работоспособность первых образцов, но и способность самого процесса стабильно воспроизводить заданную конструкцию.

Для электроники ЦОД это особенно важно на платах, совмещающих HDI, крупные BGA, высокоскоростные линии и силовые цепи: чем сложнее конструкция и выше объём выпуска, тем меньше возможности компенсировать нестабильность процесса ручными действиями.

 

 


Область

Что должно быть определено

Электрическая

Напряжения, токи, импедансы, допустимые отклонения, сигнальные параметры

Тепловая

Источники тепла, допустимые температуры, пути отвода

Механическая

Размеры, крепления, нагрузки, ограничения по деформации

Конструктивная

Слои, проводники, отверстия, компоненты, соединители

Материальная

Диэлектрики, медь, покрытия, припой и другие материалы

Технологическая

Способы изготовления, монтажа, контроля и испытаний

Контрольная

Проверяемые параметры, методы и периодичность контроля

Эксплуатационная

Температура, влажность, питание и другие условия применения

Документационная

Версии файлов, спецификаций, чертежей и программ

Прослеживаемость

Партии материалов и компонентов, ревизии и результаты контроля

Эти области неразделимы. Высокая скорость передачи данных может потребовать специального материала платы, более плотная конструкция влияет на монтаж и контроль, рост мощности увеличивает тепловую нагрузку, а температурные циклы — требования к паяным соединениям.

В итоге требования ЦОД превращаются в конкретное физическое изделие — печатную плату, электронную сборку, модуль или электронный блок, для которого определены конструкция, материалы, технологические операции, методы контроля и условия эксплуатации.

14. Как формировалась современная электроника ЦОД

Современный ЦОД невозможно представить без стоек, серверных плат, быстрых накопителей, силовых преобразователей и сложных систем охлаждения. Но каждый из этих элементов появился как ответ на конкретное инженерное ограничение — рост количества компонентов, вычислительной мощности и объёма данных, увеличение скорости обмена, энергопотребления и тепловой нагрузки.

Историю электроники ЦОД поэтому удобно рассматривать как последовательность смены ограничений. По мере роста плотности оборудования электрические, тепловые, механические и производственные задачи становились всё теснее связаны между собой.

14.1. До печатной платы: компьютер как монтажная конструкция

Ранние электронные устройства собирались из отдельных компонентов, соединённых проводами. Пока элементов было немного, такой способ оставался естественным, но с усложнением схем каждый новый компонент требовал дополнительного места, соединений, контактов и точек пайки.

Постепенно само количество соединений стало инженерной проблемой. Исторические материалы Nobel Prize описывают этот эффект как «tyranny of numbers» — ситуацию, когда сложность системы определяется уже не столько отдельными компонентами, сколько огромным числом связей между ними.

Печатная плата предложила другой принцип: значительная часть соединений заранее формировалась в виде проводящего рисунка на изоляционном основании, после чего компоненты устанавливались в определённые места.

В начале 1940-х годов инженер Пауль Эйслер разработал и запатентовал способ изготовления электрических цепей на изоляционной основе с металлическим рисунком. Британская заявка, связанная с его разработками, была подана 2 февраля 1943 года; опубликованный позднее патент GB639178A описывает изготовление электрических цепей и компонентов с использованием сформированного металлического слоя. (Подробная история развития печатных плат — в соседнем захватывающем материале →)

Значение этой идеи было не только в уменьшении размеров аппаратуры. Соединения можно было заранее формировать на основании, превращая индивидуально смонтированную схему в изделие, пригодное для воспроизводимого производства.

14.2. Транзистор, интегральная схема и переход к вычислительным системам

В 1947 году Джон Бардин и Уолтер Браттейн в Bell Telephone Laboratories продемонстрировали первый точечный транзистор. В отличие от электронной лампы он не требовал нагреваемого катода и позволял создавать более компактные и экономичные схемы.

Следующий переход произошёл в 1958 году, когда Джек Килби в Texas Instruments изготовил работающую интегральную схему. Роберт Нойс независимо разработал собственный вариант интегральной схемы в Fairchild Semiconductor, пригодный для дальнейшего промышленного производства на кремниевой основе. В 2000 году Килби получил Нобелевскую премию по физике за вклад в изобретение и развитие интегральной схемы.

Интегральные схемы изменили задачу печатной платы: компонентов становилось больше, но сами они уменьшались, и на ограниченной площади требовалось разместить всё больше соединений. Так развивались многослойные платы, поверхностный монтаж, новые корпуса и более сложные способы соединения внутренних и внешних слоёв.

IBM 1401, представленный в 1959 году, показал, насколько быстро вычислительная техника становилась доступнее и массовее. Ещё более важным для дальнейшего развития ЦОД стало появление IBM System/360 в 1964 году.

System/360 объединил семейство компьютеров общей архитектурой и совместимостью программ. Вычислительная система уже включала не только процессор, но и память, каналы ввода-вывода, накопители, коммуникационное оборудование и периферию.

Компьютер всё меньше выглядел как одна машина и всё больше — как совокупность взаимосвязанных узлов. Вычисления зависели от памяти и каналов связи, данные хранились во внешних устройствах, а вся система требовала питания и отвода тепла.

Такая архитектура позднее стала основой серверных систем и ЦОД: вычислительная функция распределяется между специализированными узлами, а их взаимодействие становится самостоятельной инженерной задачей.

14.3. Хранение данных и микропроцессорная эпоха

Рост производительности вычислительной техники выявил другое ограничение — ввод-вывод.

В 1987 году Дэвид Паттерсон, Гарт Гибсон и Рэнди Кац из Калифорнийского университета в Беркли опубликовали работу A Case for Redundant Arrays of Inexpensive Disks, предложившую концепцию RAID — объединение нескольких дисков в массив с распределением данных и избыточностью.

Исходной проблемой была не только надёжность отдельных дисков, но и разрыв между ростом производительности процессоров и памяти и возможностями систем хранения.

Объединение множества накопителей потребовало специальной электронной инфраструктуры: контроллеров, интерфейсов, буферов, схем питания и управления. Так системы хранения превратились из набора отдельных устройств в самостоятельный класс вычислительного оборудования.

15 ноября 1971 года Intel представила 4004 — первый коммерчески доступный универсальный программируемый микропроцессор. Разработка началась в рамках проекта для японской компании Busicom, которой требовался специализированный набор микросхем для калькулятора. В 4004 использовалось 2300 транзисторов.

Появление микропроцессора сделало вычислительную функцию универсальным компонентом, который можно было серийно производить и использовать в различных системах.

Для печатной платы это означало новую роль. Теперь она должна была не просто соединять компоненты, а обеспечивать питание процессора, работу памяти и интерфейсов, тактовые сигналы, механическую установку и отвод тепла.

Так серверная плата постепенно стала самостоятельной инженерной системой.

14.4. Сервер становится модулем

В следующих десятилетиях вычислительная техника становилась компактнее, а производительность продолжала расти. Одновременно распространялась модульная организация оборудования.

Ранние вычислительные системы могли занимать целые помещения и строиться вокруг конкретной аппаратной архитектуры. Позднее серверы начали размещать в стандартизированных стойках.

19-дюймовая стойка появилась задолго до современных ЦОД. В материалах Open Compute Project отмечается связь современной стоечной инфраструктуры с требованиями EIA 310-D, сформированными ещё в 1950-е годы и унаследованными от телекоммуникационного и промышленного оборудования.

Позднее Open Compute Project предложил Open Rack — архитектуру, разработанную уже с учётом масштабируемых ЦОД. Здесь оборудование, питание и механическая инфраструктура стали рассматриваться как взаимосвязанные модули.

14.5. Рост плотности и масштабирование ЦОД

По мере роста вычислительной мощности всё больше функций приходилось размещать в ограниченном объёме. Увеличивать количество компонентов и плат было невозможно бесконечно, поэтому росла плотность проводников, распространялся поверхностный монтаж, усложнялись многослойные конструкции, уменьшались корпуса компонентов, а затем появились HDI-технологии.

Параллельно росли рабочие частоты. Соединение длиной несколько сантиметров перестало быть просто металлическим проводником: его геометрия начала непосредственно влиять на распространение сигнала.

Одновременно увеличивалось энергопотребление процессоров и ускорителей. Та же плата должна была проводить большие токи и отводить больше тепла.

Современная PCB поэтому одновременно выполняет несколько функций: формирует электрические соединения, участвует в системе питания и тепловом пути, обеспечивает передачу высокоскоростных сигналов и несёт механическую нагрузку от компонентов.

Именно здесь история вычислительной техники напрямую соединяется с историей PCB-технологий.

В 1990-е годы рост интернет-сервисов резко увеличил потребность в вычислительных ресурсах. Но изменился не только уровень производительности отдельных компьютеров: стало выгодно строить большие группы сравнительно стандартных серверов.

Вычислительная нагрузка распределялась между множеством машин, и отказ отдельного узла уже не обязательно означал остановку всей системы.

На этом масштабе возросло значение унификации, взаимозаменяемости, энергопотребления и стоимости обслуживания. Изменение характеристик одного сервера, повторённое тысячи раз, становилось параметром уже всей инфраструктуры.

14.6. Open Compute, стойка и развитие охлаждения

В 2011 году была создана Open Compute Project Foundation. Организация начала развивать открытые аппаратные решения для серверов, хранения данных и ЦОД, рассчитанные на масштабируемые вычисления.

В 2013 году OCP представил Open Rack — архитектуру, в которой питание, размещение оборудования и инфраструктура стойки рассматривались совместно. В такой модели отдельный сервер уже не обязательно содержит собственный блок питания: энергия может распределяться через силовую инфраструктуру стойки.

Это меняет единицу проектирования. Материнская плата становится модулем сервера, сервер — частью стойки, а стойка — частью вычислительной инфраструктуры.

Отсюда растёт значение распределённого питания, общих систем управления, унифицированных разъёмов, съёмных вычислительных модулей и стандартизированных механических интерфейсов.

Рост мощности одновременно усиливал проблему отвода тепла.

Крупные вычислительные машины применяли интенсивное охлаждение задолго до появления современных ЦОД. Например, Amdahl 470V/6 1975 года создавался как машина с воздушным охлаждением, в том числе как менее дорогая альтернатива водоохлаждаемым системам IBM.

В стоечных ЦОД долгое время основным способом отвода тепла оставался воздух. При дальнейшем росте мощности процессоров и ускорителей увеличивалась плотность теплового потока, и воздушное охлаждение сталкивалось с физическими ограничениями.

Современные жидкостные системы приближают теплоотвод непосредственно к источнику тепла. Вместе с инфраструктурой охлаждения меняются электронные конструкции: появляются новые тепловые интерфейсы и механические элементы прижима, возрастают требования к контролю температуры жидкости и поверхности и к предотвращению конденсации.

Способ охлаждения тем самым непосредственно влияет на конструкцию электронного модуля и печатной платы.

14.7. Высокоплотная электроника стирает границы между дисциплинами

Современный серверный модуль трудно отнести к одной инженерной области.

Электрическая схема связана с высокоскоростными линиями и системой питания, питание определяет тепловую нагрузку, тепловая нагрузка — требования к охлаждению, а охлаждение связано с механической конструкцией. Плотность оборудования определяет компоновку стойки, а масштаб ЦОД — требования к взаимозаменяемости и обслуживанию.

Современная электроника ЦОД поэтому заметно отличается от ранних вычислительных машин. Печатная плата уже не просто основание для компонентов, сервер — не просто отдельный компьютер, а охлаждение — не внешняя система, существующая независимо от электронной конструкции.

Историческую последовательность можно свести к нескольким переходам:

от проводов — к печатным соединениям;
от отдельных компонентов — к интегральным схемам;
от отдельных машин — к системам;
от отдельных дисков — к массивам хранения;
от серверов — к стойкам;
от стоек — к масштабируемым вычислительным кластерам;
от самостоятельных систем охлаждения — к совместному проектированию электроники и инфраструктуры.

Каждый переход был ответом на конкретное ограничение и одновременно создавал новые требования к следующему уровню системы.

Современная серверная плата стала результатом накопления этих решений. Высокая плотность монтажа позволила разместить больше функций в ограниченном объёме, многослойная структура — организовать возрастающее число соединений, высокоскоростные интерфейсы превратили геометрию проводников в часть электрической характеристики, а рост мощности сделал токовые пути и тепловой режим частью конструкции. Массовое производство, в свою очередь, потребовало автоматизации, воспроизводимости и развитого контроля.

История электроники ЦОД поэтому приводит к тому же результату, который был показан в предыдущих разделах: современная электронная система формируется одновременно физикой, архитектурой, конструкцией и технологией её изготовления.

15. Перспективы электроники ЦОД

Электроника ЦОД развивается сразу по нескольким направлениям: растут вычислительная плотность, объёмы памяти, скорости передачи данных и мощность оборудования, а вместе с ними — требования к энергоэффективности и охлаждению.

Изменения затрагивают не один элемент системы. Они одновременно происходят на уровне полупроводниковых корпусов, печатных плат, соединителей, систем питания, охлаждения и архитектуры стойки. Часть этих направлений уже закреплена в опубликованных спецификациях и инженерных проектах, другие находятся на стадии дальнейшей стандартизации.

15.1. Больше вычислительных функций перемещается внутрь корпуса

Один из заметных трендов связан с многокристальными системами (chiplet architecture). Вместо размещения всех функций на одном большом кристалле систему можно разделить на несколько специализированных кристаллов — вычислительные, интерфейсные, память и ускорители — и объединить их в одном корпусе.

Для такого подхода необходимы стандартизированные межкристальные соединения. Один из примеров — UCIe (Universal Chiplet Interconnect Express). Версия UCIe 3.0, опубликованная в августе 2025 года, поддерживает скорости 48 и 64 ГТ/с и развивает средства управления и тестирования многокристальных систем.

Для печатной платы это означает двойной эффект. Часть межсоединений переносится внутрь корпуса, но одновременно возрастает плотность тепловыделения и усложняются требования к питанию и охлаждению.

Граница между микросхемой, корпусом и PCB поэтому становится менее выраженной: часть задач переносится внутрь корпуса, но связанные с ними электрические, тепловые и механические требования сохраняются на уровне системы.

15.2. Скорости растут, а часть соединений может переходить от меди к оптике

PCI Express остаётся одним из основных высокоскоростных интерфейсов серверных систем. Спецификация PCIe 7.0, выпущенная 11 июня 2025 года, увеличила скорость до 128 ГТ/с на линию. PCI-SIG одновременно развивает оптические варианты PCIe для увеличения дальности соединений между компонентами, модулями и стойками.

При таких скоростях печатная плата всё сильнее становится частью самого электрического канала. Длина трассы, переход между слоями, переходное отверстие, разъём и свойства диэлектрика непосредственно влияют на его характеристики.

Это повышает требования к материалам с контролируемыми электрическими параметрами, точности геометрии проводников и электрическому контролю готовых плат.

Но дальнейшее увеличение возможностей медного канала не обязательно будет единственным решением. Там, где расстояние и требуемая пропускная способность делают электрическую передачу менее эффективной, часть соединений может переходить в оптическую область.

При этом оптика не устраняет печатную плату: между электрическим и оптическим участками появляются преобразователи, разъёмы и новые точки сопряжения.

Показателен и Ethernet. IEEE P802.3dj рассматривает скорости 200, 400, 800 Гбит/с и 1,6 Тбит/с, однако по состоянию на сентябрь 2026 года это проект стандарта, а не опубликованная окончательная спецификация.

15.3. Ускорители и память становятся более модульными

Рост систем искусственного интеллекта требует не только более производительных ускорителей, но и быстрого обмена данными между большим количеством вычислительных устройств.

UALink 200G 1.0 определяет высокоскоростное соединение для взаимодействия ускорителей внутри вычислительного комплекса и поддерживает масштабирование до 1024 ускорителей. Параллельно развивается CXL: спецификация CXL 4.0 увеличила скорость до 128 ГТ/с и расширила возможности построения систем с объединёнными портами и распределёнными ресурсами памяти.

Так вычислительная система становится более модульной. Память, ускорители и другие ресурсы могут располагаться отдельно от конкретного процессора, соединяясь с ним через высокоскоростную инфраструктуру.

Для электроники это означает больше быстрых каналов, разъёмов и межплатных соединений. Поэтому вместе с пропускной способностью возрастает значение механической точности: положение контактов, длина электрического пути и геометрия соединения становятся частью общего электрического расчёта.

15.4. Распределение питания будет переходить к более высоким напряжениям

При одинаковой мощности повышение напряжения уменьшает ток. Переход от 12 к 48 В при той же мощности уменьшает ток в четыре раза, а при неизменном сопротивлении проводников потери I²R — в шестнадцать раз.

Именно этот принцип лежит в основе перехода к более высокому напряжению распределения энергии в стоечных архитектурах. Однако рост мощности AI-систем снова увеличивает абсолютные токи, поэтому OCP развивает архитектуру 800 VDC для следующего поколения ЦОД.

В августе 2026 года OCP сообщил о совместной работе Google, Microsoft и NVIDIA над открытой стандартизируемой архитектурой такого распределения питания.

800 VDC относится к уровню распределения энергии, а не к напряжению питания самого процессора. Перед потребителем напряжение преобразуется в значительно более низкое.

Для электронной аппаратуры такой переход означает новые требования к силовым преобразователям, изоляции, зазорам между проводниками, соединителям, защитным цепям и безопасности производственного процесса.

15.5. Охлаждение будет приближаться к источнику тепла

При дальнейшем росте тепловой мощности воздух становится не единственным и не всегда достаточным способом отвода тепла. OCP и ASHRAE развивают подходы к жидкостному охлаждению ЦОД, включая прямой отвод тепла от кристаллов, холодные пластины, распределительные контуры и связанные с ними системы.

В такой архитектуре охлаждение становится частью электронной конструкции. Тепло проходит от полупроводникового кристалла через корпус и тепловой интерфейс к cold plate, а механическая конструкция должна выдерживать необходимый прижим. Одновременно требуется контролировать температуру жидкости и поверхности и исключать условия образования конденсата.

Чем ближе теплоотвод располагается к источнику тепла, тем теснее связаны электронная, тепловая и механическая части изделия.

15.6. Стойка превращается в самостоятельный уровень инженерной системы

В традиционной архитектуре сервер воспринимался как относительно самостоятельная машина. В высокоплотных вычислительных системах граница между сервером и инфраструктурой стойки становится менее заметной.

OCP рассматривает архитектуры AI-стоек в диапазоне от сотен киловатт до 1 МВт, одновременно связывая вопросы питания, охлаждения, механической конструкции и межсоединений. В материалах инициативы Open Data Centers for AI указаны дорожные карты к стойкам мощностью порядка 1 МВт.

Это не означает, что такие стойки становятся универсальным стандартом для всех ЦОД. Речь идёт о направлении развития наиболее плотных вычислительных систем.

Для производителя электроники следствие практическое: электронный модуль всё чаще рассматривается как часть стандартизированного интерфейса стойки, а не как полностью самостоятельное изделие.

15.7. Что изменения означают для архитектуры и печатной платы

Почти каждый технологический шаг решает одну проблему и одновременно создаёт новую.

Чиплетная архитектура позволяет разделить систему между несколькими кристаллами, но переносит часть сложности в корпус и межкристальные соединения. Более высокая скорость передачи данных сокращает время обмена, но уменьшает запас по электрическим характеристикам канала. Жидкостное охлаждение позволяет отводить большие тепловые потоки, но добавляет механические соединения, жидкостные контуры и требования к контролю. Переход к 800 VDC уменьшает токи распределения энергии, но повышает требования к изоляции и силовым преобразователям. Распределённые ресурсы памяти и ускорителей упрощают масштабирование, но увеличивают число высокоскоростных межсоединений.

Поэтому развитие электроники ЦОД нельзя свести к последовательной замене старых технологий новыми. Часть функций действительно переезжает на другой уровень, а оставшиеся элементы становятся более специализированными.

Если собрать вместе основные направления развития, изменения на уровне системы быстро превращаются в требования к PCB.

Направление

Что меняется в системе

Что это означает для PCB и производства

Рост вычислительной плотности

Больше тепла в меньшем объёме

Тепловые пути, медь, охлаждение компонентов

Чиплеты и передовые корпуса

Часть межсоединений переносится внутрь корпуса

Новое распределение функций между корпусом и платой

Рост скоростей

Уменьшается запас по параметрам канала

Контролируемый импеданс, малые потери, точная геометрия

UALink, CXL и другие высокоскоростные интерфейсы

Растёт число каналов и межплатных соединений

Более сложные многослойные структуры и соединители

Жидкостное охлаждение

Тепло отводится ближе к мощным компонентам

Новые механические и тепловые ограничения

Высоковольтное DC-питание

Энергия распределяется при большем напряжении

Требования к изоляции, зазорам и силовым преобразователям

Масштабирование стойки

Сервер становится частью большой системы

Стандартизация интерфейсов питания, охлаждения и управления

Оптические соединения

Часть длинных каналов переходит от меди к оптике

Электрооптические преобразователи и новые точки сопряжения

Роль печатной платы при этом не обязательно уменьшается. Если часть межсоединений уходит внутрь корпуса или в оптическую инфраструктуру, оставшиеся соединения становятся более требовательными к электрическим, тепловым и механическим параметрам.

Наиболее существенное изменение связано не с какой-либо одной новой технологией, а со способом проектирования системы.

Процессор нельзя рассматривать независимо от корпуса при многокристальной архитектуре. Корпус нельзя отделить от охлаждения при высокой плотности тепловыделения. Плату нельзя проектировать без учёта высокоскоростных каналов и питания. Стойку нельзя рассматривать отдельно от оборудования, которое она должна питать, охлаждать и обслуживать.

Такой подход уже проявляется в инициативах OCP, связывающих IT-оборудование с питанием, охлаждением, механической инфраструктурой, управлением и телеметрией на уровне всего ЦОД.

Границы между дисциплинами становятся условными: электроника, корпус, печатная плата, питание, охлаждение и стойка всё чаще проектируются как части одной системы.

Новые корпуса, интерфейсы, материалы, преобразователи и системы охлаждения будут появляться и дальше, а часть сегодняшних решений будет заменяться другими. Но базовая инженерная задача останется прежней: передать необходимую энергию и информацию с заданными параметрами, отвести возникающее тепло и сохранить характеристики системы в течение требуемого срока службы.

На уровне производства это означает, что сложность будущей электроники ЦОД будет определяться уже не только отдельной платой или микросхемой, а тем, насколько согласованно они работают с корпусом, питанием, охлаждением, соединителями и инфраструктурой.


Список источников

Список включает источники, непосредственно использованные при подготовке статьи: технические книги и монографии, стандарты, официальные спецификации, научные публикации, исторические документы и технические материалы производителей.

Книги и монографии

  1. Bogatin, Eric. Signal and Power Integrity — Simplified. 3rd Edition. — Pearson, 2021.
  2. Johnson, Howard W.; Graham, Martin. High-Speed Digital Design: A Handbook of Black Magic. — Prentice Hall, 1993.
  3. Erickson, Robert W.; Maksimović, Dragan. Fundamentals of Power Electronics. 3rd Edition. — Springer, 2020.
  4. Coombs, Clyde F., Jr. Printed Circuits Handbook. 6th Edition. — McGraw-Hill, 2008.

Стандарты IPC

  1. IPC-2221C. Generic Standard on Printed Board Design. — IPC, 2023.
  2. IPC-6012F. Qualification and Performance Specification for Rigid Printed Boards. — IPC, 2023.
  3. IPC-A-600M. Acceptability of Printed Boards. — IPC, 2025.
  4. IPC-A-610J. Acceptability of Electronic Assemblies. — IPC, 2024.
  5. IPC J-STD-001J. Requirements for Soldered Electrical and Electronic Assemblies. — IPC, 2024.
  6. IPC-9701B. Thermal Cycling Test Method for Fatigue Life Characterization of Surface Mount Attachments. — IPC, 2022.
  7. IPC-6018D. Qualification and Performance Specification for High Frequency (Microwave) Printed Boards. — IPC, 2022.
  8. IPC-1782B. Standard for Manufacturing and Supply Chain Traceability of Electronic Products. — IPC, 2023.
  9. IPC-2231A. DFX Guidelines. — IPC, 2021.
  10. IPC-2581C. Generic Requirements for Printed Board Assembly Products Manufacturing Description Data and Transfer Methodology. — IPC, 2020.
  11. IPC-4101E. Specification for Base Materials for Rigid and Multilayer Printed Boards. — IPC.
  12. IPC-2226. Sectional Design Standard for High Density Interconnect (HDI) Printed Boards. — IPC.
  13. IPC-7095E. Design and Assembly Process Implementation for BGAs. — IPC, 2024.
  14. IPC-7352. Generic Guideline for Land Pattern Design. — IPC, 2023.
  15. IPC-7525. Guidelines for Stencil Design. — IPC, 2021.
  16. IPC-7527. Requirements for Solder Paste Printing. — IPC.
  17. IPC-7530B. Guidelines for Temperature Profiling for Mass Soldering Processes (Reflow & Wave). — IPC, 2025.
  18. IPC-T-50, Revision N. Terms and Definitions for Interconnecting and Packaging Electronic Circuits. — IPC, 2021.

Российские и международные стандарты

  1. ГОСТ Р 72069-2025. Платы печатные. Общие технические условия.
  2. ГОСТ Р 53432-2025. Платы печатные. Общие требования к технологии производства.
  3. ГОСТ Р 53429-2009. Платы печатные. Основные параметры конструкции.
  4. ГОСТ Р 55490-2013. Платы печатные. Общие технические требования к изготовлению и приемке.
  5. ГОСТ Р 53386-2009. Платы печатные. Термины и определения.
  6. ГОСТ Р МЭК 60194-2-2019. Платы печатные. Проектирование, изготовление и монтаж. Термины и определения. Часть 2. Стандартное употребление в электронной технике, а также для печатных плат и техники электронного монтажа.
  7. ГОСТ Р 2.102-2023. Единая система конструкторской документации. Виды и комплектность конструкторских документов.
  8. ГОСТ 2.114-2016. Единая система конструкторской документации. Технические условия.
  9. ГОСТ Р 2.503-2023. Единая система конструкторской документации. Правила внесения изменений.
  10. IEC 60068-2-14:2023. Environmental testing — Part 2-14: Tests — Test N: Change of temperature.
  11. IEC 60068-2-30:2025. Environmental testing — Part 2-30: Tests — Test Db: Damp heat, cyclic (12 h + 12 h cycle).

ЦОД, охлаждение и архитектура оборудования

  1. ASHRAE. Thermal Guidelines for Data Processing Environments. 5th Edition. — ASHRAE, 2021.
  2. ASHRAE Handbook — HVAC Applications. Chapter 20: Data Centers and Telecommunication Facilities.
  3. Open Compute Project. Open Rack 1.0 Specification. — OCP, 2013.
  4. Open Compute Project. OAI-OAM Base Specification r2.0 v1.0. — OCP, 2023.
  5. Open Compute Project. Data Center Secure Control Module (DC-SCM) 2.1 Specification.
  6. Open Compute Project. Open Systems for AI Whitepaper.
  7. Open Compute Project. Powering the Next Era of AI: How Google, Microsoft and Nvidia Are Standardizing and Accelerating the Industry Transition to LVDC. — OCP, 2026.
  8. Open Compute Project Foundation; ASHRAE. Open Compute Project Foundation and ASHRAE Form New Alliance. — 2025.

Системы хранения и высокоскоростные интерфейсы

  1. SNIA. SNIA Dictionary and Educational Materials: Storage Controller, RAID, Solid State Drive (SSD).
  2. NVM Express. NVM Express Base Specification, Revision 2.4. — 2026.
  3. NVM Express. NVM Express over PCIe Transport Specification, Revision 1.4. — 2026.
  4. PCI-SIG. PCI Express Base Specification, Revision 7.0. — 2025.
  5. Compute Express Link Consortium. Compute Express Link Specification, Revision 4.0. — 2025.
  6. UCIe Consortium. UCIe 3.0 Specification. — 2025.
  7. UALink Consortium. UALink 200G 1.0 Specification. — 2025.
  8. IEEE 802.3. IEEE P802.3dj — 200 Gb/s, 400 Gb/s, 800 Gb/s, and 1.6 Tb/s Ethernet Task Force.

Управление и телеметрия

  1. DMTF. Redfish Specification. DSP0266.

Материалы и компоненты

  1. Panasonic Industry. MEGTRON 6 Family of PCB Materials.
  2. Rogers Corporation. RO4003C Laminates.
  3. Intel. Supported Sockets for Intel Xeon Processors.
  4. Texas Instruments. SLUA271C. QFN and SON PCB Attachment.

Надёжность и отказовые механизмы

  1. Turbini, Laura J. Conductive anodic filament (CAF) formation: an historic perspective. — Circuit World, Vol. 32, No. 3, 2006, pp. 19–24. DOI: 10.1108/03056120610700892.
  2. NASA Electronic Parts and Packaging Program (NEPP). Tin Whisker Anecdote: 20 Years to Failure.
  3. Lyu, J.; Malakoutian, M.; Rich, D.; et al. Diamond 3D Thermal Scaffolding for Ultra-Dense 3D Integrated Circuits. — 2024 IEEE International Electron Devices Meeting (IEDM), 2024. DOI: 10.1109/IEDM50854.2024.10873424.

Исторические и первичные материалы

  1. Eisler, Paul; Strong, Harold Vezey. Manufacture of electric circuits and circuit components. British Patent GB639178A. Priority date: 02.02.1943. Publication date: 21.06.1950.
  2. Nobel Prize. The Nobel Prize in Physics 1956. Materials on the discovery of the transistor effect.
  3. Nobel Prize. The Nobel Prize in Physics 2000. Popular information and materials on the invention of the integrated circuit.
  4. IBM. The IBM 1401.
  5. IBM. The IBM System/360.
  6. Intel. The First Programmable Microprocessor: The 4004.
  7. Patterson, David A.; Gibson, Garth A.; Katz, Randy H. A Case for Redundant Arrays of Inexpensive Disks (RAID). — University of California, Berkeley, Technical Report No. UCB/CSD-87-391, 1987.
  8. DataPro. Amdahl 470V/6. Report 70C-044-01, December 1975.
  9. Computer History Museum. Historical material on the Amdahl 470V/6.

Краткая справка о некоторых источниках

Eric Bogatin

Eric Bogatin — инженер и автор специализированных работ по целостности сигналов и питания высокоскоростных электронных систем.

Его книга Signal and Power Integrity — Simplified используется в статье для объяснения отражений, перекрёстных помех, целостности питания и других физических эффектов высокоскоростных соединений. Это инженерный справочник, а не нормативный документ.

Howard W. Johnson и Martin Graham

Авторы книги High-Speed Digital Design: A Handbook of Black Magic — одной из известных работ по физике высокоскоростной цифровой схемотехники.

Книга рассматривает линии передачи, отражения, перекрёстные помехи, шумы, переходные отверстия и другие эффекты, которые становятся существенными при росте скорости передачи.

Robert W. Erickson и Dragan Maksimović

Авторы фундаментального учебника Fundamentals of Power Electronics. Книга используется для описания силовых преобразователей, потерь, управления и физических принципов силовой электроники.

Clyde F. Coombs

Clyde F. Coombs — редактор Printed Circuits Handbook, одного из известных справочных изданий по печатным платам.

В статье он используется как справочный источник по конструкции и технологии PCB.

ASHRAE

ASHRAE — профессиональная организация в области инженерии отопления, вентиляции, кондиционирования и холодильных систем.

Для статьи особенно важны её рекомендации по ЦОД: температуре и влажности, воздушному и жидкостному охлаждению, тепловой инфраструктуре и условиям эксплуатации оборудования.

Open Compute Project

Open Compute Project (OCP) развивает открытые архитектуры серверов, стоек, систем хранения, питания, охлаждения и ускоренных вычислений.

Документы OCP позволяют рассматривать современный ЦОД как единую аппаратную инфраструктуру. В статье используются материалы по Open Rack, OAM, DC-SCM, AI-системам, жидкостному охлаждению и архитектуре 800 VDC.

DMTF

DMTF — организация, развивающая стандарты управления вычислительными системами и совместимости оборудования.

В статье используется Redfish — стандарт унифицированного управления серверами и инфраструктурой ЦОД, включая внеполосное управление.

PCI-SIG

PCI-SIG развивает стандарт PCI Express — одну из основных технологий высокоскоростного обмена данными в современных серверах.

Материалы PCI-SIG используются для характеристик поколений PCIe и физических параметров высокоскоростных соединений.

Compute Express Link Consortium

Консорциум CXL развивает стандарт взаимодействия процессоров, памяти и устройств расширения.

В статье CXL рассматривается как одна из технологий, меняющих архитектуру серверной памяти и взаимодействия вычислительных устройств.

UCIe Consortium

UCIe развивает открытый стандарт взаимодействия чиплетов.

В статье UCIe используется как пример переноса части межсоединений с уровня печатной платы на уровень многокристального корпуса.

Laura J. Turbini

Laura J. Turbini — исследователь в области надёжности печатных плат.

Её работа Conductive Anodic Filament (CAF) Formation: An Historic Perspective посвящена механизму образования CAF — скрытого отказа, связанного с электрохимической миграцией меди внутри материала печатной платы.

NASA NEPP

NASA Electronic Parts and Packaging Program занимается надёжностью электронных компонентов и аппаратуры.

В статье используется опубликованный NASA пример отказа, связанного с металлическими «усами» олова, спустя примерно 20 лет эксплуатации оборудования. Этот пример хорошо показывает, почему некоторые механизмы деградации невозможно оценить обычной выходной проверкой изделия.

Paul Eisler

Paul Eisler — один из ранних разработчиков технологии печатных электрических цепей.

В статье используется его патент GB639178A, поданный совместно с Harold Vezey Strong: документ имеет приоритет от 2 февраля 1943 года и был опубликован 21 июня 1950 года.

David Patterson, Garth Gibson и Randy Katz

Авторы работы A Case for Redundant Arrays of Inexpensive Disks, опубликованной в 1987 году.

Эта работа стала исходной публикацией концепции RAID и используется в исторической части статьи как пример формирования современной архитектуры систем хранения.

Nobel Prize

Материалы Nobel Prize используются только для исторической части статьи — при рассмотрении транзистора и интегральной схемы.

Нобелевская премия по физике 1956 года была присуждена Уильяму Шокли, Джону Бардину и Уолтеру Браттейну за работы с полупроводниками и открытие транзисторного эффекта. В 2000 году Джек Килби получил половину Нобелевской премии по физике за вклад в изобретение интегральной схемы.

IEEE IEDM

В статье используется научная публикация IEEE International Electron Devices Meeting 2024 года о трёхмерной тепловой структуре с поликристаллическим алмазом для сверхплотных интегральных систем.

Это пример перспективного исследовательского решения, а не действующего промышленного стандарта.

 


 

Задать вопрос Новости

Исследователи из Сингапура представили технологию сверхчистого изготовления двумерных гетероструктур — материалов толщиной в несколько атомов. Как…

Группа физиков разработала первый квантовый материал, способный работать при комнатной температуре и различать квантовые состояния света. Как…

Исследователи разработали прототипы тонкоплёночных электронных модулей, способных автоматически соединяться и разъединяться друг с другом. Разработка…

Развитие искусственного интеллекта и вычислительной инфраструктуры выявило ограничение традиционных электрических межсоединений в интегральных схемах.…

«Ростех» сообщил о внедрении комплекса новых технических решений в турбовентиляторном двигателе ПД-8, серийные поставки которого начались в августе…

Исследователи из университета науки и технологий и Университета Макгилла разработали p-n-диод, способный выполнять три различные функции без…

Данная статья, переведённая с английского специалистами А-КОНТРАКТ, посвящена разбору конкретного механизма отказов, при котором газовые включения,…