Закон Мура, описывающий темпы эволюции электронного мира, пока еще применим в отношении настольных систем, ноутбуков, карманных устройств, но перестает быть справедливым в мире крупномасштабных высокопроизводительных центров обработки данных (ЦОД). Лозунги типа «лучше, дешевле, быстрее, меньше», актуальные в потребительской электронике и вычислительной технике на протяжении нескольких десятков лет, к сегодняшнему ландшафту крупных ИТ-подразделений не применимы

 

Те новые тенденции, которые определяют облик ЦОД нового поколения на предстоящие пять лет, очерчивают весьма острые проблемы, связанные с безудержным ростом уровня их энергопотребления в условиях резко возрастающего дефицита энергомощностей. По оценкам аналитиков Uptime Institute, в ближайшие пять лет стоимость эксплуатации этих объектов возрастет от 5 до 15 раз.  

Из-за огромных объемов энергопотребления центры обработки данных становятся фокусом нападок со стороны ратующих за бережное отношение к энергоресурсам общественных движений, а решение проблем диверсификации путей энергоснабжения переходит на общегосударственный и международный уровень. Муниципалитеты крупных городов просто ограничивают максимальную мощность для новых объектов, а в некоторых городах Европы (Амстердам) вообще запрещено создание новых объектов — потребителей электроэнергии, в том числе центров обработки данных. В прошлом году в московской энергосистеме был зафиксирован рекордный уровень нагрузки 16,2 тыс. МВт, и власти города даже были вынуждены ввести режим жесткой экономии электроэнергии. По оценкам самих энергетиков, дефицит энергомощностей в условиях динамично развивающейся экономики будет продолжать расти еще более быстрыми темпами и станет на предстоящее пятилетие одним из наиболее серьезных препятствий для развития бизнеса в нашей стране — дальше никто загадывать не берется.

Вместе с тем строительство ЦОД, являющихся крупными потребителями электроэнергии наряду с промышленными предприятиями, приобретает все более широкий размах. Причем наиболее активно этот процесс идет именно там, где развивается бизнес. Один из эффективных путей решения проблемы энергоснабжения ЦОД состоит в поиске конструктивных решений и технологий, позволяющих существенно снизить энергопотребление этих объектов и одновременно с этим обеспечить высокие требования к уровню их надежности.

По данным аналитического департамента АРС, структура потребления электроэнергии современного ЦОД выглядит следующим образом: системы охлаждения (чиллеры, прецизионные кондиционеры, системы вентиляции) потребляют 50 %, компьютерная нагрузка — 36 %, источники бесперебойного питания (ИБП) — 11 %, освещение, пожарная сигнализация — 3 %.

Исследования, проведенные экспертами Uptime Institute, показывают, что энергопотребление ЦОД может быть снижено на 50 %, если в компании надлежащим образом решаются вопросы выбора и размещения оборудования и устанавливаемых приложений, соотношения производительности и эксплуатационных затрат. По данным аналитического департамента АРС, резервы экономии электроэнергии кроются в следующих направлениях: до 40 % — при использовании методов виртуализации серверных мощностей, до 15 % — при выборе эффективной архитектуры кондиционирования помещения, до 12 % — при правильной планировке фальшпола, до 10 % — при выборе эффективного оборудования электропитания. Эти цифры справедливы для ЦОД с высоким уровнем резервирования (2N), которые обычно функционируют при нагрузке 30 %. Для ЦОД с низким уровнем резервирования показатели экономии могут составлять половину от приведенных выше.

Эволюция классов

За последние 40 лет в эволюции дизайна инфраструктуры вычислительных центров можно выделить четыре этапа, которые нашли отражение в классификации этих объектов. Исторически вычислительные центры первого поколения стали строиться в начале 1960-х годов, второго — в 1970-х, третьего — в конце 1980-х — начале 1990-х. Появление центров обработки данных четвертого поколения датируется 1994 г.

Проектирование и планирование ЦОД регламентируется американским стандартом ANSI TIA/EIA-942 (TIA-942) «Telecommunications Infrastructure Standard for Data Center». Специалисты руководствуются также европейским стандартом CENELEC/EN 50173-5.200Х, принятие которого ожидается в этом году. Стандарт TIA-942 описывает общую структуру, основные элементы и топологию ЦОД и охватывает все разнообразие подсистем ЦОД, включая систему электроснабжения.

Одна из важнейших характеристик центров обработки данных — это уровень энергопотребления на единицу площади. Начальный уровень энергетической нагрузки на единицу площади для ЦОД класса I составляет 20-30 Вт/кв. фут(215-322 Вт/кв. м),в ЦОД II и III класса этот показатель равен соответственно 40-50 Вт/кв. фуг (430-537 Вт/кв. м) и 40-60 Вт/кв. фут (430-645 Вт/кв. м), в ЦОД IV класса — 50-80 Вт/кв. фут (537-860 Вт/кв. м). Максимальное удельное энергопотребление в центрах III класса достигает 100-150 Вт/кв. фут, а в центрах IV класса превышает 150 Вт/кв. фуг.

Проблема планирования плотности энергопотребления при строительстве ЦОД сегодня усугубляется тем, что для инфраструктуры современного ЦОД характерно большое количество циклов обновления, но при этом трудно прогнозировать реальную удельную потребляемую мощность в обозримом будущем. При строительстве ЦОД большой запас по мощности может привести к чрезмерным капитальным затратам и низкой операционной эффективности. Эксперты АРС уже сталкивались на практике со спецификацией плотности энергопотребления 600-1000 Вт/ кв. фут (6450-10750 Вт/кв. м) в ЦОД нового поколения.

По информации GE, в среднем электропотребление 1 стойки за последние 5 лет выросло с 3-5 кВт до 30 кВт. Решения АРС способны отвести сегодня от стойки до 60 кВт тепла. При проектировании ЦОД более правильной в настоящее время признается модель, в которой учитывается не только цена единицы занимаемой площади, но и стоимость потребляемой электроэнергии оборудования, размещенного на ней.

К сожалению, до сих пор не существует единого российского ГОСТа, где были бы определены требования к ЦОД. На практике при расчете системы энергоснабжения подобных объектов проектировщики руководствуются действующим на территории РФ регламентирующим актом «Правила устройства электроустановок (ПУЭ)». Этот документ выделяет категории надежности электроснабжения (объекты I, II категории и объекты особой группы первой категории) и дает общие рекомендации по обеспечению каждого из уровней.

Стандарт TIA-942 определяет четыре уровня бесперебойной работы ЦОД. Первый уровень составляет 99,67 %, что соответствует запланированному времени простоя не более 28,8 часов в год. Уровень надежности ЦОД IV класса составляет 99,995 %, что означает суммарный перерыв в работе не более 15 минут в год. В отличие от первого уровня четвертый предполагает полное резервирование. На практике даже при значительном улучшении дизайна компьютерного оборудования ЦОД, построенные за последние пять лет и заявляющие функциональность IV уровня, в действительности часто соответствуют I, II и III уровню. Центры первого и второго класса могут занимать часть какого-либо помещения, а объекты III и IV класса размещаются в отдельных зданиях.

Требования к энергетической системе ЦОД IV уровня надежности также предусматривают полное резервирование. Такой центр должен быть оснащен как минимум двумя полностью независимыми электрическими системами, начиная от фидеров электропитания и входных магистралей от провайдеров услуг связи и заканчивая дублированием блоков питания серверных лезвий. Более детально положения стандарта TIA 942 в части, касающейся энергоснабжения ЦОД, будут изложены в одном из ближайших номеров ВС.

Параллельные конфигурации

При проектировании ЦОД приходится балансировать между взаимоисключающими требованиями, касающимися сдерживания растущих мощностей энергопотребления и обеспечения необходимого уровня бесперебойной работы. Вычислительные мощности центров обработки данных защищаются на нескольких энергетических рубежах: помимо входных фидеров бесперебойное и качественное питание обеспечивают дизель-генераторы и ИБП переменного тока. Для достижения требуемого уровня доступности ЦОД используют различные схемы дублирования компонентов защиты энергетической системы и путей подключения нагрузки. При полном резервировании вся энергетическая система состоит из двух частей, зеркально повторяющих друг друга (см. рисунок). Каждое «плечо» такой системы резервируется посредством параллельной схемы подключения ИБП, выбираемой в зависимости от класса доступности ЦОД: для III класса используется схема N+1 с одним активным и одним пассивным фидером, а для IV класса 2N с двумя активными фидерами.

Современная нагрузка, как правило, представляет собой вычислительные комплексы, у которых предусмотрены сдвоенные двухканальные блоки питания. Принцип работы таких систем — два блока работают параллельно, подключаясь к двум независимым линиям питания. При этом обеспечивается баланс нагрузки, так что суммарная потребляемая мощность делится пополам. Возможна и другая схема, когда один блок питания работает на полную мощность, а второй находится в горячем резерве.

Параллельная схема резервирования нагрузки подразумевает, что два или более ИБП с объединенными выходами, питающими единую нагрузку, включают в параллель, и после объединения выходов все ИБП разделят нагрузку поровну. Если к параллельной системе подключить нагрузку, мощность которой не превышает сумму номинальных мощностей всех ИБП без одного (схема N+1), то неисправность и отключение одного ИБП не приведут к проблемам с питанием нагрузки — один ИБП можно отключить от нагрузки, а остальные плавно возьмут на себя его часть. Для того чтобы заставить два или более ИБП работать в параллель, необходимо очень точно синхронизовать фазы выходного напряжения всех ИБП.

Традиционно параллельные системы с резервированием создавались путем установки блока управления работой всех ИБП. Этот компонент является узким местом параллельной схемы, в подавляющем числе систем он оказывается нерезервированным, а его отказ чреват переходом на байпас всех источников. Многие производители реализуют более надежные алгоритмы управления параллельной архитектурой с распределенной логикой управления, позволяющей, например, закрепить роль ведущего (master) за тем источником, который включается первым. Если с таким устройством что-либо происходит, то ближайший из оставшихся источников (slave) берет на себя функции ведущего. В случае неадекватного поведения одного из них право на его отключение имеют все оставшиеся устройства, при этом работоспособность системы сохраняется, если их мощность достаточна для поддержки питаемой нагрузки. Как и любая параллельная система, данная архитектура позволяет отключить на профилактику один из ИБП, не прекращая подачу «чистого» электропитания нагрузке. Недостаток архитектуры системы параллельного управления master-slave в том, что будучи единым блоком или распределенной по всем ИБП системой управления, он представляет собой выделенную нерезервированную систему управления, и ее выход из строя может привести к проблемам с нагрузкой.

Один из перспективных методов синхронизации и распределения нагрузки реализован в технологии Hot Sync, разработанной и запатентованной в Invensys Power Systems, унаследованной компанией Eaton (см. врезку «HotSync исключает точку отказа»). В отличие от параллельных систем других производителей, в этой технологии между источниками отсутствуют коммуникативные связи, и устройства не обмениваются друг с другом информацией, связанной с синхронизацией, управлением и поддержанием равномерности распределения нагрузки. В основе метода лежит алгоритм проверки любых отклонений выходной мощности ИБП, при этом каждое устройство работает независимо и в режиме полной синхронизации с остальными. В результате устройства автоматически делят нагрузку, и каждое из них, в случае отказа инвертора или какого-либо иного критического события, способно самостоятельно отключить себя от выходной шины, питающей нагрузку.

Монолиты против модулей

Параллельная конфигурация взята за основу производителями модульных ИБП. Их удобство состоит в том, что модульная архитектура позволяет нести затраты только на необходимое на данном этапе оборудование и оставляет гибкие возможности постепенно наращивать мощности в будущем. Сторонники модульной архитектуры подчеркивают, что данный подход более приемлем для ЦОД, поскольку отказ одного из компонентов (модулей) не приведет к отказу всей системы. Такие решения представлены в продуктовых линейках компании АРС (Symmetra LX, PX, MW в составе InfraStruXure), Emerson (Liebert-Hiross Nfinity), Newave (Concept Power), Rittal (ИБП в составе RimatriX5), Socomec-Sicon (Modulys). Противники модульной архитектуры отмечают, что с функциональной точки зрения модульные системы предназначены, прежде всего, для повышения надежности, но сама идеология их построения — увеличение количества элементов с последующим их объединением на шине переменного тока — частично противоречит поставленной задаче. Узким местом может стать и точка управления, избежать которую позволяет установка двух контроллеров.

Подключение всех модулей к общему батарейному блоку по единой шине создает дополнительную уязвимость. Кроме того, серьезная авария (например, короткое замыкание) в одном из модулей такого массива никогда не происходит изолированно — кроме одного сгоревшего блока необходимо проверить (а возможно и заменить) и соседние, расположенные снизу и сверху.

Специалисты также указывают на необходимость выполнения чрезвычайно качественного разъема, посредством которого силовой модуль устанавливается в корзину. В монолитных системах, особенно там, где протекают высокие токи, для обеспечения хорошего контакта силовые кабели обычно привинчиваются к силовым шинам и затягиваются болтами с определенным усилием. В соответствии с отечественными нормами эксплуатации электротехнических систем, необходимо периодически проводить регламентные работы, связанные с проверкой контактов. Соблюдение этих требований тем критичнее, чем более высокие токи протекают в системе. Очевидно, в каждом конкретном случае надо рассматривать возможные варианты построения системы, учитывая не только надежность, но и системотехнические, технологические и экономические аспекты.

Эксперты Eaton Power Quality Oy приводят следующие расчеты: при использовании одиночного ИБП вероятность отказа системы «сеть-ИБП» составляет в среднем 2,4 %, включенного последовательно резервного ИБП — 1,2 %, модульной системы — 1,1 %, параллельной системы традиционной архитектуры 0,9 %, параллельной системы с поддержкой технологии Hot Sync — 0,1 %.

Резервы экономии

Коэффициент полезного действия ИБП (КПД) — чрезвычайно важный параметр, его указывают все производители в спецификации к своему оборудованию. Для ИБП мощностью 100 кВА КПД=93 % означает, что 7 % мощности рассеивается в тепло и ИБП помимо выполнения непосредственной функции по защите питания представляет собой еще и печку мощностью около 7 кВт. При этом мало кто из производителей сообщает своим заказчикам, что приведенные данные справедливы при 100 % нагрузке. Для бестрансформаторных ИБП хороший показатель КПД равен примерно 94-95 %, для трансформаторных — 92 % при полной нагрузке. Казалось бы, разница невелика. Однако ИБП, работающие в ЦОД, на 100 % никогда не нагружены из-за высокого уровня резервирования. Для определения реального уровня КПД у производителей необходимо запрашивать графики зависимости КПД конкретной модели ИБП от уровня нагрузки.

Юрий Копылов, технический директор московского филиала Eaton Power Quality Oy, поясняет, почему это важно: «Если разница КПД двух моделей ИБП составляет всего 1 %, это может дать заметную экономию электроэнергии, которая год от года дорожает». Он приводит пример: стоимость 1 кВт/ч электроэнергии для промышленных предприятий в Европе (Бельгия) составляет 15,1 евроцентов, в нашей стране — 1,45 руб. За 100 кВт/ч придется заплатить в Бельгии 15,1 евро, в России — 145 рублей (около 4,5 евро). Выигрыш в 1 % КПД при нагрузке 100 кВт позволяет сэкономить в год 1 % х 100 кВт х 24 ч х 365 дней = 8760 кВт. В денежном выражении для Бельгии это составит 0,151 х 8760 = 1323 евро в год, а в России — 0,045 х 8760 = 394 евро. С учетом охлаждения эти цифры составят 1650 и 492 евро в год соответственно.

В непосредственной зависимости от КПД находится и такой показатель как время автономной работы ИБП.

При работе ИБП часть энергии теряется на выпрямителе, часть на инверторе. Вклад этих потерь по отношению к нагрузке значительно выше у ИБП с худшим показателем КПД, и разница во времени автономной работы для двух ИБП с разными КПД может оказаться очень заметной.

Заводи мотор!

Константин Соколов, руководитель экспертного отдела компании «Аби-тех», отмечает специфическую особенность работы ДГУ при переходе на автономное питание ЦОД. Высокий уровень резервирования нагрузки в центрах обработки данных в сочетании с ошибками в проектировании может привести к неочевидному, но отрицательному эффекту. Если в ЦОД используется резервный дизель-генератор, и оба ДГУ нагружены не более чем на 50 %, а в параллельной системе ИБП нагружены менее чем на 100 %, то в конечном итоге мощность ДГУ может значительно превысить реальную мощность нагрузки.

Производители ИБП, указывая характеристики КНИ потоку на входе, сообщают их значения при 100 % нагрузке. Однако если выпрямитель нагрузить менее чем на 100 %, то КНИ по току будет значительно выше заявленного. В этой ситуации специалисты сталкивались с таким явлением. Система регулирования ДГУ начинает компенсировать нелинейность, но, как правило, без специальных ухищрений сделать этого не может. В результате у генератора начинается «заброс» по напряжению — система регулирования начинает увеличивать ток в обмотке возбуждения, что приводит к увеличению напряжения. Генератор пытается снизить его путем уменьшения тока в обмотке возбуждения. Это может привести к тому, что с выхода генератора будет поступать меньше мощности на нагрузку и напряжение совсем пропадет. Поскольку система не оптимизирована на протекание высоких токов, она испытывает дополнительные потери мощности и перегрев. При сильно недогруженном ИБП генератор может просто отключиться, выдав ошибочное сообщение о завышении частоты «Over Frequency». Во избежание этой ситуации необходимо правильно рассчитывать схемы резервирования, либо применять адекватные системы фильтрации, ИБП с IGBT-выпрямителями, или бустерные системы, обеспечивающие низкий уровень КНИ по току.

В установившемся режиме чрезмерное завышение мощности ДГУ над мощностью ИБП может иметь и другие неприятные последствия. В режиме холостого хода дизель-генератора наблюдаются следующие процессы. Переход ДГУ в режим малого хода сопровождается резким уменьшением подачи топлива. Для работы на более низкой частоте система автоматически меняет пропорции газовой смеси — резко снижает количество подаваемой в камеру газовой смеси и нагнетает соответствующее количество воздуха. Понижение частоты вращения двигателя приводит к уменьшению давления впрыскивания, в результате чего распределение смеси происходит неравномерно.

При нагревании легкие фракции испаряются и сгорают, а более тяжелые осаждаются на металлических поверхностях в виде стойких отложений. Несгоревшие фракции топлива осаждаются на стенках цилиндров, попадают в подпоршне-вую полость, налипают в выхлопном тракте. При очередном увеличении нагрузки из-за повышения температуры выпускных газов может произойти воспламенение отложений в подпоршневых областях, продувочном и выпускном ресивере, что угрожает серьезными авариями двигателя. Поэтому следует избегать длительной работы ДГУ в режиме малых нагрузок (!). Для поддержки ресурсов агрегата необходимо периодически проводить «прожиг» — подключать машину к определенной нагрузке и эксплуатировать в течение установленного времени.

Дизель-генераторная установка и источник бесперебойного питания рассчитаны на работу в различных эксплуатационных режимах, поэтому их категорически недопустимо устанавливать рядом в одном помещении ЦОД. Впрочем, бывает и так, что ДГУ и ИБП находятся слишком далеко друг от друга, что также ведет к ряду сложностей — при прокладке кабелей требуются непростые кабельные разводки, которые не должны мешать прочей инфраструктуре, особенно в центре города.

В новой серии трехфазных систем SG производства GE Consumer & Industrial каждый ИБП работает в режиме VFI (Voltage Frequency Independent — напряжение и частота независимы). Серия SG характеризуется высокой степенью защиты от искажений на входе, она разработана с использованием методологии «Шесть Сигма», благодаря которой обеспечивается высокий класс надежности и производительности. Надежность повышается при параллельном подключении до восьми ИБП на основе разработанной GE фирменной технологии RPA (Redundant Parallel Architecture). С помощью RPA любой ИБП управляется по принципу равноправных устройств с резервированием всех критичных элементов и функций, исключая нерезервируемые точки отказа. При необходимости мощность системы, состоящей из параллельно работающих ИБП, может быть изменена посредством отключения или подключения к системе дополнительных ИБП через децентрализованный байпас.

В апреле ожидается анонс новой системы SE Digital Power производства GE Consumer & Industrial, ориентированной на применение в ЦОД. Собранная из гарантированно совместимых компонентов и протестированная в полном объеме, эта система представляет собой готовое комплексное решение: система шкафов помимо встроенного ИБП (или параллельной системы ИБП) включает также вводные устройства, АВР дизелей, системы учета, устанавливаемые на устройства распределения нагрузки, позволяющие тарифицировать отдельно каждого клиента.

Слабое звено

Неотъемлемым звеном ИБП переменного тока и электропитающей установки постоянного тока являются аккумуляторные батареи (АБ). Стандарт TIA-942 рекомендует применение в центрах обработки данных герметичных необслуживаемых аккумуляторов, изготовленных по технологии VLRA (свинцово-кислотных герметизированных батарей с регулирующими клапанами). Важный параметр аккумуляторной батареи — срок ее службы. Этот параметр обычно декларируется производителем АКБ при соблюдении нескольких важных условий — температуры эксплуатации, числа циклов разряд/заряд, глубины разряда, вольт-амперной характеристики при заряде и т. д. Одним из наиболее критичных параметров, влияющих на срок службы АКБ, является температура. Существует оптимальный температурный диапазон, при котором обеспечиваются наилучшие параметры АБ как по сроку службы, так и по емкости.

Многие производители ИБП используют технологии оптимизации режима подзаряда аккумуляторов, позволяющие продлить срок службы АБ и усовершенствовать диагностику состояния аккумуляторов. Основным является использование температурной компенсации параметров заряда с использованием термодатчиков, измеряющих температуру в батарейном шкафу. Благодаря применению технологии периодического подзаряда, обеспечивающей периоды отдыха аккумулятора, достигается меньшая внутренняя коррозия пластин батарей.

Фирменная технология Advanced Battery Management (АМВ) компании Eaton позволяет увеличить срок службы батарей на 50 %. Это достигается за счет предотвращения износа положительного электрода путем заряда лишь тогда, когда это необходимо: ток непрерывной подзарядки отсутствует более 90 % времени. Технология АВМ обеспечивает и температурную компенсацию: система выполняет регулировку напряжения заряда батарей в соответствии с температурой внутри корпуса ИБП переменного тока.

Соблюдение регламента технического обслуживания АБ — один из важнейших факторов обеспечения заявленного срока их службы. Одним из следствий нарушения условий эксплуатации может стать реакция со срывом в режим «терморазгона», способным привести к разрушению батареи. Классические аккумуляторы с гелевым электролитом достаточно устойчивы к данному явлению, хуже ведут себя в этом отношении батареи AGM. Зона, в которой размещаются батареи и ИБП в ЦОД, часто отделена от серверного зала. Для этого тяжелого оборудования укрепляется основа пола — заливается бетонная «подушка», либо устанавливается металлическая разгрузочная рама. Другая причина, по которой ИБП выносится за пределы серверного зала, — высокая стоимость единицы площади помещения и внутреннего пространства стоек, нуждающихся в усиленном кондиционировании.

Система заземления

Электронное оборудование весьма чувствительно к повышенному или изменяющемуся напряжению между системами рабочего и защитного заземления. Практика обследования систем электропитания офисных зданий показывает, что кроме проверки сопротивления изоляции, сопротивления петли «фаза-ноль», работоспособности автоматических выключателей, особой тщательности требует проверка качества выполнения системы заземления здания, системы мол-ниезащиты и системы защиты от грозовых и коммутационных перенапряжений. Если к системе заземления здания нет доверия, или ее характеристики невозможно измерить (ситуация часто встречается в районах с плотной застройкой), она выполняется заново. Более подробно о проблемах защиты электрооборудования ЦОД от токов утечки читайте в одном из ближайших номеров ВС.

От хостинга до коммерческого ЦОД

Количество реализуемых в нашей стране проектов по построению центров обработки данных растет из года в год быстрыми темпами. Особенно высокий спрос проявляется на услуги хостинга и размещения оборудования корпоративных заказчиков и операторов связи (telehousing). В 2003 г. компания WideXs, провайдер интегрированных ИТ-решений, вывела на рынок Москвы один из первых коммерческих ЦОД с оригинальной модульной структурой, в которой оборудование размещается в автономных модулях, и начала предоставлять услуги по обеспечению непрерывности бизнеса. Заказчикам предоставляются автономные офисные блоки с организованными рабочими местами. Первый технический модуль на 200 кв. м был заполнен оборудованием довольно быстро, в 2005 г. был сдан второй модуль на 200 кв. м, в котором размещаются известные в Москве проекты ИТ-компаний, и третий модуль размером примерно 100 кв. м — под заказчиков кредитно-финансового сектора. Вместе с офисными блоками к концу 2005 г. была освоена площадь около 1700 кв. м и в 2006 г. началось строительство 4-го модуля на 200 кв. м в новой секции ангарного помещения. В настоящее время этот модуль сдан в эксплуатацию и заполнен оборудованием на 80 %. Заканчивается строительство второго этажа внутри ангара — над 4-м техническим модулем — где размещаются офисы заказчиков. Решается вопрос о строительстве в ближайшее время в этой секции помещения еще двух технических модулей по 200 кв. м каждый. С завершением строительства ЦОД на ул. 8-го Марта получит свой законченный вид, предназначенный для прогрессивного хостинга на основе аутсорсинга.

Модульный принцип построения ЦОД в одно-функциональном здании обеспечивает повышенную живучесть и надежность центра и предоставляемых заказчикам услуг. Одновременно компания предоставляет такие телекоммуникационные услуги как глобальные соединения по IP, IP-MPLS, выделенным каналам в разные страны. Размещая оборудование в ЦОД, заказчик уверен — он попадает в глобальное информационное пространство и имеет возможность воспользоваться сетями практически любого оператора связи Москвы. Как пояснил заместитель генерального директора WideXs профессор Ю.Н. Прохоров, благодаря высокой надежности, близкому размещению резервных офисов и удобству обслуживания, большая часть ресурсов нового центра уже затребована заказчиками.

Краткие технические характеристики центра таковы. К зданию подведено три фидера электропитания от разных энергетических подстанций. Для обеспечения стабильного электропитания каждый модуль защищен группой источников бесперебойного электропитания Libiert-Hiross. Общая мощность группы составляет около 1000 кВА. Каждая группа ИБП размещается в отдельном закрытом блоке с кондиционированием, ГРЩ. К электрощитам стоек через АВР проложены медные кабели. Автоматы резерва коммутируют нагрузку между фидерами и тремя дизель-генераторами, необходимыми при переключении на автономное электропитание. Мощность ИБП обеспечивает 45 мин. бесперебойной работы до переключения на дизель-генераторы. Дизель-генераторы марки FGWilson производства Великобритании без дозаправки обеспечивают 48 часов бесперебойной работы ЦОД. Они размещаются за пределами здания в специальных контейнерах компании «Техносервис». Техническое обслуживание производится один раз в год. Ведется журнал обслуживания в соответствии с нормативными требованиями.

Каждый модуль имеет блок кондиционеров марки Libiert-Hiross, Clima System, работающих на фреоне. Блок построен по схеме резервирования 3+1 или 2+1 в зависимости от размера модуля. Системы газового пожаротушения также размещены в каждом модуле и запускаются автоматически. Система оповещения «Шрак-Интеграл» подает сигналы тревоги. Газ и дым удаляются из модуля после ликвидации аварийной ситуации. Система мониторинга и видеонаблюдения обеспечивает круглосуточный контроль за состоянием ЦОД. Ведется журнал событий, который позволяет воспроизвести все происшествия за 2 месяца до текущей даты.

Телекоммуникационные возможности нового центра реализуются на базе инфраструктуры, которая включает волоконно-оптические вводы с сетей практически всех московских операторов связи, коммутационное оборудование для подключения к их сетям, а также узел доступа MSK-IX, — системы пиринга Рунет. В настоящее время в Европе у компании WideXs, как представителя международного холдинга ION-IP, имеются еще три центра обработки данных.

От теории к практике...

Один из наиболее крупных московских проектов по строительству центров обработки данных на Варшавском шоссе, 125 (дата-центр М1) реализовала «Группа компаний СТЕК» (Stack Group). Данный объект стал частью первой и единственной пока в России сети географически распределенных дата-центров под торговой маркой Stack Data Network. В настоящее время в сеть входят три дата-центра: основные вычислительные мощности расположены на столичных объектах, а площадка в Пущино (100 км от Москвы) предназначена главным образом для создания катастрофоустойчивых резервных комплексов.

Общая площадь сети дата-центров составляет более 3000 кв. м (вместе с инженерными системами — более 6000 кв. м). Все технологические площадки соединены с крупнейшими операторами связи и объединены между собой резервированным волоконно-оптическим кольцом. Только такое решение обеспечивает бесперебойное функционирование в аварийных и чрезвычайных ситуациях и дает наивысшую степень сохранности данных и их защиту от несанкционированного доступа. Дата-центры оборудованы резервированными системами климат-контроля, пожарной сигнализации, пожаротушения, бесперебойного электропитания, мощными генераторными установками, а также системами видеонаблюдения и авторизованного доступа.

На базе собственной сети дата-центров Stack Group предоставляет полный комплекс услуг по ИТ-аутсорсингу: оказывает услуги по размещению и сопровожению ИТ-систем клиентов, предоставляет в аренду серверное и телекоммуникационное оборудование, сервисы резервного копирования, специализированные решения в области защиты информации и многое другое. Один из наиболее ответственных участков работы по электроснабжению и кондиционированию Stack M1 осуществляет компания HeuHaus.

При проектировании системы электроснабжения объекта Stack M1 специалисты «НойХаус» руководствовались требованиями к безопасности и надежности ЦОД четвертого класса доступности. Все компоненты системы электроснабжения этого объекта взаимно дублируются — начиная с вводов от трансформаторных подстанций и заканчивая поддерживающими нагрузку системами бесперебойного электропитания.

Помещение ЦОД общей площадью серверного зала 1100 кв. м состоит из двух секций, одна их которых уже введена в эксплуатацию. Для обеспечения требуемого уровня доступности ЦОД его электропитание обеспечивают три независимых фидера от двух подстанций. Два рабочих фидера сходятся на одной подстанции, один резервный — на другой, при этом фидеры попарно коммутируются. Дублирование вводов между двумя подстанциями позволяет оперативно перебрасывать нагрузку между двумя секциями.

Каждая из двух секций ЦОД защищена собственной группой источников бесперебойного питания марки NeuHaus итальянского производства. Общая мощность всех агрегатов бесперебойного питания составляет 5,6 МВА. Первую группу формируют четыре ИБП по 600 кВА каждый, установленные в параллель по схеме резервирования 3+1. Вторая группа включает четыре ИБП по 800 кВА каждый, они также установлены в параллель по схеме 3+1. Каждая из групп ИБП размещается в отдельной щитовой комнате, где размещен главный распределительный щит (ГРЩ), к которому от фидеров проложены медные шины (ток достигает 4500 А) и автоматы ввода резерва (АВР). Помимо АВР, которые переключают нагрузку между фидерами, используется дополнительный АВР для подключения дизеля при переходе на автономное питание в случае аварии.

От ИБП к установленным в вычислительном зале распределительным шкафам идут специальные шинопроводы. На этом участке величина токов достигает 3600 А, поэтому использование шинопровода здесь более оправдано: в случае использования кабеля пришлось бы подбирать очень большое сечение. От распределительного шкафа кабели идут к стоечным шкафам PDU (Power Distribution Unit) и далее расходятся к серверным стойкам. К каждому ИБП подключены по четыре батарейных шкафа, в которых установлено по линейке из 40 аккумуляторов.

Суммарный вес аккумуляторов составляет 40 тонн, поэтому пришлось укрепить фундамент. Поскольку на серверные стойки подается «чистая синусоида», нет необходимости устанавливать ИБП внутри них. Это существенно экономит арендуемое пространство.

Валерий Суханов, эксперт компании НойХаус, поясняет: «Не существует такого ИБП, который бы сопротивлялся отключению питания бесконечно долго. Время, в течение которого этот агрегат способен держать нагрузку при полном отключении внешнего питания, в значительной степени зависит от используемых в ИБП аккумуляторных батарей. Применяемые в проекте аккумуляторные батареи рассчитаны на время автономной работы, необходимое для запуска резервных ДГУ».

Дизельная группа включает четыре электрогенератора производства компании Cummins из Великобритании общей мощностью около 8 МВА.

Два ДГУ мощностью по 1675 кВА соединены в параллель и подключены к группе ИБП 800 х 4. ДГУ 2250 кВА «держит» группу ИБП 4 х 600, а другой ДГУ, такой же мощности, обеспечивает автономное электроснабжение чиллеров и кондиционеров. Соотношение мощностей ДГУ и ИБП рассчитано, исходя из реальной мощности нагрузки. Например, в группе 800 х 4 реальная нагрузка составляет не более 2,4 МВА, к ней подключены ДГУ суммарной мощностью 3,3 МВА. Если же принять во внимание все компоненты и уровни резервирования нагрузки, окажется, что система из трех ИБП общей мощностью 2,4 МВА нагружена лишь на 60 %, что увеличивает время автономной работы системы.

Дизельные установки требуют своевременного проведения технического обслуживания (ТО). Обычно раз в полгода меняется масло, раз в год производится смена охлаждающей жидкости. С такой же периодичностью производится очистка топливных баков, проверка арматуры, после чего делаются пробные запуски установки. Даже если отсутствуют тревожные события, дизель-генератор раз в месяц включается на тестовый запуск на 2-3 часа. Ежедневно проверяется заряд аккумулятора, системы подогрева, ведется специальный журнал.

Дизели установлены на улице вблизи здания ЦОД и помещены в специальные контейнеры производства NeuHaus. Контейнер — это сложная шумо- и теплоизолированная конструкция с внутренней обвязкой. В ней используются система вентиляции — жалюзи, автоматически открывающиеся при запуске двигателя и закрывающиеся при его останове, и система отвода отработанных газов на уровне 6 этажа здания. Контейнер оснащен системой безопасности — пожарно-охранной автономной сигнализацией, аэрозольно-пожаротушением, системой подогрева антифриза от дизеля. Продумано и такое удобство как основное и резервное освещение.

Помимо энергоснабжения ЦОД проект включал также кондиционирование помещения, на которое расходуется до 40 % всей электроэнергии. Для обеспечения надлежащих климатических условий используются 34 прецизионных кондиционера Liebert-Hiross мощностью 120 кВА по холоду каждый, и три чиллера холодопроизводительностью 1,2 МВт каждый. В систему труб закачано около 60 тонн хладоагента, в качестве которого используется пропиленгликоль — требование американского стандарта. Охлажденный воздух в серверное помещение подается снизу вверх из-под фальшпола.

Каждый ИБП оборудован SNMP-адаптером, и по каналу SNMP информация выводится на пульт оператора, отвечающего за данный участок работы.

Система мониторинга собирает информацию с каждого шкафа. На распределительные шкафы установлены счетчики учета, выполняющие клиентскую тарификацию расхода электроэнергии.