Построение и эксплуатация ЦОДов: как избежать ошибок

Актуальные вопросы, связанные с ЦОДами, обсуждались на конференции “Центр обработки данных — исключение ошибок при создании и эксплуатации”, которая была организована и проведена журналом “Сети и системы связи” в рамках выставки-форума “ИнфоКом—2006”. Выступившие на конференции эксперты проанализировали все основные подсистемы ЦОДов — серверное хозяйство, электропитание, кондиционирование, СКС — и, что самое главное, дали практические рекомендации по построению этих подсистем и их интеграции в единую инфраструктуру.

 

Консультант компании HP Россия Валерий Солоед выделил две основные тенденции на рынке ИТ. Первая — это снижение стоимости технологий: например, за те деньги, за которые 7—8 лет назад можно было купить четырехпроцессорный сервер, сегодня покупают 16- или даже 32-процессорный сервер. Вторая тенденция заключается в постоянном увеличении расходов на управление инфраструктурой: скажем, если в середине 90-х годов прошлого века затраты на обслуживание сервера составляли примерно треть его закупочной стоимости, то сегодня эти затраты и стоимость сервера практически сравнялись (рис. 1). Значительно снизить эксплуатационные расходы позволяет консолидация информационных и сетевых ресурсов.

Сегодня типичный ЦОД представляет собой набор разрозненных систем для каждого приложения. Для решения каждой задачи закупается свое оборудование, причем его характеристики выбираются из расчета возможности обслуживания пиковых нагрузок. Понятно, что подобный “зоопарк” создает серьезные трудности для перераспределения ресурсов (зачастую такое перераспределение просто невозможно) и характеризуется низким уровнем их загрузки. По данным, приведенным консультантом HP, средняя загрузка сервера в построенном по традиционной архитектуре ЦОДе составляет 30%. Стоимость эксплуатации повышает и то обстоятельство, что используется множество различных систем управления, для работы с которыми требуются свои “выделенные” специалисты.

Консолидированный ЦОД представляет собой единый пул аппаратных и программных ресурсов, которые распределяются между приложениями в зависимости от их потребностей. Такой ЦОД строится на принципах открытых технологий, стандартизации и виртуализации. Специалисты HP рассматривают консолидацию не как разовый проект, а как “образ жизни” инфраструктуры ИТ. Основные цели консолидации — это снижение стоимости владения инфраструктурой, что достигается за счет уменьшения расходов на управление и на аппаратное обеспечение (благодаря более эффективному его использованию), а также повышение степени адаптивности инфраструктуры, т. е. возможности ее перестройки при изменении бизнес-процессов.

Если говорить о серверных системах, то HP предлагает два подхода к их консолидации. Первый — вертикальное масштабирование (scale up) — заключается в построении консолидированной системы на базе высокопроизводительного сервера high-end, поддерживающего создание виртуальных серверов (партиций) с различным уровнем изолированности ресурсов. Наращивание ресурсов (оперативной памяти, процессоров, средств ввода-вывода) осуществляется в рамках единой системы. Естественно, сервер должен располагать гибкими возможностями виртуализации для создания выделенных логических серверов. В качестве примера сервера для вертикального масштабирования Валерий Солоед привел флагманский продукт своей компании сервер Integrity Superdome, который позволяет работать с четырьмя ОС (Linux, Windows, HP-UX, OpenVMS) и поддерживает до 128 процессоров (в том числе разных поколений). В серверах HP используются, в частности, технологии управления загрузкой, организации логических разделов и выделения ресурсов по требованию, которые объединены единым механизмом балансировки ресурсов.

Второй подход — горизонтальное масштабирование (scale down) — предусматривает построение консолидированной системы из стандартных модулей — blade-серверов (например, HP BladeSystem). Такая система тоже должна обеспечивать виртуализацию ресурсов, балансировку загрузки и централизованное управление. Сегодня на базе blade-технологии реализуются не только серверы, но и устройства хранения и телекоммуникационные системы.

На практике часто используют оба подхода: вертикальное и горизонтальное масштабирование. Сервер уровня high-end, как правило, применяют для “тяжелых” транзакций (базы данных, аналитические системы) и других приложений, которые требуют высокой производительности и масштабируемости в рамках одного образа ОС. Системы типа blade отлично подходят там, где необходима высокая “плотность упаковки”, а нагрузка на отдельно взятый сервер не очень высока.

 

 

 

По мнению Александра Сахарова, генерального директора компании Network Consulting, главная цель построения ЦОДа — обеспечение бесперебойности предоставления бизнесу сервисов ИТ на приемлемом уровне. При этом он обратил внимание участников конференции именно на слово “приемлемый”. Обычно считается, что ЦОДы должны работать всегда, но обеспечение максимальной готовности — удовольствие недешевое, поэтому на практике приходится идти на некоторый компромисс между стоимостью решения и уровнем его надежности. А поскольку любое оборудование может рано или поздно выйти из строя, то при проектировании ЦОДа важно обеспечить требуемое время его восстановления после сбоя.

Говоря о проектировании ЦОДа, г-н Сахаров выделил четыре основных принципа — обеспечение максимально возможной простоты (что позволит свести к минимуму возможные ошибки), масштабируемости (расширение по мере необходимости), модульности (небольшие элементы проще в обслуживании) и гибкости (легкость внесения изменений в будущем).

Построение ЦОДа внутри компании зачастую связано с большими начальными инвестициями в строительство и/или подготовку помещения, создание инженерной инфраструктуры, со сложностями при подборе персонала необходимой квалификации. Поэтому многие компании стремятся задействовать здесь преимущества аутсорсинга. На это обратил внимание собравшихся Сергей Кирюшин, заместитель генерального директора и директор Департамента ИТ ОАО “Аэрофлот”.

В собственности компании “Аэрофлот” находится большое число объектов (только в Шереметьево их более 100), причем все они изначально не были приспособлены для размещения серверного оборудования. Поэтому на определенном этапе “Аэрофлот” решил прибегнуть к услугам аутсорсинга, задействовав специально оборудованное помещение в Центре данных компании Equant. Там сейчас и располагается основной ЦОД крупнейшего российского авиаперевозчика, в котором находится около 60 серверов, поддерживающих работу порядка 30 информационных систем. Емкость дисковых массивов превышает 10 Тбайт. Этот ЦОД обеспечивает работу почтовой системы, приложений SAP R/3 и IBM Websphere, системы учета доходов от воздушных перевозок, системы Sabre Airline Solutions и др. Также компания продолжает использовать свой вычислительный центр в Шереметьево, где в основном работают приложения, которые больше тяготеют к производственным процессам.

Сейчас “Аэрофлот” строит новое здание в Шереметьево, в котором будет размещен новый основной ЦОД. При этом мощности в Equant предполагается использовать в качестве резервного ЦОДа.

“Давно уже прошли те времена, когда серверы ставили прямо на пол, — сказал Сергей Кирюшин. — Современное серверное и сетевое оборудование предъявляет повышенные требования к условиям размещения и эксплуатации, ему требуются особый температурно-влажностный режим и гарантированная подача чистого электропитания”. Именно на вопросах электропитания и кондиционирования сосредоточили внимание аудитории большинство докладчиков на конференции.

 

 

 

Выбор систем бесперебойного электропитания необходимо начинать с оценки максимальной мощности нагрузки. И здесь Александр Сахаров из компании Network Consulting призвал не забывать о мощности систем охлаждения. По его данным, не менее 70% того, что потребляет активное сетевое оборудование, дополнительно потребуется на его охлаждение. Также он обратил внимание проектировщиков ЦОДов на тот факт, что силовая кабельная разводка занимает довольно много места в кабельных лотках и кабельных каналах. Это обстоятельство, а также необходимость защиты от электростатических разрядов следует обязательно учитывать.

Алексей Ульев, менеджер компании MGE UPS Systems по работе с ключевыми заказчиками, рекомендует при покупке ИБП выяснить значение его КПД не только при нагрузке 100%, но и при малых нагрузках, начиная с 25%. Очень важно, чтобы КПД оставался высоким и при небольшой загрузке инвертора. По оценке г-на Ульева, экономия за счет большего КПД (даже при разнице КПД двух источников всего 1,5—2%) за пять лет может покрыть стоимость самого ИБП. Это очень важно учитывать при оценке совокупной стоимости владения (TCO).

Специалист MGE UPS Systems советует при проектировании ЦОДа отвести отдельную комнату для ИБП. Причем в этой технической комнате не обязательно монтировать фальшпол и использовать дорогостоящую систему прецизионного кондиционирования — можно обойтись обычной приточно-вытяжной вентиляцией. Желательно, чтобы ИБП имел малую площадь основания, а обслуживать его можно было с фронтальной стороны; это позволит установить аппарат вплотную к стене и тем самым сэкономить рабочее пространство ЦОДа для установки стоек с основным оборудованием. ИБП, установленный в отдельном помещении, будет дополнительно защищен от несанкционированного доступа и случайных ошибок сотрудников отдела ИТ.

Батареи также рекомендуется размещать в отдельном (от оборудования ИТ) техническом помещении. Их можно устанавливать вместе с ИБП или в отдельной батарейной комнате, особенно если батареи размещают на открытых стеллажах. Алексей Ульев подчеркнул, что батарея — наиболее критичная к сбоям часть структуры чистого электропитания и поэтому требует особого внимания квалифицированного персонала. Например, MGE применяет батареи большой емкости со сроком службы 10 лет и выше, а также использует запатентованные системы B2000 и Cellwatch для анализа состояния каждого аккумулятора.

При построении централизованной системы бесперебойного питания ЦОДа важен выбор оптимальной архитектуры такой системы. Алексей Ульев привел данные сравнения двух архитектур по таким ключевым параметрам, как надежность и общая стоимость владения. Данное сравнение проводилось методами математического моделирования с целью выбора лучшей архитектуры для практического внедрения в одном из ЦОДов компании IBM. К этому ЦОДу подведены две независимые линии электропитания от двух независимых трансформаторных подстанций, а мощность нагрузки составляет 400 кВА с последующим расширением до 800 кВА. В первом варианте (рис. 2а) ИБП подключены к обоим вводам по схеме N+1, а нагрузка — напрямую к ИБП через распределительные блоки (PDU). Второе решение (рис. 2б) предусматривает подключение нагрузки не напрямую к ИБП, а через статический коммутатор питания (Static Transfer Switch — STS).

Как показали расчеты, общее число возможных сбоев в системе с коммутаторами STS в два с лишним раза меньше, чем число сбоев в решении без STS. Более того, с экономической точки зрения также выгоднее устанавливать систему ИБП совместно с STS. За пять лет общая стоимость владения системой ИБП+STS мощностью 400 кВА оказывается на 34% ниже стоимости владения системой без STS, при мощности 800 кВА экономия составляет 28%. Коммутатор Upsilon STS обеспечивает переключение питания с одной сети на другую без разрыва синусоиды. Этот компактный прибор позволяет исключить распространение сбоя в системе (происходит автоматическая локализация сбоя в точке возникновения), а также быстро и безопасно расширить инсталляцию или провести техническое обслуживание нужного сегмента.

 

 

 

Отвод тепла от оборудования ЦОДов — одна из наиболее острых проблем. Технический специалист компании Emerson Network Power Виктор Гаврилов с горечью констатировал, что расстановка климатического оборудования часто осуществляется по остаточному принципу: сначала размещают коммуникационное и ИТ-оборудование, а на оставшееся место — системы климатики, причем хотят, чтобы они никому и ничему не мешали, но при этом эффективно отводили тепло. Основная ошибка, по мнению г-на Гаврилова, заключается в установке холодильного оборудования перпендикулярно рядам стоек с основным оборудованием, даже если сами стойки размещены правильно — в соответствии с хорошо известным принципом горячих и холодных переходов.

Многие считают, что, чем ближе к блоку охлаждения поставить тепловыделяющее оборудование, тем лучше от него будет отводиться тепло. Происходит же с точностью до наоборот (рис. 3). “Часто я наблюдаю такую ситуацию: расстояние от блока охлаждения до первого шкафа с оборудованием составляет одну-полторы плитки фальшпола, фальшпол занижен, скорости воздуха довольно высокие, в результате первые решетки не раздают воздух, а всасывают его. Проверить это легко: приложите лист бумаги к плитке, вместо того чтобы взлететь, он будет втягиваться под фальшпол. Когда я показываю этот “фокус” на объекте, все очень удивляются”, — рассказывает Виктор Гаврилов.

Еще одна серьезная проблема, возникающая при размещении климатического оборудования перпендикулярно рядам стоек, связана с тем, что горячий воздух, возвращающийся в систему кондиционирования от дальних стоек, попадает в стойки, расположенные ближе к этой системе, и происходит перегрев оборудования. Хотя на первый взгляд это выглядит абсолютно нелогичным, но при подобном размещении оборудования наиболее хорошо охлаждаются самые дальние (от кондиционера) стойки.

Специалист компании Emerson Network Power рекомендует устанавливать блоки охлаждения в конце горячих коридоров. Почему именно горячих? Если шкаф поставить напротив холодного коридора, он будет забирать холодный воздух (который сам и подает), его датчик контроля “посчитает”, что помещение хорошо охладилось и отключит кондиционер.

Выше шла речь о классической схеме подачи холодного воздуха под фальшпол. Какую мощность тепла в данном случае можно отвести от одной стойки? Расчеты немного разнятся и зависят от того, какая принята высота фальшпола, какое число плиток с перфорацией устанавливается напротив каждого шкафа и т. д., но, по словам Виктора Гаврилова, возможный максимум в данном случае составляет не более 5 кВт тепла (от одной стойки). Если мощность тепловыделения увеличивается, размеров раздающих воздух систем просто не хватит, чтобы подать необходимый его объем. Например, для нормального охлаждения стойки с тепловыделением 10 кВт к ней необходимо подвести около 2600 куб. м охлаждающего воздуха в час, а пропускная способность одной плитки с перфорацией — не больше 800 куб. м в час.

Каковы возможные решения этой проблемы? Можно рассредоточить серверы по помещению ЦОДа, можно увеличить высоту его фальшпола. Но экономически это невыгодно, поскольку требует увеличения размеров помещения ЦОДа, а это связано с большими капитальными затратами и расходами на обслуживание. Как промежуточное решение можно устанавливать дополнительные вентиляторы — в стойки с оборудованием либо в пространство фальшпола (например, блок с вентилятором вместо одной из плиток).

Но более эффективным Виктор Гаврилов считает установку дополнительных кондиционеров-доводчиков. В этом случае часть тепла отводится традиционным способом, а часть — с помощью этих доводчиков, которые устанавливаются на стойки с максимальным тепловыделением. Подобное решение реализовано в системе X-Treme компании Emerson Network Power. Предлагаемые этой компанией кондиционеры-доводчики используют в каче-стве хладоносителя фреон (подавать воду в помещение ЦОДа не требуется) и забирают теплый воздух из самой стойки или из горячего коридора. Благодаря системе доводчиков с одной стойки можно “снять” до 16 кВт тепла.

Если тепловыделение еще выше, компания Emerson Network Power предлагает закрытый шкаф с внутренней системой охлаждения (в качестве хладоносителя используется тоже фреон). В этом случае никакие дополнительные тепловые потоки в помещение не поступают; они локализуются внутри шкафа. Это полностью автономная система, в которую также может быть установлена система бесперебойного питания, пожаротушения, средства мониторинга. Она обеспечивает отвод до 24 кВт тепла от шкафа. На одну стойку могут работать два кондиционера, что обеспечивает резервирование системы охлаждения.

О системах охлаждения на уровне шкафа говорил на конференции и Константин Пальшин, директор по продажам московского офиса компании Rittal — известного производителя монтажных шкафов. Предлагаемая этой компанией система LCP (Liquid Cooling Package) шириной 30 см пристыковывается сбоку к стандартному серверному шкафу Rittal серии TS или PS и обеспечивает отвод от установленного в нем оборудования до 20 кВт тепла. Для охлаждения воздуха в системе LCP используется холодная вода (температура от 6 С° до 15 °C, расход до 50 л/мин), но непосредственно в шкаф с оборудованием она не поступает.

Система LCP построена по модульному принципу, что гарантирует хорошую масштабируемость. В корпусе LCP может располагаться до трех модулей теплообменников, каждый из которых обеспечивает “съем” от 4 до 6,6 кВт тепла. Если тепловыделение в шкафу находится на этом уровне, достаточно установить только один модуль, в дальнейшем при добавлении основного оборудования и увеличении тепловыделения можно установить второй, а затем и третий модуль. Если тепловыделение оборудования в шкафу превысит 20 кВт, то к нему можно пристыковать две системы LCP, что обеспечит отвод до 40 кВт тепла. Кроме того, в данном случае заказчик получает резервирование системы охлаждения.

Проблемам отвода тепла от оборудования ЦОДов была посвящена и большая часть выступления Олега Письменского, менеджера по развитию бизнеса в СНГ компании APC. Еще несколько лет назад известная прежде всего как поставщик ИБП, сегодня АРС превратилась в “инженерно-консалтинговую” компанию, предлагающую комплексные решения в области инженерных инфраструктур. По мнению г-на Письменского, практически предел отводимого тепла для традиционной системы кондиционирования — 2 кВт на стойку. Если, скажем, нагрузка составляет 11 кВт на кв. м, то при традиционном подходе потребуется установить фальшпол высотой 2,3 м и сильно увеличить объем и скорость подаваемого воздуха, что резко повысит энергопотребление. Это дорого и непрактично. Поэтому менеджер АРС предлагает использовать смешанные схемы с охлаждением на трех уровнях: всего машинного зала, внутри ряда стоек и внутри шкафа. Он утверждает, что имеющиеся у компании технические решения позволяют отвести до 60 кВт тепла от одной стойки с оборудованием.

 

 

 

Наряду с системами электропитания и кондиционирования не менее важным компонентом ЦОДа является структурированная кабельная система (СКС), которая, собственно говоря, и объединяет серверы и системы хранения в единый ИТ-комплекс, обслуживающий бизнес-процессы предприятия. Дмитрий Никулин, технический директор московского офиса компании RiT Technologies, рассказал на конференции о специфике организации СКС для ЦОДов. Он напомнил, что этим летом был принят стандарт на технологию 10-Gigabit Ethernet, работающую по медным витопарным кабелям. По его мнению, эта технология очень важна для обеспечения взаимодействия высокопроизводительных серверов и другого активного оборудования ЦОДов, поэтому необходимо, чтобы кабельная система должным образом поддерживала указанную технологию.

Дмитрий Никулин остановился на ряде элементов СКС, которые наилучшим образом подходят для ЦОДов. В частности, он назвал уникальное решение RiT по организации коммутационных центров без коммутационных шнуров. Для этого используются коммутационные панели с переключателями, которые обеспечивают соединение верхнего и нижнего портов панели, заменяя обычный коммутационный шнур. Нет коммутационных шнуров, нет и связанных с ними проблем — никто случайно не выдернет чужой шнур, из-за повреждения вилки не нарушится контакт и т. п., — а значит, повышается надежность физической инфраструктуры. Еще одно удобное для ЦОДов решение — коммутационные панели, оборудованные разъемами RJ-45 не только с фронтальной, но и с обратной стороны. Их использование значительно упрощает подключение активного оборудования к обратной стороне панелей.

Проектировщики всегда стремятся по максимуму использовать дорогостоящее пространство ЦОДов. В этом им могут помочь коммутационные панели повышенной плотности. Например, компания RiT Technologies предлагает панели высотой 1U с 48 разъемами RJ-45 и телефонные панели такой же высоты на 50 телефонных каналов, а также магистральные оптические панели, которые позволяют, заняв всего 2U монтажной стойки, подключить 96 оптических волокон.

Серьезной проблемой для ЦОДов, равно как и для любых других крупных кабельных инсталляций и сетей с большой динамикой переключений, является адекватное администрирование СКС. “За свою практику я не видел ни одного полностью достоверного кабельного журнала, в лучшем случае доля достоверной информации в таких журналах составляет 75—90%”, — сказал Дмитрий Никулин.

Автоматическое ведение кабельных журналов — одна из множества полезных функций программно-аппаратных комплексов интеллектуального управления СКС, например системы PatchView компании RiT Technologies. Эта система основана на использовании специальных “интеллектуальных” коммутационных панелей и шнуров, которые позволяют определять, какой порт какой панели с каким портом соединен. Все “интеллектуальные” панели подключаются к одному или нескольким сканерам, с которых вся информация “стекается” на сервер управления и в удобном виде выдается администратору.

Система управления СКС поддерживает централизованную базу данных с достоверной информацией о подключениях, обновляемой в режиме реального времени. Система автоматически определяет физическое месторасположение компьютеров и серверов. Если сотрудник переехал с одного места в другое, она автоматически зафиксирует это событие и выдаст сообщение администратору. Если новое подключение произошло несанкционированно, сигнал тревоги поступит в службу безопасности. Еще одна важная функция систем управления СКС — автоматизация процессов создания, подключения и перемещения рабочих мест пользователей.

В ЦОДах имеется много различных систем, причем каждая со своими средствами мониторинга и контроля. Чтобы ЦОД функционировал как единый “организм”, желательно интегрировать эти средства, хотя бы обеспечив возможность управления всеми системами с единого центра. Для интеграции своей системы управления СКС с другими системами управления и приложениями компания RiT Technologies предлагает специальное средство разработчика (SDK). Оно позволяет “стыковать” PatchView с другими базами данных, средствами инвентаризации, системами безопасности, платформами сетевого управления. Для интеграции с наиболее популярными платформами (HP OV, IBM Tivoli, CA Unicenter) имеются готовые программные модули.

 

 

 

Недавно в Москве был открыт один из крупнейших в Европе ЦОДов — М1, общая площадь его рабочих залов с размещенными стойками составляет 2000 кв. м. С деталями создания комплексной системы гарантированного электропитания и прецизионного кондиционирования воздуха этого объекта участников конференции познакомил Валерий Суханов, менеджер компании “НойХаус Групп”.

Бесперебойное электроснабжение первой очереди объекта обеспечивают четыре ИБП NeuHaus серии PowerSystem мощностью по 600 кВА каждый (всего 2,4 МВА). После введения в эксплуатацию второй очереди центра общая мощность защищаемой нагрузки будет увеличена до 6 МВА. Аккумуляторные батарейные комплекты гарантируют полностью автономное электропитание объекта в течение 5 мин. ИБП и аккумуляторные батареи расположены в отдельном помещении с фальшполом, усиленным специальным каркасом. Живучесть объекта при длительном пропадании входного питания обеспечивается резервными дизель-генераторными установками (ДГУ), размещенными снаружи здания ЦОДа во всепогодных шумопоглощающих блок-контейнерах.

Система прецизионного кондиционирования воздуха построена на основе 34 промышленных систем HiMod 14UC. Три чиллера системы охлаждения хладагента серии Matrix SBS 126 расположены во дворе здания. Общая холодопроизводительность системы прецизионного кондиционирования воздуха первой и второй очереди составит 3,5 МВт. Охлажденный воздух поступает под фальшпол рабочих залов и продувается через агрегаты электропитания и стойки с основным оборудованием снизу вверх.

Особенностью системы является то, что она была полностью разработана и введена в строй специалистами российской компании, без привлечения иностранных инженеров и техников, причем проект был выполнен в кратчайшие для подобных объектов сроки (первая очередь запущена в эксплуатацию менее чем через год после начала разработки проекта). Все составляющие системы — ИБП с батарейными комплектами, прецизионные кондиционеры с мощными чиллерами, резервные ДГУ — объединены в единую, полностью автоматизированную систему на базе технологии LonWorks. Диспетчеры получают всю информацию о состоянии систем бесперебойного электропитания, ДГУ (в том числе и об оставшемся запасе топлива), о температуре в помещении вплоть до отдельной стойки (в принципе система позволяет даже контролировать температуру по высоте стойки). При наличии каких-то недопустимых отклонений инженерные системы могут автоматически перейти в другой режим работы.

 

***

 

Совершенно очевидно, что современные серверы, системы хранения и другое активное оборудование становится все более требовательным к инженерным подсистемам ЦОДов. На первый план выходят задачи отвода все возрастающих объемов тепла, бесперебойной подачи чистого электропитания, обеспечения безопасности. Выбирая наиболее оптимальные компоненты для каждой инженерной подсистемы, проектировщики и заказчики должны быть уверены, что их можно будет состыковать в комплексное решение с единой системой централизованного управления.

Именно вопросы взаимного влияния разных подсистем ЦОДов и их интеграции являются на сегодня одними из ключевых. Существенную помощь в решении этих вопросов оказала прошедшая конференция, на которой выступали представители всех участников рынка: производителей, интеграторов, аналитиков, заказчиков. Журнал “Сети и системы связи” получил самые позитивные отзывы об этом мероприятии от его участников и планирует продолжить практику проведения конференций, посвященных актуальным вопросам построения и эксплуатации ЦОДов..