В предыдущей статье («Расцвет в эпоху аутсорсинга») мы рассказали о
классификации дата-центров и об основных требованиях к ним. Очевидно, что эти требования
определяют процесс планирования работ при создании ЦОД. В дальнейшем мы решили не
обсуждать вопросы, связанные с телехаузами, поскольку эти специализированные ЦОД
(предназначенные для операторов связи) являются объектами особого рода.
Требования к коммерческим дата-центрам, которые предлагают услуги корпоративного
хостинга, существенно жестче, чем к ЦОДам, обеспечивающим публичный хостинг. В последнем
случае допустим весьма значительный разброс качественных параметров, что позволяет
серьезно экономить при строительстве ЦОД. Естественно, сервис-провайдеры могут предоставлять
относительно дешевые услуги хостинга, но им приходится брать на себя риски, связанные
с экстраординарными ситуациями. Поэтому мы сфокусируемся преимущественно на дата-центрах,
ориентированных на корпоративный хостинг. Однако стоит помнить, что реализация любого
коммерческого проекта — это всегда компромисс между качеством, рисками и стоимостью.
Местоположение
Начнем с выбора места для размещения будущего дата-центра. На такой выбор влияют
три группы факторов: это обеспечение физической безопасности объекта, наличие внешних
телекоммуникаций и близость транспортных коммуникаций.
Перечислим основные требования с позиций физической защиты ЦОД:
-
поблизости не должно быть аэропортов, химических заводов, нефтеперерабатывающих предприятий
и ядерных объектов;
-
здание должно находиться вне зон потенциальных затоплений, землетрясений, других
климатических катаклизмов и удовлетворять нормам безопасности;
-
желательно учитывать загрязненность среды в том или ином районе города, уровень преступности
и другие факторы.
Вам придется строго следовать этим условиям, особенно если вы собираетесь работать
с зарубежными клиентами.
Требования к внешним телекоммуникациям таковы:
-
возможность подключения к нескольким (минимум двум) канальным операторам —
для исключения зависимости от одного поставщика услуг;
-
возможность независимого хостинга разных сервис-провайдеров. Как следствие, требуется
наличие в самом дата-центре точки обмена трафиком или обеспечение доступа к ней;
возможность установки антенн для приема сигналов со спутников (отсутствие рядом с
объектом высотных зданий может оказаться существенным фактором).
На этапе планирования подключений к внешним коммуникациям уже появляется пространство
для экономического маневра. По крайней мере, в крупных городах нужно учитывать близость
выбранного здания к местам стыковки с магистральными каналами операторов, стоимость
аренды каналов у разных операторов, близость к точкам обмена трафиком и т.д.
Наконец, требования к транспортным коммуникациям: нужно обеспечить подъездные
автомобильные пути и автостоянку. Для дата-центра, ориентированного на корпоративный
хостинг, необходима возможность подъезда к зданию грузового автотранспорта, поскольку
на площадке ЦОД часто приходится размещать нестандартное крупногабаритное оборудование.
Удобство доступа на общественном транспорте имеет второстепенное значение. Надо сказать,
в крупных городах проблем с транспортными коммуникациями обычно не возникает.
Модель аренды помещения или здания для размещения ЦОД используется в России наиболее
часто. Однако если у вашей компании появился стратегический инвестор, то строительство
собственного здания может, в перспективе, оказаться более выгодным. В таком случае
удастся максимально полно реализовать требования к будущему центру обработки данных.
Размещение
В России пока нет стандартов на помещения дата-центров, да и на Западе они только
начинают формироваться. При подборе здания для ЦОД, видимо, стоит учитывать общие
требования к строительным сооружениям и к объектам связи (если предполагается размещение
оборудования операторов связи).
Несколько слов — для прояснения ситуации. В 1978 году был выпущен нормативный
документ СН 512-78 «Инструкция по проектированию зданий и помещений для электронно-вычислительных
машин». За прошедшее с тех пор время вычислительная техника претерпела такие
изменения, что часть положений этого документа утеряла актуальность. Однако некоторые
общие требования (например, «3.3. Помещения для ЭВМ размещать в подвалах не
допускается») остаются актуальными, и они должны стать базовыми ориентирами
при проектировании дата-центра.
При поиске готовых зданий надо обращать внимание на их состояние, ибо в последние
20 лет эксплуатация сооружений в России проводилась из рук вон плохо. Наиболее подходящие
объекты — здания АТС/ГТС/МТС и вычислительные центры, построенные в 70–80-е
годы прошлого века, а также некоторые промышленные здания. Если вы намерены предоставлять
услугу поддержки непрерывности бизнеса, то следует предусмотреть возможность аренды
площадей для организации резервных офисов клиентов в самом здании либо в близлежащих
строениях.
В помещении ЦОД следует запланировать несколько зон — публичного доступа, серверную
и инженерную. Такая планировка предполагает разные функциональные нагрузки на эти
части помещения, использование различных систем доступа и защиты.
В инженерной зоне располагаются инженерно-технологические комплексы, которые обычно
называют «системами жизнеобеспечения ЦОД». К ним относятся системы электропитания,
кондиционирования и автоматического пожаротушения. Для этой зоны характерны наибольшая
физическая защищенность и самый жесткий режим физического доступа (в ней разрешено
находиться лишь обслуживающему персоналу дата-центра).
Основная рабочая зона ЦОД — серверная. Именно ее размер определяет масштабы
всего проекта. Доступ в серверную зону имеют специалисты дата-центра и уполномоченные
представители клиентов, размещающие в нем свое оборудование. При планировке серверной
зоны нужно, в свою очередь, предусмотреть ее разделение на несколько специализированных
зон (например, это площадки публичного и корпоративного хостинга, места для размещения
монтажных помещений и хранения ЗИП клиентов). Допустима организация выделенных зон
для тех клиентов, которые требуют особых правил доступа (все условия согласовываются
в индивидуальном порядке).
Для обеспечения надлежащих климатических условий и защиты от внешних воздействий
(вода, пыль, электромагнитные излучения и т.п.) желательно разместить серверную зону
в дополнительном саркофаге (сэндвиче). Возможно выделение специального помещения
для технического и обслуживающего персонала дата-центра.
Электропитание
Как правило, потребитель услуг коммерческих дата-центров обращает особое внимание
на уровень доступности услуг дата-центра, который напрямую зависит от надежности
системы электропитания. Капитальные и эксплуатационные затраты на системы электропитания
являются для владельца ЦОД наиболее весомой статьей расходов (не считая возможных
затрат на строительство здания). Система электропитания дата-центра состоит из трех
основных блоков — бесперебойного электропитания, автономного электропитания
и внешних вводов электропитания от двух независимых источников.
Однако даже на несколько независимых источников внешнего питания нельзя полагаться
полностью, что и подтвердило веерное отключение электроэнергии в мае 2005 года. Выход
из строя одной из подстанций центральной энергосистемы приводит к резкому повышению
нагрузки на соседние, а потому риск потери стабильного внешнего питания остается
достаточно большим. Следовательно, надо позаботиться о комплектации дата-центра модулями
автономного электропитания — газовыми или дизель-генераторами достаточной мощности.
Систему автономного электропитания можно держать постоянно включенной (без нагрузки
либо с частичной нагрузкой) или автоматически запускать при пропадании внешнего напряжения.
Проектируя систему электропитания, надо учитывать следующее:
-
КПД источников бесперебойного электропитания составляет примерно 88–95%;
-
внутренняя кабельная разводка должна быть построена так, чтобы на стойках с клиентским
оборудованием ни при каких обстоятельствах не пропадало питание;
-
в каждое серверное помещение нужно устанавливать по две фермы бесперебойного питания;
-
системы кондиционирования и вентиляции требуют в среднем 90–100% мощности,
потребляемой серверным и телекоммуникационным оборудованием ЦОД.
В некоторых зарубежных статьях указывается несколько большая доля электроэнергии,
необходимой для поддержки систем жизнеобеспечения (кондиционирования). Мы полагаем,
что это связано с различиями климатических зон: в России среднегодовая температура
ниже, чем в среднем по Европе, и существенно меньше, чем в США. Если расчетная мощность
электропитания, потребляемого серверным оборудованием, составляет условные 1 МВт,
то минимальная мощность внешних источников/дизель генератора должна рассчитываться
по формуле 1х(1/0,88 + 0,9) = 2,05 МВт. При этом желательно заложить определенный
резерв на случай возникновения экстренных перегрузок и планового обслуживания модулей
питания.
Уходят в прошлое времена, когда нормы потребления электроэнергии серверным и телекоммуникационным
оборудованием составляли 500–1000 Вт на 1 кв. м площади серверного помещения.
В последнее время из-за увеличения плотности монтажа серверного оборудования потребляемая
мощность растет примерно на 10–15% в год, и в ближайшие годы эта тенденция
сохранится. Мало того, она может усилиться, если получат широкое распространение
вычислительные blade-системы.
Таким образом, при создании современных ЦОД изначально следует заложить достаточный
резерв наращивания мощностей. Например, энергонасыщенность ЦОД компании «Стек»,
расположенного на улице Б.Академическая, составляет всего 2 кВт на 1 кв. м серверного
помещения. А в недавно запущенном в строй дата-центре на Варшавском шоссе предусмотрена
нагрузка до 8 кВт на 1 кв. м.
Система электропитания должна быть зарезервирована по схеме N+1 (необходимые модули
плюс один резервный). Однако для дата-центра класса IV нужно использовать схему 2хN
(все модули дублируются).
Кондиционирование и вентиляция
Серверы являются высокоточными прецизионными электронными устройствами, которые выделяют
большое количество тепла. При эксплуатации такого оборудования необходимо строго
поддерживать определенные температурные режимы и выполнять требования к климатическим
условиям.
Объем выделяемого серверным оборудованием тепла напрямую зависит от потребляемой
им мощности. А мощность системы охлаждения и схема ее монтажа зависят от размеров
и конфигурации серверной зоны, схемы размещения стоек, числа специалистов, обслуживающих
серверную, и многих других факторов. Кроме того, для разных типов ЦОД требуются различные
системы кондиционирования.
В качестве примера рассмотрим систему подачи охлажденного воздуха. При подаче воздуха
сверху (из воздуховодов) в серверной зоне устанавливаются открытые стойки, ряды которых
располагаются последовательно («горячий»–«холодный»). А
значит, возможен общий доступ к устройствам, так как они ничем не отделены друг от
друга. Данная схема кондиционирования в большей степени подходит для дата-центра,
обеспечивающего публичный хостинг. Подача воздуха снизу позволяет устанавливать закрытые
стойки или стойки с нестандартными схемами обдува, что соответствует условиям корпоративного
хостинга. Не стоит забывать и о суточных колебаниях объемов тепловыделения, которые
обусловлены изменениями нагрузки: как правило, днем она выше, чем в ночные часы.
Оборудование со значительным энергопотреблением желательно разместить в отдельном
помещении или даже в специальных шкафах со встроенной системой климат-контроля. В
последнее время для эффективного отвода тепла начали использовать специальные шкафы
с так называемым «водяным» охлаждением. Планируя их установку, нужно помнить,
что помещения дата-центров (особенно серверной) должны быть максимально изолированы
от воды.
Систему кондиционирования и вентиляции следует резервировать по такой же схеме, которая
применяется для системы электропитания.
Защита оборудования
Безопасность вычислительного оборудования поддерживают системы пожаротушения, заземления,
молниезащиты и физической защиты.
Любой ЦОД необходимо оборудовать средствами автоматического газового пожаротушения.
Именно они обеспечивают сохранность электронного оборудования при ликвидации очагов
возгорания. Система заземления должна включать в себя несколько уровней защиты: заземление
и молниезащита здания, заземление помещения серверной, индивидуальное заземление
стоек и устройств. Систему физической защиты тоже нужно разделить на несколько уровней:
контроль доступа по периметру здания, контроль доступа в помещение ЦОД, в технические
и инженерные зоны.
Доступ в техническую зону представителей клиента для работы с его оборудованием должен
осуществляться под контролем персонала дата-центра. В зоне корпоративного хостинга
оборудование клиента размещается в закрытых шкафах или на отгороженных участках серверной
— для обеспечения еще большей защищенности и конфиденциальности хранимой информации.
В зоне публичного хостинга требования к безопасности оборудования и данных существенно
ниже, поэтому серверы клиентов располагаются преимущественно в открытых стойках.
Сетевая инфраструктура
Центр данных, оказывающий услуги публичного хостинга, должен располагать минимум
двумя независимыми оптоволоконными каналами, связывающими его с крупной точкой обмена
трафиком. Лучше всего, чтобы он был соединен с двумя и более точками, — это
обеспечит непрерывность подключения клиентского оборудования к Internet. Провайдеру
стоит предусмотреть установку комплексных решений для защиты клиентских систем от
внешних атак. Хотя защита от сетевых вторжений считается дополнительной услугой,
в ней заинтересовано достаточно большое число клиентов ЦОД.
При организации корпоративного хостинга желательно, чтобы все внешние линии связи
заводились в общее кроссовое помещение. Необходимо также предусмотреть возможность
ввода в то же помещение каналов, следующих от размещаемого в серверной зоне клиентского
оборудования. При этом, как и в случае публичного хостинга, владельцу дата-центра
придется обеспечить клиентов надежными высокоскоростными каналами соединения с Internet.
Рустем Накипов, Михаил Коротаев, Сети
Наши решения
О компании
