Дата-центры высшего уровня: отвечаем на часто задаваемые вопросы про Tier IV

Дата-центры высшего уровня: отвечаем на часто задаваемые вопросы про Tier IV

FAQ по уровню Tier IV в классификации Uptime Institute.

 • 

Неделю назад мы рассказали о планах строительства нового дата-центра Tier IV и сразу получили несколько вопросов про этот уровень в классификации Uptime Institute. Из обсуждений в чатах получился полноценный FAQ. Так что сегодня развею самые живучие слухи про Tier IV и немного расскажу, какие требования Uptime Institute мы учитываем в проекте нового дата-центра.

Что значит “максимально возможный уровень”, придумали что-то новенькое?

Стандартам от Uptime Institute уже больше 25 лет. Столько времени существует  система классификации Tier.

Сертификация дата-центров проходит по нескольким программам:

  • Сертификация проектной документации (Design Documents) —  аудиторы проверяют пакет проектных документов по основным инженерным системам: кондиционирование, энергоснабжение. Также изучают документы по смежным системам, например, топливоснабжению.
  • Сертификация построенного ЦОД (Constructed Facility) — здесь смотрят на соответствие построенного дата-центра сертифицированному проекту и проверяют инженерные системы при полной проектной нагрузке. Когда клиентского ИТ-оборудования еще нет, нагрузку имитируем тепловыми пушками.
    Этот уровень сдают только после Design.
  • Сертификация эксплуатационной устойчивости (Operational Sustainability) — тут идет комплексная оценка эксплуатационных практик. Как именно это происходит, мы уже подробно рассказывали.
    Для сертификации по этой программе нужно сначала сдать Design и Facility.

Еще есть программа Management&Operations для проверки эксплуатации. Но это не  сертификация, а аудит дата-центра, так что подробно останавливаться не будем.

Уровень дата-центра закладывается еще на этапе концепции и проектирования. Поэтому мы начинаем готовиться к сертификации на Tier IV на этапе проектирования здания, еще до проектирования инженерных систем.

Почему мы так много говорим про стандарты Tier?

Система Tier содержит список требований к дата-центрам разных уровней. Но там нет конкретных объяснений, как это сделать, только требования к надежности инфраструктуры. Uptime Institute пишет:

“стандарты Tiers приветствуют инновационные инженерные решения и признают, что все центры обработки данных непохожи друг на друга”

А значит, есть несколько вариантов, как соблюсти требования.

Мы в DataLine занимаемся практической стороной: честно смотрим на лучшие европейские ЦОДы, берем лучшие практики, с осторожностью пробуем новое и применяем это в проектировании своих дата-центров. Делимся опытом, в том числе в наших Университетах.

Вот такой опыт сертификации по стандартам Uptime Institute у нас накопился:

  • 2014 год — прошли аудит Management&Operations.
  • 2015 год — дата-центр NORD-4 получил сертификат Design.
  • 2016 год — сертифицировали NORD-4 на Facility.
  • 2018 год — у NORD-4 появился сертификат Operational Sustainability.
  • 2020 год — NORD-4 подтвердил сертификат Operational Sustainability.

Что дальше:

  • 2020 год — совместно с “Ростелеком-ЦОД” начали строительство дата-центра в Остаповском проезде и его подготовку  к сертификации на Tier IV.
  • 2020 год — во втором полугодии планируем сдать в Uptime Institute проект NORD-5.
  • 2021 год — планируем сертифицировать NORD-5 на Tier III по программе Facility.

Так что в практике применения стандартов всегда есть что обсудить, будем рады поговорить в нашей Салатовой телеге.

В чем основное отличие уровней?

Я уже немного рассказывал про схемы резервирования, характерные для разных Tier.

Посмотрим на сравнительную таблицу в стандарте:

Так уровни отличаются по минимальному числу активных компонентов, поддерживающих нагрузку (их обозначают той самой буквой N):

  • Tier I — используется N — минимальное количество оборудования для работы ЦОД, то есть резерва нет.
  • Tier II — инженерное оборудование резервируется по схеме N+1.
  • Tier III — по схеме N+1 резервируется инженерное оборудование и пути дистрибуции: кабели питания, трассы, трубопроводы.
  • Tier IV — если случается единичный отказ любого оборудования, все равно остается N активных компонентов.

Но дело не только в “энках”, особенно в случае с Tier IV. Главное отличие Tier IV — это единственный уровень с отказоустойчивостью. Он так и называется: Fault tolerant infrastructure. Также для него обязательны “секционирование” (или компартментализация, очень уж мне нравится это слово) и непрерывное охлаждение. Ниже посмотрим, что это значит.

Tier IV отличается от Tier III схемой резервирования оборудования 2(N+1)?

Как мы видим, никакая конкретная схема резервирования для Tier IV не указана. Как добиться N после любого отказа, каждый ЦОД решает сам. Раньше многие понимали требования Tier IV слишком буквально и предлагали сложные схемы наподобие 2N+1 или 2(N+1), чтобы уж наверняка избежать отказов. Но на практике это не обязательно.

Что такое отказоустойчивость в Tier IV? Чем отличается от Tier III?

В дата-центре Tier III мы допускаем ситуации отказа, где сотрудники должны вмешаться и переключиться вручную между резервными элементами.

В Tier IV такие переключения отсутствуют или происходят автоматически.

Что такое непрерывное охлаждение в Tier IV?

Tier III формально допускает незначительное повышение температуры в машзале, когда происходит отказ оборудования, и мы переключаемся между основным и резервным кондиционером или чиллером.

В Tier IV за этим следят гораздо жестче. Уже на этапе проектирования нужно обязательно предоставить расчеты скорости повышения температуры и доказать, что даже теоретически в машзале не станет жарче.

Что значит “в Tier IV системы не только зарезервированы, но и защищены от физического воздействия”? В чем отличие от Tier III?

На четвертом уровне должно быть обязательное “секционирование”, или “компартментализация” путей дистрибуции. Для выполнения этого требования дата-центру нужно продумать такую схему, чтобы пути дистрибуции проходили в разных помещениях или в закрытых огнезащищенных коробах. Встречаться они будут только в машинном зале. При этом должна оставаться возможность их обслуживания и замены.

Если мы выполним это требование, то физическое воздействие нам не страшно: даже если молоток упадет на кабель, у нас в отдельном месте сохранятся все пути дистрибуции к оборудованию.

А если случится пожар?

Все инженерное оборудование и все трассы у нас расположены в отдельных помещениях или защищенных коробах. Значит, при возгорании одной трассы теряется только резерв, без нарушения работы ИТ-оборудования.

А если упадет метеорит?

Наша страна настолько сурова, что иногда случается и такое. Но все-таки ЦОД — не военный объект, чтобы защищаться от подобных аварий. Очень жаль, но система Tier не рассматривает защиту от всемирного потопа, вторжения инопланетян или захвата власти рептилоидами.

Tier IV — это в 2 раза дороже?

Да, где-то может получиться и дороже. Но при должном подходе можно сэкономить без потери качества.

Для нас это первый опыт с Tier IV. Немного страшно, но мы движемся в этом направлении. Как только появятся новости, будем рады рассказать подробнее.

Управление внешним ЦОД

Проектирование и строительство новых дата-центров и серверных. Аудит и эксплуатация инженерной инфраструктуры уже работающих площадок.

  • Проектирование дата-центра и инженерных систем "под ключ".
  • Дата-центр от 3 до 3000 стоек.
  • Консультации по различным вопросам строительства и эксплуатации дата-центров.
Больше информации об услуге по ссылке
Расскажите друзьям и коллегам о статье

Последние статьи

Как мы создали мощный инструмент для мониторинга процессов в системе резервного копирования на основе Grafana.

Андрей Александров

Фотоэкскурсия по первой очереди дата-центра в Медведково.

Алексей Приезжев

Рассказываем, как проверять ресурсы ВМ на ошибки и даем ключевые метрики, на которые можно опираться.

DataLine