Восстановление после катастроф: каков наихудший вариант?

КРУГЛЫЙ СТОЛ

Cотрудники лаборатории eWeek поинтересовались у ИТ-специалистов из различных отраслей, как последствия урагана Катрина повлияли на планирование действий на случай катастрофы в их организациях.

За круглым столом собрались: Кевин Барадет, главный технолог Высшей школы менеджмента им. Джонсона при Корнельском университете; Гэри Ганнерсон, разработчик ИТ-инфраструктуры из компании Gannett; Том Миллер, ИТ-директор фирмы FoxHollow Technologies; Нельсон Рамос, специалист по ИТ-стратегии клиники Sutter Health; Роберт Роузен, ИТ-директор Национального института по изучению артритов, скелетно-мышечных и кожных заболеваний, и Фрэнсин Сиконолфи, старший менеджер по проектам компании Aetna, занятой медицинским страхованием. Беседой руководил редактор eWeek по вопросам технологии Питер Коффи.

eWeek: Хотелось бы узнать, что думают в ваших компаниях об уроках Катрины. Были ли допущены серьезные ошибки при подготовке к восстановлению деятельности после этой катастрофы?

Р. Роузен: Впервые мы подняли такую проблему после 11 сентября. Необходимо позаботиться не только о компьютерах, но и о людях. Однако даже консультанты, с которыми мы сегодня общаемся, по-прежнему игнорируют это обстоятельство и концентрируют внимание на технологиях. Но что вы будете делать без людей?

Я читал любопытную статью об организации, которая направила своих сотрудников на резервную площадку, а там для них ничего не было готово. Люди спали на полу в компьютерном зале, поскольку другого места не нашлось. В действительности восстановление надо планировать так, словно вы перенесете в другое место всю свою деятельность, включая вспомогательные операции, но обычно никто этого не делает.

eWeek: Некоторые организации, с которыми вы имеете дело, - я имею в виду центры контроля и предотвращения заболеваемости и национальные институты здоровья - вероятно, чаще других задумываются о том, как работать в условиях разрухи.

Р. Роузен: Действительно, мы иногда обсуждаем такую возможность. В основном все вращается вокруг того, какой объем резервирования или какая степень готовности им необходимы.

Все было гораздо проще, когда я служил в исследовательской лаборатории сухопутных сил США, где мы сотрудничали с людьми из министерства обороны. Они сделали много такого, что другие часто упускают из виду. Сначала производили очень тщательную оценку риска, включавшую рассмотрение всех возможных вариантов, а затем намечали, что необходимо сделать в том или ином случае. Составляя план действий на бумаге, они старались ответить на многие вопросы. Например, каков полный перечень всего, что нам потребуется? Как мы доставим наших сотрудников, если транспорт не будет работать? И где разместятся люди, когда мы их доставим?

Рассмотрим в качестве примера Новый Орлеан. Даже если вы довезете своих специалистов на резервную площадку, станут ли они работать, если будут беспокоиться о судьбе своих семей? Нужно по меньшей мере задуматься о подобных вещах. А я вижу, что до многих это не доходит даже сегодня.

eWeek: Нельсон, что значит восстановление после катастроф для учреждений здравоохранения?

Н. Рамос: Думаю, с точки зрения восстановления этот ураган стал неожиданностью для всех. Поэтому основная часть мероприятий была спланирована за несколько дней. Хочу коснуться другого аспекта. Мы всегда считали, что когда будет нарушена работа нашей больницы, мы должны будем перевезти пациентов, закрыть ее и передать функции другому учреждению. В реальности же нам пришлось оказывать медицинскую помощь в условиях, когда в здании ничего не работало.

Кроме того, возможна ситуация, когда потребуется не только восстановить свою деятельность, но и предоставлять информацию другим учреждениям. В нашем случае оказалось, что мы не в состоянии оказывать медицинскую помощь, но имеем огромное хранилище знаний - истории болезни. Таким образом, если организация не может выполнять свои главные задачи, нужно уполномочить информационную службу передавать базы знаний тем, кому они необходимы. Другими словами, нельзя полностью замыкаться на восстановлении собственного дела, а следует наладить сотрудничество с другими учреждениями и открыть доступ к своим данным для тех, кто может использовать их более эффективно.

eWeek: На протяжении нескольких последних лет учреждения здравоохранения активно осваивали беспроводные и сетевые технологии, переходили с физических носителей информации на цифровые и т. д. Не кажется ли вам, что мы слишком быстро отвергли более отказоустойчивые методы и постепенно снизили надежность систем, положившись на электронику? Каков ваш план действий в случае отсутствия электричества, связи и т. д.?

Н. Рамос: Я думаю, перевод медицинских карт в цифровую форму будет продолжаться, поскольку в таком направлении движутся все, - это необходимо, чтобы выполнять обмен информацией между различными учреждениями.

eWeek: Наверняка есть множество причин, заставляющих вас действовать подобным образом.

Н. Рамос: Конечно. Мы привыкли хранить горы бумаги на случай выхода системы из строя. Теперь, с переходом на отказоустойчивые системы, эти гигантские объемы бумаги, использовавшиеся в периоды кратковременных сбоев, стали не нужны, и мы от них избавились. Но Катрина может заставить нас переосмыслить такой подход и подумать, что делать при выходе из строя систем на довольно продолжительный срок.

eWeek: Кевин, а что вы думаете о реакции высшей школы на вызванную Катриной катастрофу? Как быстро и на каких условиях университеты стали предлагать контракты на обучение студентов пострадавших вузов? Вы в курсе этого?

К. Барадет: Мы, например, уже приняли восемь студентов из Тулейнского университета.

eWeek: Это как-то повлияло на работу вашей компьютерной сети? Я имею в виду появление новых людей, которых нужно быстро начать обслуживать.

К. Барадет: Мы привыкли к тому, что в начале семестра чуть ли не каждый день прибывает три-четыре сотни новых студентов и их всех надо подключать к сети. Так что восемь человек - пустяк.

Примерно две недели назад я узнал о нескольких ребятах из центра управления сетями Нового Орлеана, которые продолжали работать несмотря ни на что. Они не спали и не покидали рабочих мест, поддерживая функционирование блога, веб-камеры и чата. В выходные я долго наблюдал за ними. Это было довольно интересно. Они неплохо подготовились, но в то же время не подумали о многих вещах. Например, у них был огромный генератор, но он стоял на девятом этаже парковки для машин. И им приходилось катать огромные бочки с дизельным топливом по крутым дорожкам парковки, чтобы заправить генератор.

Еще они не подумали о том, что где-то нужно спать, и располагались прямо на серверах. Через пару дней они обнаружили, что у них нет в запасе чистой одежды. Очень пригодились бы и биохимические туалеты. Так что хотя с водой и пищей проблем не было, трудностей все равно хватало.

eWeek: Гэри, как Катрина повлияла на вашу издательскую деятельность?

Г. Ганнерсон: У нас газета в Геттисберге - городе, пострадавшем от урагана. Наша компания освещает ход событий всякий раз, когда происходит что-то чрезвычайное, а это случается постоянно - ураган только один из таких примеров. Как правило, мы собираем сотрудников из разных городов и направляем их в то место, где они больше всего нужны.

Наша компания прежде всего думает о своих сотрудниках, поэтому тем из них, кто живет в пострадавшем городе, мы сказали: "Занимайтесь собственными делами, поскольку сейчас для вас это важнее всего".

eWeek: Это ваша стратегия - направить к месту катастрофы людей, которых несчастье не коснулось лично, чтобы сотрудники из местного отделения могли позаботиться о своих домах и семьях?

Г. Ганнерсон: Это лишь часть нашей стратегии. Немаловажно и то, что у нас есть генератор, резервный печатный станок, грузовики для доставки и все необходимое. Что же касается планов на случай продолжительного отключения электричества... Думаю, таковых у нас нет. Вряд ли кто-нибудь рассчитывает, что генератор надолго станет главным источником электроэнергии.

eWeek: Когда речь идет о нескольких неделях, то это уже качественно иная ситуация, не так ли?

Г. Ганнерсон: До 11 сентября никто и никогда не обращался к нам с просьбой создать полную резервную копию системы в географически удаленном районе. Но после этой даты нам предложили подумать о такой возможности. Реализация этого проекта займет не один и не два года - он рассчитан на десятилетие. Мы уже предприняли шаги в этом направлении, но еще не вышли на нужный уровень, хотя и добились некоторого прогресса.

eWeek: Как вы думаете, трудно далось такое решение? Продолжают ли люди поддерживать идею резервирования спустя четыре года после событий 11 сентября?

Г. Ганнерсон: Думаю, да. Происходит вот что: если вы решили поддерживать полную копию системы в другой географической зоне, то вы начинаете искать более централизованные методы организации своей инфраструктуры или новые технологии для сравнительно быстрого перемещения определенных подсистем. Мы сейчас изучаем некоторые решения компании VMware, позволяющие перенести компьютерную систему, чтобы развернуть ее в другом месте. Это довольно изящный ход.

eWeek: Он заключается в том, чтобы сделать мгновенный снимок системы, а затем перенести его?

Г. Ганнерсон: Совершенно верно. Кроме того, остается проблема людей... В некоторых случаях мы можем управлять системами из дома. Но после катастроф типа Катрины не остается даже домов, куда можно пойти. Вероятнее всего, в такой ситуации нужно покинуть штат, хотя что-то планировать здесь довольно трудно.

В действительности я не знаю, как составлять планы на случай подобных событий. Тут уж нечто происходит, а вы потом напрягаете все силы, чтобы ликвидировать последствия.

eWeek: Фрэнсин, я думаю, у страховой компании Aetna было довольно много дел в последнее время?

Ф. Сиконолфи: Aetna уже неоднократно с успехом выходила из подобных ситуаций. В таблицах, которые управляют нашими программными системами, имеется множество динамических триггеров. С их помощью можно настроить наши бизнес-приложения так, чтобы они, например, позволяли людям обратиться к своему врачу безо всякого направления и предварительного освидетельствования, а системе - срочно выписать рецепты, даже если по правилам их можно выписывать не чаще чем раз в месяц, и выполнять другие подобные действия. Насколько смогли, мы устранили все барьеры, мешающие людям получить необходимую медицинскую помощь.

Наши системы могут динамически подключать и отключать определенные функции. Потребовалось много лет, чтобы довести их до такого уровня развития. За это время, к сожалению, случилось много природных катаклизмов и других катастроф. Но специалисты, поддерживающие все имеющиеся в системах таблицы, сделали все возможное, чтобы все работало как нужно.

eWeek: Интересно было услышать, как вы постепенно наращивали динамические возможности своей системы. А то я раньше считал само собой разумеющимся, что сервисные организации проявляют значительную гибкость. Но ведь надо предусмотреть эту гибкость заранее и заложить в архитектуру системы все необходимое. Иначе мы можем быстро вернуться в эпоху бумажных документов.

Ф. Сиконолфи: Конечно, мы сталкивались с проблемами. Особенно когда речь зашла о доставке бумажных документов, передаче их по обычной почте и о других подобных вещах. Но мы с этим справились, хотя проблемы продолжают существовать.

eWeek: Вы обсуждали в своем кругу, сколько еще времени, по вашим ожиданиям, вам придется обслуживать людей, оторванных от своего дома, и иметь дело с другими затрудняющими работу случаями?

Ф. Сиконолфи: Я начала работать в компании Aetna вскоре после событий 11 сентября и никогда не замечала, чтобы для решения вопросов такой важности устанавливались какие-то ограничения по времени.

eWeek: Том, ваша компания разрабатывает медицинское оборудование. Теперь, после того как вы увидели, что может произойти в результате крупной катастрофы регионального масштаба, не пересмотрела ли FoxHollow Technologies свои взгляды на то, что означает быть готовым к нештатной ситуации?

Т. Миллер: Я считаю, мы хорошо обдумали, что может произойти в некоторых районах - скажем, в Северной Калифорнии, где мы находимся. Мы понимаем, что любая катастрофа может охватить весь регион, а значит, наши планы должны учитывать последствия не только для нашего города, но для всего штата в целом.

Мы рассмотрели предложения компаний, оказывающих услуги по восстановлению бизнеса, например SunGard. Однако их ближайший центр восстановления находится в городе Сан-Рамон и, следовательно, тоже может быть затронут катастрофой регионального масштаба. Так что нужно искать помощь не только за пределами своего района, но и вообще за пределами Калифорнии. Ведь катастрофа может серьезно нарушить наш бизнес.

Рассматривая человеческий фактор, мы поняли, что обязанности человека по отношению к своей семье первичны, а по отношению к бизнесу - вторичны.

eWeek: Поправьте, если я ошибаюсь, но значительная часть ваших информационных активов хранится в электронном виде - записи о клиническом обследовании и т. п.

Т. Миллер: Нет, вы не ошибаетесь.

eWeek: Вы держите эту информацию в укромном месте в Канзасе или имеете несколько площадок для хранения резервных копий?

Т. Миллер: Мы будем стремиться к тому, чтобы информация хранилась в различных местах, причем как в электронной форме, так и на бумаге.

eWeek: Правильно ли будет сказать, что ураган Катрина побудил вас гораздо шире взглянуть на эту проблему?

Т. Миллер: Да, именно заставил. Мы задумались о том, как нам следует управлять рисками и как предусмотреть все, что нужно для нормальной работы в чрезвычайной ситуации. Мы хотим быть уверены, что учли не только вопросы, связанные с ИТ, но все, касающееся функционирования компании в целом.

eWeek: Это одна из тем, которые напоминают мне о некоторых наших дискуссиях по поводу готовности к проблеме 2000 г. Как тогда утверждалось, главным побочным продуктом этих обсуждений стало понимание того, что для обеспечения работоспособности одной компании необходимо, чтобы работали не только ее системы, но и системы множества других фирм и организаций. Согласны ли вы с тем, что обсуждение проблемы готовности к возможным катастрофам не должно ограничиваться рамками отдельных компаний?

Ф. Сиконолфи: Совершенно верно: между компаниями существуют обязательства, например соглашения об уровне обслуживания. Более того, сетевые шлюзы, инструменты обмена информацией в электронной форме и другие инструменты запрограммированы так, чтобы соответствовать данным соглашениям. Это касается даже систем, обрабатывающих иски, членства в тех или иных организациях и много чего еще. Так что - да, мы очень сильно зависим от сторонних фирм и других наших партнеров.

eWeek: Таким образом, вы должны быть не только готовы в крайних случаях снизить требования или ослабить гарантии, но еще и убедиться, что другие будут с вами сотрудничать.

Ф. Сиконолфи: Да, ведь им придется платить штраф, если в течение определенного времени они не удовлетворят наши требования по иску.

eWeek: Есть ли что-то такое, что необходимо сделать немедленно в качестве реакции на ураган и его последствия?

Р. Роузен: Один из вопросов, над которым мы сейчас работаем, - это создание инструментов с повышенной степенью автоматизации, чтобы системы, расположенные на резервной площадке, как можно меньше нуждались во вмешательстве человека и нам не приходилось направлять туда дополнительных людей в случае катастрофы. Я думаю, это может стать одним из решений некоторых из обсуждаемых проблем.

eWeek: Как вы считаете, какое катастрофическое событие следует считать наиболее вероятным? Я не думаю, что у кого-то есть план действий на случай ядерного удара. Но нужно ли было готовиться к тому, что Новый Орлеан окажется на шесть метров под водой? Каков наихудший сценарий, под который следует строить планы?

Г. Ганнерсон: Мы стараемся иметь план на случай катастрофы, а для компьютерных систем - предусмотреть максимально возможную гибкость и выполнять дистанционное резервное копирование каждого бита информации.

Думаю, нужно не только иметь готовый план, но и уметь его реализовать. Поэтому следует опробовать его пару раз заранее. Если вы это сделали, то вопрос сводится к тому, сумеете ли вы действовать в чрезвычайной обстановке. Ведь ни в каком плане невозможно все предусмотреть. Так что необходимо иметь в своем распоряжении подготовленную группу и реагировать в соответствии со сложившейся ситуацией. Самое трудное - убедиться, что вы готовы к действиям.

Версия для печати