ПРОЕКТЫ

История знает много успешных проектов, инициированных группами увлеченных любителей. Энтузиазм и поверхностное представление о предметной области на первых этапах служат мощным катализатором развития их начинания. Но рано или поздно наступает время, когда необходимо участие профессионалов, способных поставить дело на промышленные рельсы. Подобный путь прошел и один из крупнейших российских Интернет-магазинов Ozon.ru (www.ozon.ru), отметивший в этом году свое семилетие.

Вряд ли случайно, что у истоков этого "фантастического" по тем временам проекта стояли люди, входившие в группу питерских любителей фантастической литературы. Бум вокруг безграничных возможностей Интернет-экономики и электронной коммерции не мог пройти мимо их внимания. Идеи витали в воздухе, технологии в принципе были известны, и в 1998 г. книжный магазин Ozon.ru открыл свои виртуальные двери. Шли годы, расширялся ассортимент, появлялись новые группы товаров, росла клиентская база. В 2004 г. Ozon.ru отправил покупателям из 107 стран более полутора миллионов товаров: 41% из них (в денежном выражении) - книги, 17% - DVD-диски, 10% - букинистические издания и раритеты, 8% -CD-аудиодиски. Основная масса покупателей магазина живет в России (82%), но немало заказов отправляется и за рубеж (18%). Для удовлетворения столь значительного спроса на территории склада Ozon.ru в прошлом году было открыто настоящее почтовое отделение с индексом 127092. Уже несколько лет подряд обороты виртуального магазина удваиваются, и в 2004 г. они составили 22 млн. долл.

Информационная система Ozon.ru

Информационные технологии здесь не просто помогают автоматизировать основные бизнес-процессы - без них деятельность Интернет-магазина невозможна в принципе. А отмеченный выше бурный рост обнажал то одни, то другие никак не проявлявшие себя ранее недоработки в используемой информационной системе. С самого начала она была разделена на два блока - фронт-офисный и бэк-офисный. Первый обеспечивает представление сайта в Интернете. В базе данных фронт-офиса находится вся информация, доступная посетителям Ozon.ru: описание товаров, состояние заказов, персональные настройки клиентов и т. д. Бэк-офисный блок автоматизирует важнейшие бизнес-процессы Интернет-магазина: обработку заказов, складской и финансовый учет, закупки, управление ассортиментом, экспедирование заказов, взаимодействие с call-центром, работу курьерской службы и многие другие.

Уже в 1999 г. стало очевидно, что имевшихся тогда серверных ресурсов катастрофически не хватает. Но после того как были закуплены и установлены четырех- и восьмипроцессорные Intel-серверы отечественной сборки, на первый план вышли проблемы программного обеспечения, а точнее сказать, программной архитектуры. Пока посетителей было не очень много, на работе системы никак не сказывалось то, что данные фронт - и бэк-офиса хранились в одной БД. Однако когда число посетителей, ежедневно приходящих на сайт, переваливало за сотню, запуск более или менее сложной задачи бэк-офисного приложения существенно замедлял обработку запросов посетителей Web-магазина. А несколько одновременных обращений к поисковой системе сайта могли заблокировать активность всех остальных пользователей системы.

Необходимость разработки информационной системы с новой архитектурой стала очевидной. Прежде всего, бэк-офисное и фронт-офисное приложения были разнесены по разным серверам. Далее бэк-офисный блок был полностью переписан, а кроме того, произошла смена СУБД - на место Sybase встал Microsoft SQL Server. И, наконец, в 2002 г. пришлось заново разработать фронт-офисную прикладную систему (дизайн сайта Ozon.ru остался прежним), причем в качестве ключевой технологии тогда была использована недавно появившаяся Microsoft ASP.NET.

В начале 2004 г. на первый план вышли вопросы надежности и масштабируемости. Купленное в 1999 г. оборудование выработало свой ресурс, начались отказы некоторых подсистем, а техподдержка производителя к тому времени закончилась. Руководство Ozon.ru приняло решение о необходимости технического перевооружения в кратчайшие сроки. Технический директор владеющей торговой маркой Ozon.ru компании "Интернет Решения" Алексей Тимонин, неоднократно лично участвовавший в ликвидации последствий аппаратных отказов и сбоев, менее всего хотел бы через три года вновь встретиться с букетом неожиданных проблем. ИТ-инфраструктуру следовало перестроить так, чтобы она была готова к развитию и наращиванию и не требовала для этого кардинального пересмотра. Ведь уже в нынешнем году будет сдан в эксплуатацию логистический центр в Твери, куда планируется перевести большую часть операций.

Продолжат свою работу склады в Москве и Санкт-Петербурге. В столице вблизи самых оживленных транспортных узлов появится еще пять пунктов самовывоза для клиентов, по тем или иным причинам не желающих пользоваться услугами курьерской доставки. И все эти подразделения надо будет подключить к ИС Ozon.ru.

Здесь требовалось участие профессионалов, имеющих опыт выполнения подобных проектов. И руководство Ozon.ru решило привлечь к решению задачи технического перевооружения известного системного интегратора - компанию "Ай-Теко" (www.i-teco.ru). Проект стартовал в начале 2004 г. и в октябре был успешно завершен. Специалисты "Ай-Теко" предложили развернуть отказоустойчивую кластерную двухузловую конфигурацию сервера БД на площадке ISP-провайдера с тем, чтобы практически исключить вероятность выхода из строя витрины Web-магазина и минимизировать затраты времени на обслуживание оборудования (см. рисунок). Основу вычислительного кластера составили многопроцессорные серверы НР Proliant DL560G3, сертифицированные для работы с ОС Windows Server 2003 и ПО Microsoft Cluster Server.

Для удаленного мониторинга, управления и конфигурирования серверов применялось ПО HP Insight Manager, обеспечивающее минимальное время простоя территориально распределенной вычислительной системы заказчика. Повышению надежности во многом способствовала возможность проактивного предупреждения (Prefailure Warranty) о вероятных сбоях в работе процессора, памяти и дисков сервера, заложенная в Insight Manager. По словам Алексея Тимонина, за время, прошедшее с момента сдачи системы в эксплуатацию, ни одного реального сбоя зафиксировано не было, однако служба сервиса "Ай-Теко" уже несколько раз заменяла "подозрительные" диски в RAID-массивах. Следует отметить, что подобные работы выполняются "Ай-Теко" в рамках договора о трехгодовом круглосуточном техническом сопровождении и не требуют дополнительной оплаты. В случае реальной аварии компания обязуется заменить вышедший из строя компонент в течение шести часов.

Кластер был подключен к внешнему дисковому массиву НР MSA500G2 в наиболее отказоустойчивой и одновременно производительной конфигурации RAID 10. Подключение дискового массива к серверам кластера было выполнено по двум каналам - основному и резервному. Таким образом удалось реализовать максимальную защиту данных - как на уровне внутренних компонентов, так и на уровне внешних подключений.

Для резервного копирования во фронт-офисном блоке используется ленточная библиотека HP SSL 1016, а в бэк-офисном - НР MSL 6030L2 с быстродействующими приводами Ultrium460. С помощью ПО НР OpenView Data Protector каждые три минуты делается копирование на ленту журнала транзакций, а кроме того, раз в сутки полностью сохраняется БД. Это гарантирует, что в случае сбоя ни одна транзакция не будет потеряна.

Функции Web-витрины в настоящее время выполняют четыре сервера HP ProLiant DL360, по которым с помощью ПО Microsoft Network Load Balancing равномерно распределяется поток запросов посетителей магазина. Этот своеобразный кластер Web-серверов имеет неограниченные по сегодняшним меркам Ozon.ru возможности масштабирования: технология Microsoft допускает наличие в нем 32 узлов.

К бэк-офису предъявляются не столь жесткие требования по надежности и доступности, а потому специалисты "Ай-Теко" решили не идти здесь по пути кластеризации серверов, а установили на площадке заказчика мощный отказоустойчивый многопроцессорный сервер НР Proliant DL580G2, все внутренние компоненты которого дублированы и поддерживают технологию "горячей" замены. Для хранения данных используются внешние дисковые полки HP MSA30, подключаемые к быстродействующему внутреннему RAID-контроллеру сервера Smart Array 6404. Это решение имеет умеренную цену, достаточно надежно и благодаря наличию внешнего дискового массива легко может быть трансформировано в случае необходимости в отказоустойчивую кластерную конфигурацию.

Фронт - и бэк-офисный блоки системы обмениваются данными через VPN-соединение: в Интернет-магазине создаются записи о новых клиентах и заказах, которые передаются в бэк-офис, а в обратном направлении пересылаются сведения об изменении номенклатуры, цен и т. д. Указанный обмен осуществляется в асинхронном режиме с помощью специального ПО, написанного программистами "Интернет Решений" . Такая архитектура допускает временное автономное функционирование фронт- и бэк-офисного блоков с последующий синхронизацией накопленных за время простоя одного из блоков (либо линии связи) изменений данных. Она будет применяться и при развертывании новых бэк-офисных блоков на строящемся складе в Твери и на других площадках Ozon.ru. Важно то, что для этого не придется принципиально перерабатывать архитектуру информационной системы - достаточно просто тиражировать уже реализованные решения.

Пожалуй, это главный "экономический эффект" данного проекта, но оценить его в деньгах пока сложно хотя бы потому, что контуры системы, которой придется решать задачи Ozon.ru через три-пять лет, сегодня можно обрисовать с большой долей неопределенности. Проще прикинуть прямые потери от однодневного простоя Интернет-магазина: сегодня они составляют 50-60 тыс. долл. Но есть ведь и не менее серьезные косвенные потери: затраты на резервирование логистических ресурсов, необходимых для ликвидации образовавшейся волны невыполненных в срок заказов, потеря репутации и т. д. По словам Алексея Тимонина, после проведенной "Ай-Теко" технологической модернизации ИС Ozon.ru скорость выполнения многих операций по обработке данных возросла в 7-10 раз.