Устранение избыточности трафика с помощью кэширования и сжатия данных

 СЕТЕВОЕ ОБОРУДОВАНИЕ

Михаил Антонов, Сергей Екимов

При проектировании сетей связи, как, впрочем, и при их эксплуатации, нередко возникают проблемы, вызванные нехваткой производительности используемых телекоммуникационных каналов. Особенно это касается нашей страны, где в составе сетевой инфраструктуры значительна доля каналов связи тональной частоты и относительно низкоскоростных цифровых каналов. Тем временем запросы пользователей постоянно растут. Зачастую дело складывается так, что заказчик готов платить за аренду широкополосных каналов, но у оператора нет физической возможности предоставить ему требуемый уровень обслуживания. В данном случае устранение избыточности сетевого трафика способно частично или полностью скомпенсировать нехватку производительности каналов связи для передачи пользовательских данных.              

Помимо решения чисто практических проблем, обусловленных отсутствием необходимых каналов связи, устранение избыточности в сетевом трафике позволяет также существенно снижать затраты на эксплуатацию сетей при увеличении их производительности. Представим ситуацию, когда по вполне "широкому" каналу передаются пользовательские данные и объем их растет вместе с развитием и расширением компании. В какой-то момент пропускной способности используемых каналов начинает не хватать, и заказчик вынужден увеличивать их производительность. При этом и без того немалые постоянные затраты неизбежно растут, зачастую в разы. Но если бы удалось устранить избыточность в передаваемом сетевом трафике, можно было бы либо обойтись меньшим увеличением производительности каналов, либо вовсе этого не делать.

Уровень устранения избыточности: когда он достаточен?

Каким же образом добиться такого устранения избыточности трафика, чтобы оно могло оказывать существенное влияние на работу сети? Для этого сначала необходимо проанализировать возможные пути сокращения объемов передаваемых данных без потерь информации, а затем определить ту самую "достаточность", при которой это снижение становится заметным, а использование тех или иных методов снижения - целесообразным.

Для начала оценим, какой уровень устранения избыточности следует принимать за минимально приемлемый. Понятно, что если в результате проведенной работы получаемый прирост в производительности каналов связи составляет 1-2%, то скорее всего примененный механизм окажется невостребованным, а время и средства, потраченные на его создание, пропадут зря. Прирост же в 100%, напротив, можно считать существенным. Ну а еще больший прирост конечно же будет еще более желателен. Так где же та граница, за которой можно говорить о достаточном эффекте устранения избыточности? Однозначно ответить на этот вопрос для всех случаев невозможно. Поэтому предлагается подход, основанный на экономической целесообразности.    

Прирост производительности канала связи

при устранении избыточности для различных

видов трафика (с помощью оборудования Expand)

Судьба внедрения любой информационной технологии нередко помимо чисто технических причин зависит от экономической целесообразности нововведения. Это значит, что можно говорить об экономической оценке достаточности уровня устранения избыточности сетевого трафика. Основным показателем здесь является срок окупаемости решения, позволяющего снизить нагрузки на каналы связи без уменьшения объемов передаваемой информации и в результате сократить затраты на дополнительную пропускную способность. Следовательно, достаточность устранения избыточности сетевого трафика может быть определена по результатам опытной эксплуатации предлагаемого решения в сети заказчика.

Теоретически можно и заранее, без всяких испытаний, прогнозировать уровень устранения избыточности. Но этот путь весьма сложен, трудоемок и к тому же не дает той точности, которую мы получим в ходе эксперимента. И связано это в первую очередь с тем, что любая теоретическая, а равно и имитационная модель будет оперировать гипотетическим трафиком, закон распределения и характеристики которого пусть и получены по параметрам трафика реального, но все же остаются всего лишь приближением к реальности. Тем не менее для предварительной оценки эффекта внедрения таких систем можно ввести некоторые типовые значения, показывающие, на каком уровне следует устранить избыточность трафика заранее определенного типа - передачи изображений, текстовой информации, мультимедиа и т. д. Таким образом, можно предварительно оценивать выигрыш, который получит заказчик от внедрения системы устранения избыточности.

Еще одним важным с экономической точки зрения вопросом является защита инвестиций в уже существующую сетевую инфраструктуру. Понятно, что если внедрение системы устранения избыточности требует полной перестройки сети связи, то такое решение вряд ли найдет широкое применение, по крайней мере для уже построенных сетей. Одним из наиболее значительных достоинств системы устранения избыточности наряду с сокращением объемов передаваемого трафика является возможность ее внедрения в уже функционирующую сеть связи с минимальными изменениями работы оборудования и самих пользователей.

Пути устранения избыточности

Теперь рассмотрим методы устранения избыточности сетевого трафика. Одной из основных задач этой работы является удаление лишней информации, передаваемой по сети связи, и как следствие - значительное увеличение эффективной производительности используемых каналов.

Любой сетевой трафик содержит избыточную информацию, складывающуюся из следующих компонентов:

- многократная передача повторяющихся блоков данных;

- повторы, вызванные ошибками в канале связи;

- служебная информация, передаваемая в протокольных блоках данных;

- избыточность в поле полезной нагрузки протокольных блоков данных.

При передаче данных независимо от используемых протоколов к полю полезной нагрузки добавляется блок служебной информации, обеспечивающей адресацию, идентификацию и контроль целостности передаваемых данных. Как правило, служебные поля протокольных блоков имеют значительную избыточность, обусловленную большой повторяемостью одних и тех же записей.

Если в канале связи при передаче данных возникают ошибки, то производится повторная трансляция ранее переданных блоков информации. В данном случае избыточность обусловлена многократной передачей по каналу связи идентичных протокольных блоков данных.

Имеется также избыточность, содержащаяся в самой передаваемой информации. Примерами здесь могут служить электронный документооборот, использующий в качестве приложений такие широко распространенные программные пакеты, как Microsoft Office или Lotus Notes, а также Интернет-трафик, электронная почта и распределенные базы данных.

При работе в нескольких удаленных офисах большого количества клиентов с одним и тем же набором сетевых приложений в сети связи порождается значительный трафик, содержащий одни и те же блоки данных. В этом случае дополнительная избыточность обуславливается многократными передачами повторяющейся информации между пользователями.

Применительно к реальным условиям подключения удаленных офисов доля избыточной информации тем выше, чем ниже качество каналов связи.

Система устранения избыточности сетевого трафика призвана снизить долю избыточной информации, неизбежно передаваемой в сети связи, и увеличить эффективную производительность каналов, используемых для передачи полезной нагрузки.

Самым простым решением здесь является компрессия данных на основе хорошо известных алгоритмов сжатия. Такой метод реализован многими производителями сетевого оборудования. Как правило, это отдельный модуль компрессии, забирающий часть ресурсов основного процессора маршрутизатора. Метод позволяет сжимать передаваемый трафик, однако эффективность его невысока. В среднем таким способом удается получить выигрыш порядка нескольких десятков процентов.

Есть и еще один метод снижения нагрузки - кэширование данных, широко применяемое для передачи Web-содержимого. Его эффективность достаточно высока, но применение ограничено узким кругом приложений.

Наконец, третий метод состоит в сжатии заголовков. Он представляет, пожалуй, один из самых распространенных способов борьбы с избыточностью передаваемого трафика. Особенно это касается передачи мультимедийных данных: компрессией RTP-заголовков можно добиться значительного снижения избыточности передаваемой по каналам связи информации. Но, к сожалению, его не всегда можно реализовать в сети.

Устранение избыточности сетевого трафика: пример реализации

Перечисленные выше методы устранения избыточности трафика, как правило, используются обособленно друг от друга. Тем не менее сейчас на российском рынке ряд компаний предлагает специализированное оборудование, сочетающее в себе все основные методы сжатия; мало того, в нем предлагаются и дополнительные функциональные возможности, такие, как анализ передаваемого трафика, ведение статистики по оптимизации того или иного класса трафика, реализация механизмов обеспечения необходимого качества обслуживания и т. п.

Среди производителей такого оборудования можно назвать фирмы Expand Networks и Peribit Networks.

Динамические архиваторы Peribit сокращают занимаемую сетевым трафиком полосу пропускания каналов связи, в зависимости от характеристик самого трафика, в несколько раз. Применяемый в них алгоритм анализа передаваемых данных на повторяемость позволяет снижать долю избыточной информации. Метод анализа молекулярных последовательностей, изначально разработанный для изучения ДНК и генома человека, был с успехом применен и для анализа битовых последовательностей, составляющих сетевой трафик.

Такие устройства устанавливаются во всех офисах, обмен данными между которыми подвергается сжатию. При этом каждый архиватор имеет два порта Ethernet и подключается к участку сети между коммутатором ЛВС и маршрутизатором. Таким образом, с одной стороны, достигается независимость от технологий передачи данных, используемых во внешней сети, а с другой - простота инсталляции и защита инвестиций в уже созданную сетевую инфраструктуру.

Более подробно хотелось бы остановиться на продукции компании Expand Networks (см. PС Week/RE, N 19/2004, с. 20), занимающей в настоящее время одну из лидирующих позиций на рынке оборудования для устранения избыточности сетевого трафика. Помимо непосредственно сокращения объема передаваемых данных оно реализует ряд дополнительных функций, значительно расширяющих сферу его применения.

Суть работы предлагаемых этой компанией устройств сводится к совмещению трех основных алгоритмов устранения избыточности, которые призваны по возможности максимально уменьшить долю избыточной информации, передаваемой по каналам связи, а следовательно, увеличить их эффективную производительность. На рис. 1 приведена схема обработки передаваемого трафика.    

Рис.1. Структурная схема

обработки передаваемого трафика

Все передаваемые между удаленными офисами данные подвергаются обработке в системе устранения избыточности сетевого трафика. На первом этапе проводится вертикальный анализ данных, т. е. система анализирует заголовки протокольных блоков данных, используемых для передачи пользовательской информации, и сжимает служебные поля. В результате снижается избыточность, обусловленная наличием в протокольных блоках данных служебных полей, а также проводится классификация сетевого трафика.

Затем задействуется алгоритм выборочного кэширования. На этом этапе поток передаваемой информации анализируется на предмет повторяемости отдельных битовых последовательностей. Система устранения избыточности определяет, какие информационные последовательности повторяются наиболее часто, и заносит их в кэш-память. В дальнейшем при необходимости передачи этой информации между удаленными офисами в канал связи поступает лишь короткая метка, адресующая требуемую область кэш-памяти удаленного акселератора. За счет этого значительно снижается избыточность сетевого трафика, обусловленная многократными транзакциями идентичных блоков данных между удаленными офисами.

Адаптивному сжатию данных подвергается та часть передаваемого трафика, которая не была обработана на первых двух этапах. В таком случае производится компрессия передаваемых данных с помощью наиболее подходящего алгоритма сжатия.

Последовательным применением описанных алгоритмов достигается высокий уровень устранения избыточности передаваемого трафика, поскольку при этом кэшируются многократно повторяющиеся блоки данных, а служебная информация, содержащаяся в протокольных блоках, и пользовательские данные, передаваемые по каналам связи, сжимаются.

Схема включения акселераторов

Для того чтобы успешно устранять избыточность сетевого трафика между любыми двумя узлами сети, в каждом из них должно располагаться оборудование Expand Networks, способное обрабатывать трафик с устраненной избыточностью. Узлы, не оснащенные таким оборудованием, продолжают работать в обычном режиме. Акселераторы могут быть установлены в трех основных конфигурациях: On-WAN; On-LAN и On-Path.

В схеме On-WAN (рис. 2) акселераторы включаются между маршрутизатором и каналообразующим оборудованием. При этом их установка абсолютно "прозрачна" с точки зрения уже работающего оборудования.

Рис. 2. Схема включения On-WAN

В такой конфигурации акселератор автоматически определяет тип используемой на канальном уровне инкапсуляции, устраняет избыточность пользовательских данных (т. е. все, что лежит выше канального уровня) и передает преобразованные данные в сеть. При этом поддерживаются следующие типы инкапсуляции: Frame Relay IETF, Frame Relay Cisco, RAW HDLC, HDLC, LAPB, PPP. Акселераторы автоматически определяют наличие на другой стороне устройства, способного обрабатывать трафик с устраненной избыточностью, что, собственно, и позволяет им переходить в режим ее устранения. В противном случае передаваемый трафик прозрачно пропускается без каких-либо изменений.

Основным преимуществом данной схемы является возможность установки акселераторов в сети провайдера, когда локальная сеть абонента недоступна для установки какого-либо оборудования.

В схеме On-LAN (рис. 3) акселераторы включаются в локальную сеть. При этом в конфигурацию существующей сети необходимо внести одно из следующих дополнительных изменений:

- изменить сетевые настройки рабочих станций, расположенных в ЛВС; и внести указание нового шлюза по умолчанию, которым в данной схеме становится акселератор Expand;

- изменить IP-адрес маршрутизатора; при этом предыдущий адрес присваивается акселератору Expand.

 Рис. 3. Схема включения On-LAN

Установка акселераторов в локальной сети обеспечивает независимость от используемых WAN-протоколов. При работе по схеме On-LAN возможно каскадирование акселераторов, увеличивающее общую производительность системы. В сочетании с поддержкой протоколов HSRP и VRRP это позволяет создавать особо надежные решения с возможностью резервирования.

В схеме On-Path (рис. 4) акселераторы включаются в разрыв между маршрутизатором и ЛВС. При этом, как и в схеме On-WAN, нет необходимости в дополнительных настройках уже установленного оборудования.

Рис. 4 Схема включения ON-Path

Для передачи пользовательского трафика между акселераторами, установленными в локальных сетях, прокладываются туннели IP-comp. Независимо от схемы включения при необходимости передаваемый трафик может фрагментироваться и обслуживаться с заранее заданным качеством.

Акселераторы допускают также применение смешанных схем включения (рис. 5). При этом в различных удаленных узлах могут быть использованы различные варианты их подключения.    

Рис. 5. Смешанная схема включения 

Таким образом, систему устранения избыточности сетевого трафика можно внедрять поэтапно, с постепенным подключением новых узлов в соответствии с требованиями пользователей к необходимой производительности каналов связи.

Дополнительные возможности

Помимо основных алгоритмов устранения избыточности акселераторы Expand включают в себя ряд дополнительных возможностей, призванных обеспечить необходимый уровень качества предоставляемых услуг, дистанционного управления и мониторинга. Перечислим основные из них:

- фрагментация IP-пакетов для обеспечения необходимого качества обслуживания при передаче интегрального трафика;

- классификация сетевого трафика;

- автоматическое определение типа передаваемого трафика;

- широкие возможности по созданию и применению политик обслуживания исходящего трафика;

- механизм исправления ошибок при передаче данных по каналам связи низкого качества;

- механизм работы в режиме аппаратного или программного моста;

- поддержка протокола управления SNMP и SNMP v.2;

- поддержка функциональности RMON и RMON II;

- предоставление графических отчетов, строящихся на базе накапливаемой статистики по передаче данных.

Заключение

На настоящий момент по результатам эксплуатации техники Expand Networks уже накоплена статистическая информация, позволяющая говорить о высокой эффективности использования данного оборудования в корпоративных сетях и сетях провайдеров услуг доступа в Интернет (см. таблицу). В первую очередь это касается сроков окупаемости. Как показывает практика, единовременные затраты на внедрение системы устранения избыточности в среднем окупаются за 8-16 месяцев. Необходимо отметить, что цифры эти индивидуальны для каждого конкретного случая и сильно зависят от характеристик передаваемого в сети трафика. Тем не менее тот выигрыш, который приносит система устранения избыточности, трудно переоценить, так как по прошествии срока окупаемости достигается значительная экономия средств на эксплуатацию сети связи. К тому же гибкое и поэтапное внедрение системы не требует изменения уже существующей сетевой инфраструктуры, защищая тем самым предыдущие инвестиции в телекоммуникационной сфере.