Не секрет, что цифровые технологии генерируют данные в гигантских объемах. Согласно различным отраслевым оценкам, эти объемы удваиваются приблизительно каждые два года. И в то же время только около 0,5% этих данных на сегодняшний день подвергаются анализу.

«Трудности с большими данными заключаются не в данных как таковых, — говорит Дорман Баззелл, вице-президент и ведущий координатор бизнес-аналитики в компании Hitachi Consulting. — Данных-то как раз достаточно. Трудности с большими данными состоят в разработке набора информативных сценариев использования данных для решения ключевых задач в бизнесе».

Именно потенциальные возможности в сочетании с трудностью их достижения и не дают по ночам спать коммерческим и ИТ-руководителям. «За последние несколько лет в этой области произошли огромные перемены, — утверждает Люс Дюкрок, директор информационно-аналитического подразделения фирмы Clear Peak из Гринвуд-Вилледжа (шт. Колорадо), предоставляющей услуги менеджмента и консалтинга в области данных. Эти перемены охватывают такие разноплановые сферы, как искусственный интеллект (ИИ), блокчейн, Интернет вещей (IoT), обработка речи, инструменты визуализации, данные как сервис и набирающие популярность средства самостоятельного анализа данных.

Согласно опубликованному в 2016 г. докладу Capgemini под названием «Big & Fast Data: The Rise of Insight-Driven Business», 65% бизнес- и ИТ-руководителей сходятся во мнении, что в случае неумения работать с большими данными они рискуют потерять свою востребованность и/или конкурентоспособность. Также 64% из них считают, что большие данные раздвигают традиционные рамки бизнеса, а 24% уже испытали на себе вторжение конкурентов из смежных секторов экономики.

Без сомнений, понимание принципов эффективного использования больших данных играет все более важную роль в успехе цифрового бизнеса. Более широкие и глубокие познания могут подстегнуть инновации и революционные сдвиги на уровне, который еще пару лет назад невозможно было себе представить. Но для того, чтобы добиться превосходных результатов, крайне важно взглянуть шире на данные и аналитику, организовать весьма гибкую, адаптивную систему внедрения информационных технологий и построить надежную основу для обработки и анализа данных.

В наступившем году интеллектуальных технологий базы данных уже не предел

Очевидно, что все цифровые дороги ведут к данным. Дюкрок называет 2017-й «годом интеллектуальных технологий». Однако задача по применению обычной и прогнозной аналитики для получения неких итоговых результатов становится все труднее. Важно понимать, каким образом эффективно использовать большие данные.

Начнем с того, говорит Баззелл, что «отдельные пользователи и целые компании требуют все более расширенного доступа к растущим наборам данных». Но на этом трудности не заканчиваются. Еще нужно наладить вычислительные мощности и рабочую ИТ-систему для сбора, управления и обработки всех этих данных. Эта потребность может вылиться в создание новых партнерских отношений и разработку API.

Также необходимо подключить сюда машинное обучение и ИИ для автоматизации процессов и динамического обучения, а также разработать основу для обработки данных и аналитики внутри предприятия. Баззелл отмечает, что «этот процесс не разовый. Он требует множественных подходов к манипулированию данными с целью определить наиболее подходящие данные, проследить за их качеством и разобраться в их смысле».

Дюкрок считает, что бизнес- и ИТ-руководителям нужно сосредоточиться на трех ключевых факторах: инфраструктуре, интегрированной ИТ-системе поддержки данных и отдельных специалистах в организации, которые в конечном счете стоят за подобными начинаниями.

Одной из компаний, эффективно использующих большие данные, можно назвать 89 Degrees, предоставляющую услуги интегрированного маркетинга и аналитики. Эта фирма сотрудничала со многими гигантами отрасли — от Hyundai до IKEA. Она работает на базе разного рода аналитических решений, в том числе SAS Visual Analytics, SAS Marketing Automation и SAS Hadoop Connector, что позволяет ей расширить и углубить спектр оказываемых ею аналитических услуг.

Фирма извлекает данные из сотен источников и точек сбора: POS-транзакций, информации о местах покупок, сайтов в Интернете, электронной почты, платежных ведомостей и различных системных записей. На их основе она создает узконаправленные маркетинговые кампании. «Мы разрабатываем вероятностные модели, на которых строятся маркетинговые принципы и методологии», — говорит Рози Полтни, вице-президент 89 Degrees по аналитике. Она добавляет, что фирме приходится приспосабливаться к тому факту, что большие данные стали «по-настоящему большими».

В своей работе 89 Degrees использует фреймворк для хранения данных на базе Hadoop, облака, алгоритмы машинного обучения, API и усилия группы специалистов по обработке и анализу данных — с их помощью удается расширить сферу извлечения аналитических выводов до новых, порой неизведанных масштабов. «Возможность быстро обрабатывать большие объемы данных имеет критическое значение, — говорит Полтни. — Но еще нам нужна высокая степень гибкости для того, чтобы иметь возможность добавлять новые параметры и точки данных на лету». По ее словам, в отдельных случаях компании приходится иметь дело с ежедневными массивами данных объемом до 20 Гб на одного клиента.

Большие данные — это нечто большее, чем бизнес-проект, они выходят за рамки простого набора инструментов и технологий.

«В сегодняшней обстановке ведения бизнеса необходимо внедрять и задействовать системы, поддерживающие быструю работу с данными, — отмечает Полтни. — Большие данные — это не просто красивое словечко или любопытная концепция. Это способ извлечь выгоду. Но для того, чтобы этого добиться, нужно определить, какую именно бизнес-проблему вам нужно решить и как большие данные могут этому поспособствовать».

Как с помощью анализа больших данных получить глубокие знания

Как коммерческие директора и руководители ИТ-отделов ориентируются в реалиях больших данных? Как наилучшим способом использовать обычную и прогнозную аналитику?

По мнению Дюкрока важно признать, что информационные технологии стремительно переходят в разряд объектов потребления, так что организациям следует уделить внимание их коммерческой ценности. Это означает, что все члены организации должны сообща выискивать потенциальные возможности для получения выгоды. Также это значит, что каждая организация должна построить уникальную инфраструктуру в поддержку любых предложений по рационализации, а затем непрерывно отслеживать прогресс в этом направлении.

Баззелл советует организациям занять более комплексную и творческую позицию по отношению к инфраструктуре обработки данных. Это подразумевает как подключение традиционных источников данных, так и интеграцию в систему данных от Интернета вещей, подключенных в сеть машин и датчиков с целью провести ручной и автоматический анализ данных.

Собственно, замечает он, сегодня аналитика выходит за пределы человеческого мышления. «Если посмотреть на IoT шире — как на набор любых объектов, производящих данные, получающих обратную связь и подстраивающих свое поведение, — тогда людей также можно считать своеобразными датчиками», — проводит параллель Баззелл.

И в самом деле, зарождающаяся подобным образом система понятий требует нового мировоззрения в отношении данных и аналитики, которое должна принять вся организация в целом. В то же время, Баззелл рекомендует: «Предоставьте полный доступ к данным своим специалистам, и пусть они занимаются тем, что получается у них лучше всего: изучают и связывают на первый взгляд не связанные элементы данных».

Это не означает, что нужно дать аналитикам полное право строить воздушные замки и преследовать собственные иллюзии. Крайне важно «держать специалистов по обработке данных в этаких ежовых рукавицах, чтобы с одной стороны развязать им руки для исследований, а с другой — призвать их к ответственности за поставленные цели, сроки и бюджет того, над чем они работают», — поясняет Баззелл.

Вне всякого сомнения, наступила новая эпоха, и руководители всех звеньев компании должны научиться к ней приспосабливаться.

«Если инициатива по углубленному использованию данных исходит от ИТ-отдела, а коммерческий отдел в этом никак не участвует, эту инициативу можно с таким же успехом свернуть, так как она не выгорит, — делает вывод Дюкрок. — Вам должна быть полностью понятна проблема или трудность в бизнесе, которую вы пытаетесь решить, вы должны знать, кому и зачем это нужно и во сколько обойдется бездействие. Задача ИТ-отдела — разъяснить бизнес-руководителям, возможно ли справиться с той или иной проблемой в сфере данных, и в случае, если это действительно возможно, показать путь достижения максимальных результатов».