В 2020 г. COVID-19 привел в негодность модели прогнозирования. Опрошенные порталом InformationWeek эксперты дают советы о том, как привести свои прогнозные модели в состояние, соответствующее нынешнему уровню неопределенности.

До наступления пандемии цифровизация была основным фактором, определявшим направление развития бизнес-моделей и целых отраслей. Как показал 2020 г., в настоящее время этот фактор несколько сдал свои позиции под напором коронавируса и оказываемого им влияния на бизнес. В частности, внезапные и драматические сдвиги в повседневной жизни отрицательно сказались на точности прогнозных моделей, поскольку они перестали соответствовать историческим данным.

«Одна из действительно больших проблем, с которой сталкиваются люди, — это заблуждение по поводу правильности их моделей, — сказал Скотт Золди, главный аналитик компании FICO. — Очевидно, что мы оказались в стрессовой ситуации, поэтому люди попытались понять, как изменить свой бизнес. Вместо того, чтобы спросить себя: „Как я могу использовать имеющийся у меня актив?“, они в основном говорили: „Давайте просто выбросим старую модель и построим новую“, но ведь новые модели приходят с целым набором других проблем, потому что они построены на нестационарных данных».

Адаптация к новой нормальности

Как правило, компании располагают данными за многие годы, которые можно было использовать в целях прогнозирования. Однако когда все — спрос и предложение, цепочки поставок, модель работы — за такое короткое время радикально изменилось, настало время проявить творческий подход. «Традиционный подход заключается в том, чтобы посмотреть на продажи и понять тенденции. Сейчас это не будет хорошим прогнозом, поэтому нужно искать что-то другое», — говорит вице-президент консалтинговой компании Capgemini в Северной Америке по ИИ и аналитике Дэн Симион. Например, одна авиакомпания для прогнозирования бизнес-пассажиров ориентируется не на продажи, а на будущие заказы, что вызвано отсутствием спроса на деловые поездки в 2020 г.

Компании поняли, что используя данные для принятия решений, им нужно не только быстро адаптироваться к изменениям, но и минимизировать риски. «Строить прогнозы, используя традиционные статистические методы, становится все труднее, потому что вам нужно много данных и результатов наблюдений, — утверждает Симион. — Раньше вы вели еженедельные или ежедневные наблюдения, но теперь вам надо переходить к ежечасным». То же самое справедливо и для других измерений, которые можно детализировать, например, ориентироваться на почтовые индексы вместо стран или регионов. «Это увеличение степени свободы, количества наблюдений в пределах одного и того же временного интервала», — добавил он.

Планирование на случай непредвиденных обстоятельств

На уровне бизнес-стратегии руководители организаций в 2020-м были осведомлены, что планирование на случай непредвиденных обстоятельств придется осуществлять на совершенно ином уровне, чем раньше. Вместо составления основного плана А и плана Б на экстренные случаи консалтинговые организации советовали клиентам обзавестись несколькими планами, охватывающими различные сценарии, включая введение в ограничительных мер и сбоев в цепочке поставок. Однако во многих организациях подобный тип мышления обошел стороной команды по сбору и обработке данных. «Раньше вопрос стоял так: „Какой план действий в чрезвычайных ситуациях?“, а теперь он стоит по-другому: „Каковы мои варианты маршрутов доставки, если я не смогу доставить товар традиционным маршрутом? Где я должен разместить свои контейнеры, чтобы учесть это?“», — говорит Симион.

Рецепт FICO

У поставщика ПО для принятия решений FICO было меньше проблем со своими прогностическими моделями в 2020 г., чем у большинства других организаций. «До COVID-19 нас всегда критиковали, сетуя на то, что создание моделей FICO занимает так много времени, тогда как другие финтех-компании создают их в облаке намного быстрее, — сказал Золди. — Наш ответ клиенту был таким: „Мы с вами зависим от этой модели, поэтому мы должны тщательно ее понимать и тщательно строить“».

Частью «секретного рецепта» FICO является четырехступенчатая методология, которая включает:

  1. надежный ИИ, ориентированный на производительность и стабильность модели;
  2. объяснимый ИИ, раскрывающий взаимосвязи модели, включая то, чему она учится;
  3. этический ИИ, который включает тестирование для получения достоверных результатов с учетом этических аспектов;
  4. эффективный ИИ, который собирает информацию на самых ранних этапах для того, чтобы понять данные, выполнить тестирование сценария, решить, имеет ли смысл поведение, лежащее в основе модели, и понять, что отслеживать.

Золди также подчеркнул важность модели управления или метода управления развитием модели. «Если у вас нет расписанного и кодифицированного процесса, чтобы далее использовать только эти технологии, вам нужно пересмотреть модель. Это стандартная процедура для создания надежной модели, и из этого будут вытекать вещи, которые организация хотела бы контролировать, чтобы убедиться, что модель работает должным образом», — добавил он.

По данным опроса FICO, 90% директоров по ИТ, данным и ИИ считают, что им необходимо внести фундаментальные изменения и вложить средства в то, как они осуществляют мониторинг своих моделей. «Я думаю, что если 90% руководителей в сфере аналитики этих фирм говорят, что им предстоит проделать огромный объем работы по мониторингу, то это, вероятно, одна из самых важных вещей, на которые стоит обратить внимание в 2021 г., — считает Золди. — Еще одна деталь, на которой следует сосредоточиться, — это интерпретация моделей. Если они были правильно и тщательно построены, то они не потеряют своей предсказательной функции, но их интерпретация немного изменится — это означает, что вы можете использовать другой порог оценки, чем раньше».