Новый отчет MIT Technology Review Insights, подготовленный в партнерстве с Snowflake, ясно показывает тенденцию: будущее искусственного интеллекта будет зависеть не столько от алгоритмов, сколько от людей, которые управляют данными, сообщает портал BigDATAwire.
По мере того как предприятия стремятся расширить свои усилия в области ИИ, становится ясно одно: инженеры по данным больше не остаются за кулисами. Они берут на себя бóльшую ответственность, устанавливают стандарты, принимают решения по инструментам и проектируют инфраструктуру, которая не дает ИИ развалиться.
После опроса 400 технологических руководителей высшего звена исследователи MIT обнаружили, что 72% респондентов теперь считают инженеров по данным критически важными для успеха своего бизнеса. Это число еще выше среди крупнейших компаний, где ИИ развит больше. Инженеров по данным больше не считают вспомогательным персоналом. Теперь они играют центральную роль в том, как компании планируют, создают и масштабируют ИИ.
Этот рост значимости сопровождается растущим давлением. Как показал опрос, большинство технологических руководителей считают, что их инженеры по данным ощущают это давление. Более трех четвертей (77%) сообщили, что рабочая нагрузка их инженеров по данным значительно увеличилась. Дело не только в большем объеме данных. Данные стали более хаотичными, они перемещаются быстрее и появляются в форматах, на работу с которыми старые системы никогда не были рассчитаны.
«Модели требуют гораздо большего объема данных в различных форматах, — говорит Джордж Вестерман, старший преподаватель и главный научный сотрудник MIT Sloan School of Management. — Раньше речь шла о структурированных данных, что было относительно просто, а теперь возникают вопросы: „Что делать со всеми этими неструктурированными данными? Как их маркировать? Как их организовывать? Как их хранить?“. Это гораздо более сложные задачи».
Инженеры по данным превращаются из строителей в архитекторов. Их повседневная рутина вышла далеко за рамки устранения неполадок и ETL-скриптов. В настоящее время инженеры тратят больше времени на проекты в области ИИ, которые требуют нового мышления. В отчете подчеркивается, что доля времени, затрачиваемого ими на работу с ИИ, выросло с 19% в 2023 г. до 37% в
Это большой скачок. Как объясняет Риту Джоти, бывший старший руководитель IDC, а ныне генеральный директор малоизвестного стартапа в области ИИ, «инженеры больше не просто управляют изолированными конвейерами. Они разрабатывают платформы, которые обеспечивают работу ИИ в масштабах всего предприятия». Это совершенно новый уровень влияния, который простирается от инфраструктуры до аналитики.
По мере того как инженеры все глубже вовлекаются в работу с ИИ, их видимость растет. То же самое происходит и с их влиянием на принятие важных решений. В отчете показано, что инженеры по данным теперь помогают формировать выбор инструментов, планы инфраструктуры и даже бизнес-стратегию высокого уровня.
Две трети опрошенных MIT руководителей утверждают, что их инженеры участвуют в выборе поставщиков и инструментов. Более половины говорят, что они помогают оценивать сценарии использования ИИ и дают рекомендации по применению моделей ИИ в различных подразделениях. Это свидетельствует о росте их влияния. Эти инженеры больше не просто реализуют чужие идеи. Они помогают определять план действий.
Это также сигнализирует о чем-то более важном. Успех ИИ зависит не только от алгоритмов. Он зависит от координации. Конфиденциальность, затраты, скорость, точность — все это влияет на то, как обрабатываются данные. Это делает человека, который понимает поток данных по всему стеку, гораздо более важным, чем раньше.
Крис Чайлд, вице-президент Snowflake по продуктам для инженерии данных, подчеркивает срочность происходящего: «Реализация всего потенциала ИИ начинается с прочной базы данных. Раньше это считалось работой бэкенда. Сейчас это рассматривается как стратегическая функция. Инженеры по данным становятся ключевыми бизнес-партнерами, которым доверяют самый ценный актив организации — ее данные. Если ваше руководство по-прежнему считает это вспомогательной функцией, вы уже отстаете. И, скорее всего, вы готовите кадры для своих будущих конкурентов».
Таким образом, роль и значимость инженеров по данным явно меняются. Но наблюдается ли при этом реальный рост производительности? Данные отчета говорят, что да. Более 70% технологических руководителей заявили, что инструменты ИИ уже повышают производительность их команд. Рабочая нагрузка может быть более интенсивной, но она также более сфокусирована. Инженеры тратят меньше времени на исправление нестабильных конвейеров и больше времени на формирование долгосрочной инфраструктуры.
Следующий шаг может быть еще более революционным. На сцену вышел агентный ИИ. Эти инструменты могут действовать полунезависимо, предлагая оптимизации, управляя изменениями схем и даже запуская задачи по обработке данных без запроса. Более половины опрошенных компаний заявили, что уже внедряют или планируют внедрить их в следующем году.
Это означает, что инженеры по данным столкнутся с еще более динамичной обстановкой. И именно они лучше всего подготовлены к этому. Они понимают, как соединяются системы, как взаимодействуют рабочие процессы и что ломается под давлением. Возможность безопасно масштабировать ИИ будет зависеть от людей, которые знают, как удержать всю экосистему вместе. Для компаний, которые надеются двигаться быстро, не разваливаясь, инженер по данным — это уже не просто строитель. Он — клей, который держит все вместе.
