Простое внедрение искусственного интеллекта в операции не приносит положительных результатов без значительной работы за кулисами. Новое исследование показывает, что для технологических команд, работающих непосредственно над интеграцией и внедрением ИИ в свои технологические стеки, эта задача оказалась сложной, сообщает портал ZDNet.
Сегодня ведутся многочисленные дискуссии об уровне успеха ИИ, и вызывает беспокойство то, что растущие инвестиции в инструменты и инфраструктуру ИИ не оправдывают ожиданий, которые часто обещают поставщики и консультанты.
Новое исследование BlueOptima «AI Refactoring Evaluation (BARE)» показывает, что даже лучшие кодирующие модели ИИ оказываются успешными менее чем в 23% случаев при работе с реальным производственным кодом. Более того, результаты бенчмарков не отражают реальную производительность. Большинство моделей набрали более 85% баллов в популярных бенчмарках, но в среднем показали лишь 17% успеха в задачах по обеспечению поддерживаемости в производственной среде.
В исследовании были протестированы 57 больших языковых моделей (LLM) на задачах рефакторинга, ориентированных на обеспечение поддерживаемости, на основе 4276 реальных файлов исходного кода, охватывающих девять языков программирования (Cи, C++, C#, Go, Java, JavaScript, PHP, Python, TypeScript), что дало 243 732 пары «модель-файл».
ROI от использования ИИ в программировании значительно варьируется в зависимости от языка и задачи. Как показывает исследование, уровень успеха варьируется от 32% в JavaScript до всего 4% в Cи и падает до 1,5% при решении сложных архитектурных задач.
Так что же, ИИ не реализует свой потенциал в полной мере, или его просто переоценивают? Опять же, исследование служит проверкой реальности: внедрение ИИ в работу не принесет результатов без работы за кулисами, включая работу над обеспечением поддерживаемости.
«Чтобы считаться успешным, сгенерированный ИИ код должен соответствовать строгим критериям, — поясняют авторы отчета. — Код должен компилироваться и работать корректно; сохранять поведение без регрессий; и улучшать обеспечение поддерживаемости, которое измеряется, а не предполагается».
Большая часть восторженных отзывов об ИИ от поставщиков, консультантов и других лиц удобно замалчивает сложную работу, которая происходит на бэкэнде ИИ. Короче говоря, в маркетинге ИИ часто применима классическая максима: «Если это звучит слишком хорошо, чтобы быть правдой, то, вероятно, это неправда».
В результате ИИ сильно переоценивают, говорит Дэвид Линтикум, ведущий голос здравого смысла в сфере технологий на протяжении многих лет. Недавно он призвал менеджеров остерегаться тех, кто «стремится нажиться на привлекательности технологии. Только с трезвым, основанным на фактах взглядом мы можем преодолеть ажиотаж и гарантировать, что технология послужит бизнесу, а не наоборот».
Самый большой риск с инструментами и платформами ИИ заключается в том, что они могут «стоить в
«Решения об организационной стратегии, инвестициях и инновациях могут зависеть от советов тех, чьи технические знания не простираются за поверхностный уровень. Некомпетентные рекомендации могут привести к дорогостоящим перерасходам и стратегическим ошибкам», — предупреждает Линтикум.
Как показывают данные, к этому можно добавить и неправильное использование модных терминов в сфере ИИ. «Хотя большинству аудиторий не хватает технических знаний, чтобы подвергнуть сомнению смелые заявления, самопровозглашенные эксперты используют сложный язык, чтобы скрыть свои ограниченные знания», — предостерегает Линтикум.
По его словам, социальные сети и более широкое цифровое обсуждение усугубляют проблему, вознаграждая тех, кто рассказывает захватывающие истории и проявляет необоснованный оптимизм, а не тех, кто признает компромиссы и выступает за более тонкий прогресс. Компании часто ценят увлекательных рассказчиков больше, чем тех, кто действительно понимает суть дела.
Ставки высоки, отмечает Линтикум: «Современные системы ИИ сложны и дороги, они намного превосходят большинство традиционных решений. Слепое внедрение, подпитываемое безудержным оптимизмом, ставит под угрозу как ресурсы, так и будущее организации».
Профессионалам следует учиться отличать «истинную экспертизу», призывает он: «Выделение квалифицированных специалистов на фоне толпы — тех, кто понимает как ограничения ИИ, так и его потенциал, — имеет жизненно важное значение для любого бизнеса, работающего в этой сложной сфере. Руководители должны искать тех, кто понимает обе стороны уравнения ИИ: перспективы и подводные камни, возможности и присущие ему риски».
Ключевым элементом успешной формулы является «убедиться, что люди, определяющие вашу стратегию в области ИИ, будут принимать правильные решения, — говорит Линтикум. — Нам нужно понимать, что они знают, а чего не знают. И нам нужно понимать, как они должны принимать решения, включая привлечение людей, которые знают преимущества и недостатки использования этой технологии, знают, как создавать подобные вещи, чтобы они не совершали ошибок».
Он отметил важность сбалансированного подхода, поскольку людям необходимо узнать и о недостатках использования технологий: «Реальность такова, что если вы не рассмотрите преимущества и недостатки в совокупности, у вас не будет жизнеспособного решения для бизнеса, и в конечном итоге вы просто подтолкнете бизнес к краю пропасти».
