Согласно отчету Devographics «The 2025 State of Web Dev AI», хотя почти семь из десяти опрошенных разработчиков используют инструменты искусственного интеллекта для написания или доработки кода каждую неделю, многие из них по-прежнему сталкиваются с галлюцинациями и другими проблемами, сообщает портал The New Stack.

Пользователи Claude, Supermaven и Cursor гораздо чаще говорят о положительном опыте, чем пользователи других ИИ-инструментов для разработчиков. Пользователи Gemini, JetBrains AI и Llama гораздо реже сообщают о положительном опыте работы с этими технологиями.

Это лишь некоторые из многочисленных выводов нового отчета. Исследование также показало, что галлюцинации, неточности, отсутствие контекста и в целом низкое качество кода больше всего затрудняют использование ИИ-ассистентов по кодированию и других инструментов для разработчиков, ориентированных на ИИ.

Отчет основан на более чем 4000 ответов, собранных в феврале и марте. Респондентами были в основном веб-разработчики, которые ранее приняли участие в опросах по JavaScript, React и другим темам, проведенным командой Devographics. Помимо информации о внедрении ИИ и связанных с этим проблемах, вот некоторые из наиболее важных выводов:

  • ИИ является неотъемлемой частью рабочего процесса разработчиков. С этим утверждением согласны 59%, а не согласны — 26%.
  • Инструменты ИИ повышают производительность. С этим утверждением согласились 59%, а не согласились 20%.
  • Инструменты ИИ используются регулярно. 69% используют инструменты ИИ для генерации или рефакторинга кода по крайней мере несколько раз в неделю.
  • Вайб-кодинг все еще находится в зачаточном состоянии. 69% респондентов заявили, что с помощью ИИ генерируется менее 25% кода, который они создают. На вопрос о том, какой тип кода они генерируют с помощью ИИ, 80% назвали вспомогательные функции, 57% — компоненты фронтенда, 51% — создание документации и комментариев и 50% — тесты.
  • Генерируемый ИИ код требует рефакторинга. 76% разработчиков вынуждены переписывать или рефакторить как минимум половину полученного кода, прежде чем он будет готов к использованию. В качестве причин необходимости рефакторинга назывались плохая читаемость, переименование переменных, чрезмерное количество повторений и неработающий код.

Модели, помощники по кодированию и IDE

В вопросах опроса каждая конкретная технология или инструмент ИИ были отнесены только к одной категории, несмотря на то, что их функциональность частично совпадает. Неудивительно, что подавляющее большинство (91%) респондентов используют ChatGPT, а также GitHub Copilot (71%), Claude (57%) и Google Gemini (55%).

Источник: отчет Devographics «The 2025 State of Web Dev AI»

Пользователи Claude, судя по всему, более удовлетворены, чем пользователи других крупных инструментов: его положительно оценивают 65% опрошенных. Надо отметить, что обязательно отвечать на вопрос о позитивном/негативном отношении не требовалось; если бы было иначе, то эта статистика была бы еще более впечатляющей.

Для сравнения, положительно отзываются о технологии только 37% пользователей Gemini и 39% — о Llama. Поскольку за последний год Gemini получила несколько значительных усовершенствований, возможно, в течение следующих 12 месяцев отношение пользователей улучшится.

После GitHub Copilot наиболее часто используемыми помощниками по кодированию являются Tabnine (17%), JetBrains AI (13%), Supermaven (10%) и Qodo (8%). Среди них Supermaven занимает первое место: о нем положительно отзываются 66% пользователей. JetBrains AI занимает самую низкую позицию — он оставил особенно благоприятное впечатление у 28% пользователей.

Что касается интегрированных сред разработки (IDE) и редакторов с поддержкой ИИ, то Cursor является наиболее используемым (33%), и о нем положительно отзываются 55% пользователей. Zed используют вдвое меньше разработчиков (17%), но только 36% из них положительно отзываются о нем.

V0 и Bolt — два других предложения, помогающих в парном программировании, которыми пользуются 27 и 13% разработчиков соответственно.

Каковы болевые точки?

Участникам опроса был задан ряд открытых вопросов о болевых точках, связанных с использованием разных типов ИИ для разработки. Различные виды проблем были определены с помощью ключевых слов как при автоматизированной, так и при ручной обработке данных. Наиболее часто упоминались галлюцинации и неточности при использовании моделей ИИ и ассистентов по кодированию. Вот две релевантные цитаты:

  • «Галлюцинации — даже лучшим моделям требуется немного „няньки“, поскольку они могут быть чрезмерно уверены в своей правоте».
  • «Я использовал бесплатную пробную версию Copilot+, когда он был еще платным, и не стал продлевать подписку. Copilot постоянно вклинивался в мой поток, причем в 95% случаев это были неправильные предложения».

Проблемы, связанные с контекстом и ограничениями памяти, чаще всего упоминались участниками опроса, использующими IDE или редакторы, ориентированные на ИИ. Эта проблема заняла второе место как для моделей, так и для ассистентов по кодированию. Также были высказаны жалобы на навязчивые предложения при использовании как ассистентов по кодированию, так и IDE.

Вот несколько соответствующих цитат:

  • «Настройка контекста. После первой или второй подсказки любая модель ИИ очень трудно корректируется, когда вы уточняете или устанавливаете дополнительные параметры. Она начинает все больше и больше ошибаться при каждом ответе, превращая всю дискуссию в чистый шум, который в какой-то момент уже просто невозможно исправить».
  • «Нет глубокой интеграции с классическими функциями рефакторинга. Переименование файла должно приводить к проверке всех операторов импорта. То же самое касается перемещения файлов. Однако агенты по кодированию даже не знали о таких обновлениях контекста, если я делал их вручную.»
  • «То, как эти помощники „помогают“ вам с задачами, часто слишком агрессивно, и я, как человек с ограниченными способностями к обучению, считаю, что их постоянное навязывание различных подходов и идей во время работы невероятно отвлекает».
  • «Потеря контекста — самая большая проблема. Сейчас в Cursor это происходит редко, но когда это происходит, это очень раздражает. ChatGPT в браузере просто теряет целые фрагменты разговоров, часто в середине существующего разговора. Терминал Warp — худший вариант: один случайный бэкспейс или Ctrl-C — и вы потеряли 30 минут переписки».

Низкое качество — самая распространенная проблема при использовании этих инструментов для генерации кода. Например, один из респондентов написал: «Все генераторы кода ИИ, которые я пробовал, генерируют большую кучу не поддерживаемого и не тестируемого кода, который может работать только в тот момент, когда он выдается, для конкретной интерпретации, которая была у ИИ в тот момент. Я никогда не видел сгенерированного ИИ кода, который был бы хоть отдаленно близок к тому, что можно было бы отправить в производство».