Человеку свойственно ошибаться, и ошибки генеративного ИИ (GenAI) могут быть просто признаком несовершенства почти человекоподобной технологии. Тем не менее, независимо от того, генерируются ли они людьми или ИИ, ошибок всегда хочется избежать. Опрошенные порталом InformationWeek эксперты рассказывают, как ваши команды могут отлавливать и быстро устранять ошибки GenAI.

Ошибки GenAI не только часты, но и распространены, предупреждает Мэтт Аслетт, директор по исследованиям, аналитике и данным консалтинговой компании ISG. «Любой, кто использует GenAI как в личных, так и в профессиональных целях, должен знать, что модели GenAI предназначены для реалистичного воспроизведения контента, на котором они были обучены, а не представления фактов», — говорит он.

Большие языковые модели (LLM), например, обучаются генерировать грамматически правильный письменный контент, основанный на статистической предсказуемости следующего слова в предложении, объясняет Аслетт. «У LLM нет семантического понимания генерируемых слов, — отмечает он. — Поэтому нет никакой гарантии, что созданный контент будет фактологически точным».

GenAI и LLM обладают удивительной способностью вещать очень точно, уверенно и со знанием дела, говорит Майк Миллер, старший директор по продуктам Amazon Web Services. «Они могут звучать красноречиво и разговаривать на языке, который кажется подлинным, — отмечает он. — Отловить ошибки GenAI может быть непросто, потому что если вы спросите GenAI, как он пришел к тому или иному ответу, он может дать вам разумно звучащее объяснение, которое, тем не менее, может оказаться выдумкой или ложью».

Применяйте верификацию

Модели GenAI никогда не следует использовать изолированно, советует Аслетт: «Пользователи должны всегда проверять фактическую точность как контента, созданного GenAI, так и цитируемых источников, которые также могут быть выдумкой».

По его словам, люди должны полагаться на свои собственные знания, чтобы оценить точность контента, созданного GenAI, и выявить ошибки. Предприятия же могут применять для оценки результатов работы GenAI проверочные модели, а затем сравнивать полученный контент с утвержденными источниками данных и информации для выявления вероятных ошибок.

Как отмечает Сатиш Шеной, глобальный вице-президент по технологическим альянсам и GenAI компании SS&C Blue Prism, ошибки GenAI могут быть устранены несколькими способами. «Эти методы могут быть разными, включая протоколирование и аудит, предиктивную отладку, использование LLM в качестве судьи или даже включение человека в контур, — поясняет он. — Для выявления ошибок GenAI в сочетании с LLM также используются системы управления и защитные ограждения».

Опасная генерация

По словам Аслетта, учитывая присущую GenAI неточность, никогда не следует принимать решения, основываясь только на его результатах: «Существует риск, что организация может принять дорогостоящие бизнес-решения на основе ошибочной информации». Кроме того, предприятия, распространяющие инсайты, полученную с помощью GenAI, рискуют нарваться на штрафы регулирующих органов и репутационный ущерб, если информация окажется неточной.

Есть много примеров ошибок GenAI, отмечает Аслетт. Например, чатбот компании Air Canada предоставил клиенту неточную информацию, что вылилось в иск к предприятию. Известны случаи, когда юристы были оштрафованы за предоставление судебных документов, содержащих неточную информацию, например, ссылки на судебные дела, которых никогда не существовало.

Повышение точности

Лучший подход к повышению точности GenAI — это внедрение ряда процессов, советует Аслетт. «Это может включать обучение модели на собственных данных и информации, хотя это потенциально дорогостоящий процесс с точки зрения обучения и поддержки модели», — говорит он. Другим подходом является разработка подсказок, при которой пользователь дает указание модели использовать при формировании ответа только определенные данные или информацию. «Это краткосрочное решение, которое применимо только к отдельной подсказке, поскольку дополнительная информация не сохраняется в модели», — предупреждает он.

Миллер советует использовать автоматизированные рассуждения — научную дисциплину, которая использует математику и логику для доказательства теорем или фактов. «Мы используем автоматизированные рассуждения для создания политик, процедур и рекомендаций, — говорит он. — Они обеспечивают более высокую уверенность в правильности, чем традиционные методы тестирования, хотя они все еще зависят от базовых предположений о поведении компонентов и моделей окружающей среды».

Обнаружив ошибку GenAI, начните отслеживать проблему, советует Шеной. Начните с анализа ошибки и возможных факторов, которые привели к ее возникновению. «Исправление модели может включать ее настройку или обучение», — отмечает он. В некоторых случаях модель может потребовать доработки. «Важно также укрепить все существующие системы управления и контроля, чтобы свести к минимуму вероятность, что ошибка ускользнет от вашего внимания», — говорит он. Кроме того, чтобы избежать ошибок в будущем, может потребоваться тестирование данных и процессов. «Если в какой-либо части процесса задействованы люди, их также следует обучить», — советует он.

Корректность имеет значение

По словам Шеноя, проверка GenAI на корректность очень важна, поскольку она позволяет предприятиям и клиентам в различных отраслях использовать ИИ в приложениях, где клиентам предоставляется информация о безопасности, финансах или здоровье.