Каковы потенциальные подводные камни этого нашумевшего инструмента искусственного интеллекта? Опрошенные порталом Enterprisers Project эксперты делятся рисками, которые ИТ-директорам следует изучить.

Зачастую у новой захватывающей технологии есть обратная сторона. Хотя у ИИ-чатбота ChatGPT есть много потенциальных преимуществ, ИТ-директорам стоит относиться к нему скорее как к игрушке, чем как к надежному инструменту, пока будущее технологии ИИ не станет менее туманным.

«ChatGPT может быть очень полезен для выполнения утомительных задач и снятия административной нагрузки, но качество его работы зависит от качества входных данных, а это значит, что он способен ошибаться, если ему предоставить неверные или неполные данные и инструкции», — предупреждает Петр Баудис, технический директор и главный архитектор ИИ компании Rossum.

Как и большинство ИИ-инструментов, он не может понять нюансы и сложности человеческих разговоров, поэтому любые выводы, которые он выдаст, скорее всего, будут поверхностными. «У ChatGPT нет реального понимания того, что он пишет; это очень умный автозаполнитель», — считает Саймон Прайс, старший директор по данным и ИИ компании Unisys.

Какие меры предосторожности следует принять, прежде чем переходить к использованию ChatGPT? Вот что говорят отраслевые эксперты о потенциальных рисках для ИТ-директоров.

Дезинформированные команды безопасности

«Команды безопасности могут использовать ChatGPT для проверки исходного кода ПО на наличие ошибок безопасности. Раннее тестирование показывает, что результаты ChatGPT могут быть чрезвычайно точными и эффективными. Это создает представление о том, что ChatGPT может быть использован в качестве замены традиционным инструментам для обзора кода и выявления дефектов ПО. Тем не менее, из-за низкого качества данных и точности моделей и их результатов команды безопасности могут быть дезинформированы вплоть до принятия ими неверных решений, пропуска многих уязвимостей и, что хуже всего, записи образца кода таким образом, что сам ChatGPT непреднамеренно станет хранилищем исходного кода, доступным для взлома злоумышленниками», — отмечает Карл Маттсон, CISO компании Noname Security.

По его словам, еще предстоит многое узнать о том, насколько предприятия могут полагаться на ChatGPT в своих усилиях по обеспечению безопасности. Более того, неизвестно, что ChatGPT будет хранить и чем делиться, что делает его неприемлемым активом для предприятий в краткосрочной перспективе. Тем не менее, самые светлые умы в области безопасности уже представляют, как использовать ChatGPT для повышения безопасности.

Сбор вредоносных данных и риски фишинга

«ИТ-директора должны понимать, что злоумышленники быстро научатся использовать этот чатбот в качестве оружия и откроют новую эру кибератак и злонамеренного сбора данных. Уже появились сообщения о его способности продвигать финансовые схемы и аферы, используя преимущества социальной инженерии», — говорит Дэвид Беннетт, генеральный директор компании Object First.

По его словам, ИТ-директора хорошо знают о частых попытках фишинговых атак на их организации. Они должны предвидеть, что ChatGPT может стать мозгом фишинговых технологий реального времени, заменяя плохо составленные электронные письма и тексты и активно отображая реальные данные целевых получателей в массовом порядке. «Это, вероятно, станет первым рубежом ускоренных кибератак. Сегодня ChapGPT, возможно, не в состоянии полностью написать вредоносное ПО, но это, скорее всего, произойдет. И ИТ-директора должны будут использовать мощь ИИ и ChatGPT для борьбы с злоумышленниками», — считает Беннетт.

Ложное чувство доверия

«Успех ChatGPT в потребительском качестве очевиден. Поскольку его языковая модель эффективно обучается на всех текстах в Интернете, результат получается настолько беглым, что расшифровать, кто является автором — человек или бот — бывает сложно, а иногда и невозможно. Но в контексте предприятия с высокими ставками беглость ответа создает у пользователя ложное чувство доверия. Все выглядит правильно. Звучит правильно. Но если вы проведете расчеты, это может оказаться неверным, — говорит Аарон Калб, соучредитель и директор по стратегии компании Alation. — Когда вы пытаетесь рассмешить своих друзей, точность не имеет никакого значения. Но когда вы пытаетесь принять решение, которое может повлиять на жизнь и средства к существованию, эта ненадежность может иметь катастрофические последствия».

По его словам, в некотором смысле ChatGPT похож на Google Translate. Хотя последний отлично подходит для путешествий и другого эпизодического использования, предприятие не доверит ему точный перевод своих маркетинговых материалов для новых географических регионов или своих международных контрактов. Ставки слишком высоки, чтобы полагаться на статистическую модель.

«Успешное применение такой модели, как ChatGPT, потребует от организации ее обучения и точной настройки на собственной информации, чтобы помочь ей интерпретировать и применять „язык“, используемый в организации. Но что еще более важно, ее нужно будет научить сопоставлять этот язык с системами данных организации (в конечном итоге превращая человеческий язык в правильные SQL-запросы к правильным таблицам базы данных). Технология GPT плюс каталог данных могут сделать эту научно-фантастическую мечту реальностью», — считает Калб.

По его мнению, хотя его массивная MО-модель заставляет ChatGPT выглядеть суперумным, потребуется помощь людей и вспомогательных технологий, чтобы этот чатбот мог стать обоснованным выбором для предприятия.

Пренебрежение поддержкой, ориентированной на человека

«Очень важно сохранять и укреплять уникальные сильные стороны сотрудников-людей, такие как критическое мышление и эмпатия. Эти навыки имеют ключевое значение при решении сложных проблем и предоставлении персонализированного, ориентированного на человека клиентского опыта», — отмечает Тамара Ашер, старший директор по стратегии и инновациям компании Slalom.

По ее словам, несмотря на оптимизм в отношении потенциала ChatGPT, технологические лидеры уделяют первостепенное внимание вопросам конфиденциальности данных, безопасности и соблюдения нормативных требований. Поскольку ИИ продолжает менять привычный порядок работы, следует придерживаться подхода с участием людей в проверке и корректировке моделей («human-in-the-loop »), который фокусируется на интеграции, измерении воздействия и использовании лучших возможностей человека и ИИ.

«ChatGPT — интересная технология, но ей нельзя доверить анализ данных или логические выводы. Он обучается на данных, поэтому он не может рассуждать, теоретизировать или „думать“. Он может лишь синтезировать информацию, чтобы создать текст, похожий на тот, на котором он был обучен», — полагает Джонатан Лакур, технический директор компании Mission Cloud.

По его мнению, ChatGPT более полезен для обобщения, чем для создания информации. Он может позволить ускорить разработку текстового контента, предназначенного для конкретной аудитории, но, в лучшем случае, он будет создавать «черновики», которые должны будут просматриваться и курироваться настоящими экспертами.

Поводы для беспокойства

«Мы в восторге от потенциала технологии генеративного ИИ, такого как ChatGPT, как инструмента для повышения производительности», — говорит Сюзанна Тейлор, вице-президент по инновациям и новым технологиям компании Unisys. Однако, по ее словам, столь новая технологией вызывает ряд вопросов и беспокойств:

  • стоимость, когда она станет коммерческой. В настоящее время люди подсаживаются на бесплатную версию;
  • юридические и этические аспекты этой платформы. На данный момент нет достаточной прозрачности и объяснимости;
  • юридические вопросы, связанные с правом собственности/авторским правом на материалы, созданные с помощью ChatGPT или подобных программ ИИ;
  • возможность непреднамеренной передачи ChatGPT информации, являющейся собственностью компании, и ее попадания в его базу данных.