Портал eWeek сообщает о двух новых исследованиях, которые на примере Индии свидетельствуют о двух растущих угрозах, связанных с расширением применения искусственного интеллекта.

В широко применяемые языковые модели заложены западные культурные нормы

Письменные инструменты на базе ИИ обещают демократизировать общение, помогая людям писать быстрее, четче и увереннее. Но по мере того, как эти ИИ-инструменты выходят на мировой рынок, растущее число исследований предупреждает, что они могут изменить культурную идентичность в тонких, но значительных формах.

Новое исследование, проведенное в Корнелле, выявило неожиданный эффект от международного распространения ИИ-помощников: они гомогенизируют язык, заставляя миллиарды пользователей из стран Глобального Юга звучать более похоже на американцев.

В ходе исследования участники из США и Индии, использовавшие ИИ-помощника, писали более похоже, чем те, кто писал без него. Индийские участники также тратили больше времени на редактирование предложений ИИ, чтобы они лучше отражали их культурный контекст, что в конечном итоге снижало общую продуктивность инструмента.

«Это одно из первых исследований, если не первое, которое показывает, что использование ИИ в письменной речи может привести к формированию культурных стереотипов и гомогенизации языка, — отмечает Адитья Вашистха, доцент Cornell Ann S. Bowers College of Computing and Information Science и старший автор исследования. — Люди начинают писать так же, как и другие, а это не то, чего мы хотим. Одна из прекрасных вещей в мире — это разнообразие, которое мы имеем».

В Корнельском исследовании приняли участие 118 человек — примерно поровну из США и Индии. Участников попросили написать на культурные темы, причем половина из каждой страны писала самостоятельно, а другая половина — с помощью ИИ-помощника.

Индийские участники, использовавшие ИИ-помощника, приняли около 25% предложений инструмента, в то время как американские авторы — около 19%. Однако индийцы гораздо чаще изменяли предложения в соответствии со своим культурным стилем письма, что делало инструмент гораздо менее полезным.

Например, когда участники писали о своих любимой еде и празднике, ИИ-ассистент рекомендовал явно американские варианты, включая пиццу и Рождество. А когда участники писали о своих любимых актерах, индийцы, начинавшие набирать букву «S», получали предложения Шакила О’Нила (Shaquille O’Neil) или Скарлетт Йоханссон (Scarlett Johansson), а не знаменитого болливудского актера Шах Рукх Кхана (Shah Rukh Khan).

Причина такого предпочтения всего западного может заключаться в том, что ИИ-помощники, подобные ChatGPT, работают на основе больших языковых моделей (LLM), разработанных американскими технологическими компаниями. Эти инструменты сегодня используют по всему миру, в том числе 85% населения стран Глобального Юга.

Исследователи предполагают, что индийские пользователи сейчас сталкиваются с «ИИ-колониализмом», поскольку ИИ-помощники представляют западную культуру как превосходную. Это может изменить не только манеру письма незападных пользователей, но и их мышление.

«Очевидно, что эти технологии привносят в жизнь людей много полезного, — отмечает Паромита Агарвал, соавтор исследования. — Но чтобы эта ценность была справедливой и чтобы эти продукты хорошо продавались на этих рынках, технологические компании должны сосредоточиться на культурных аспектах, а не только на языковых».

ИИ-нструменты найма систематически отдают предпочтение мужчинам

Другое новое исследование показало, что популярные инструменты ИИ с открытым исходным кодом, используемые при принятии решений о найме, чаще рекомендуют мужчин, чем женщин, особенно на более высокооплачиваемые должности.

Авторы исследования, возглавляемого Сугатом Чатурведи из Университета Ахмедабада и Рочаной Чатурведи из Университета Иллинойса в Чикаго, проанализировали поведение LLM среднего размера, когда их просили сделать выбор между соискателями-мужчинами и женщинами с одинаковой квалификацией.

Исследователи провели более 40 млн. симуляций, используя 332 044 реальных объявления о работе с индийского портала National Career Services. Результаты показали наличие гендерной предвзятости в рекомендациях ИИ по найму, что вызвало обеспокоенность по поводу справедливости и равноправия при подборе персонала.

«Мы обнаружили, что большинство моделей воспроизводят стереотипные гендерные ассоциации и систематически рекомендуют одинаково квалифицированных женщин на низкооплачиваемые должности», — пишут авторы.

Исследователи протестировали шесть широко распространенных Open Source-моделей (Llama-3-8B, Qwen2.5, Llama-3.1, Granite-3.1, Ministral-8B и Gemma-2), чтобы выяснить, как часто каждая из них рекомендовала женщин для собеседования. Результаты показали большой разброс:

  • Самый низкий процент ответов на объявления женщин был у Ministral — всего 1,4%.
  • У Gemma — самый высокий (87,3%).
  • Llama оказалась наиболее сбалансированной, рекомендуя женщин в 41% случаев и отказываясь от гендерных рекомендаций в 6% случаев, что больше, чем у любой другой модели.

Даже когда кандидаты-женщины были выбраны, их чаще рекомендовали на более низкооплачиваемую работу.

«Мы обнаружили, что разрыв в оплате труда самый низкий у Granite и Llama-3.1 (≈ 9 логарифмических пунктов для обеих моделей), за ними следует Qwen (≈ 14 логарифмических пунктов), причем женщины рекомендуются на более низкооплачиваемую работу, чем мужчины, — пишут исследователи. — Гендерный штраф к зарплате для женщин наиболее высок у Ministral (≈ 84 логарифмических пунктов) и Gemma (≈ 65 логарифмических пунктов). Напротив, Llama-3 демонстрирует штраф к зарплате для мужчин (премию к зарплате для женщин) примерно в 15 логарифмических пунктов».

Исследование также показало, что ИИ-модели подталкивают женщин к «женским» ролям, таким как персональный уход и обслуживание, а мужчин — к строительству, добыче и другим традиционно мужским сферам.

Чтобы понять, почему так происходит, исследователи проанализировали язык объявлений о работе и обнаружили, что модели ИИ точно соответствуют гендерным стереотипам, заложенным в тексте.

Примечательно, что когда исследователи смоделировали различные «персоны» рекрутеров, используя психологические черты, известные как «большая пятерка» (открытость опыту, добросовестность, экстраверсия, соглашательство и невротизм), они обнаружили, что менее соглашающиеся ИИ-персоны проявляют меньше предвзятости, что позволяет предположить, что личностные черты в подсказках ИИ могут влиять на справедливость при приеме на работу.

Несмотря на то, что во многих странах запрещено указывать гендерные предпочтения в объявлениях о работе, около 2% объявлений в индийской базе данных прямо указывали на предпочтения. Модели ИИ, как правило, неукоснительно следовали этим указаниям.

«Мы не знаем точно, какие компании могут использовать эти модели, — говорит Чатурведи. — Компании обычно не раскрывают эту информацию, а наши результаты предполагают, что такое раскрытие информации может иметь решающее значение для соблюдения правил регулирования ИИ».

Результаты исследования вызвали новые споры об этичности использования ИИ в HR, особенно в условиях, когда все больше компаний используют автоматизированные инструменты для отбора большого количества соискателей.

Как признала компания Meta (признана экстремистской и запрещена в РФ) во время выпуска своей модели Llama-4, предвзятость — это давняя проблема. «Хорошо известно, что у всех ведущих LLM были проблемы с предвзятостью — в частности, они исторически склонялись влево, когда речь шла о дискуссионных политических и социальных темах», — заявили в компании, объяснив это природой обучающих данных в Интернете.