MWS AI (МТС Web Services) выпустила Cotype Pro 3 и Cotype Light 3 — языковые модели третьего поколения, способные работать одновременно с текстом и изображениями. Размер моделей — 27 и 9 млрд параметров соответственно. Модели предназначены для построения промышленных ИИ-агентов — программ, способных самостоятельно выполнять многошаговые задачи без участия человека.
Для оценки агентских возможностей MWS AI разработала собственный набор из 178 бизнес-сценариев. Каждая задача ставит модель в одну из пяти реальных рабочих ролей и проверяет, как агент пользуется доступными инструментами, соблюдает бизнес-правила и доводит задачу до результата. Это роли оператора поддержки (вопросы по услугам, подпискам и списаниям абонента), консультанта по тарифам (подбор и смена тарифного плана под реальное потребление), кадрового специалиста (расчёт отпускных и больничных, работа с документами), аналитика по компаниям (составление досье на юрлицо по ИНН — финансы, руководители, связи с другими организациями) и инспектора налоговых рисков (расследование схем переноса бизнеса между компаниями и решение о назначении проверки). Тест измеряет два показателя: долю сценариев, в которых модель полностью выполнила задачу, и показатель воспроизводимости — насколько стабильно модель решает одну и ту же задачу при многократном обращении. Cotype Pro 3 показала 92,2% и 79,1%, Cotype Light 3 — 88,6% и 73,9%. Предыдущая версия Cotype Pro 2.6.1 — 80,5% и 62,5%.
«Мы смотрели на то, как корпоративный рынок внедряет агентный ИИ — и там есть один устойчивый паттерн: модель отлично работает на демо, а в продакшне начинает вести себя непредсказуемо. Мы думаем, что одна из главных причин — это именно нестабильность поведения модели: она решила задачу один раз, но никто не знает, решит ли она её завтра при тех же условиях. Когда мы начали делать собственный бенчмарк для агентных сценариев, мы специально заложили в него метрику воспроизводимости. Это не про то, какой максимальный результат может показать модель. Это про то, как она ведёт себя при многократном обращении. Вопрос, получит ли компания тот же правильный ответ при тысячном обращении, что и при первом, — это вопрос о том, можно ли строить на модели реальные процессы», — подчеркнул генеральный директор MWS AI Денис Филиппов.
«Отдельное внимание при разработке Cotype Pro 3 было уделено качеству русскоязычной генерации. MWS AI разработала собственную метрику, которая проверяет, насколько стабильно модель остаётся в русском языке и не производит языковых деградаций — случайных переходов на другой язык, бессмысленных повторов или искажений текста. Тест проводился на корпусе из почти 304 тысяч слов. Модель сгенерировала 99,79% русского текста без языкового дрейфа», — добавил директор по экспериментальным продуктам MWS AI Сергей Пономаренко.
В независимом бенчмарке MERA модель на 27 млрд параметров заняла третье место, уступив только моделям в несколько раз большего размера. На открытом бенчмарке MWS AI Vision Bench, который оценивает работу с русскоязычными корпоративными документами и содержит более 800 изображений и 2 500 заданий, модель показала точность 74%, превысив результаты зарубежных моделей. Проверялись пять навыков: считывание текста с изображения, воспроизведение структуры документа, определение местоположения элементов на странице, извлечение данных и ответы на вопросы по содержимому. Поддерживаются русский, английский и китайский языки.
Обе модели можно развернуть в закрытом контуре на серверах заказчика, в том числе под управлением российской ОС Astra Linux, и дообучить на корпоративных данных. Модели доступны как отдельно, так и в составе MWS AI Agents Platform. Контекстное окно обеих моделей составляет 262 тысячи токенов. Этого достаточно, чтобы модель одновременно удерживала в памяти документ или архив объёмом около 600 страниц текста на русском языке — например, весь пакет договоров по крупной сделке или годовой корпоративный отчёт с приложениями. Модели могут работать на видеокарте A100, что делает внедрение ИИ-агентов на базе Cotype Pro 3 и Cotype Light 3 доступным для широкого круга компаний. Квантование и технология одновременного предсказания нескольких токенов (MTP) позволяют запускать модели на менее производительном оборудовании и обеспечивают более высокую скорость генерации, чем у решений сопоставимого класса, без потерь в качестве.
MWS AI обучает Cotype Pro 3 и Cotype Light 3 и другие модели на облачных мощностях MWS Cloud. В ходе тестирования MWS AI также подтвердила полную технологическую совместимость моделей семейства Cotype со всеми компонентами отечественных программно-аппаратного комплексов.
