Внедрение искусственного интеллекта в здравоохранении и медико-биологических науках ускоряется быстрыми темпами, стимулируя развитие клинических исследований, диагностики и операционной деятельности. По мере развития этих технологий научное сообщество наблюдает значительные успехи как в повышении эффективности, так и в инновациях, сообщает портал eWeek.

Однако, несмотря на все более сложные модели, воспроизводимость остается проблемой для многих организаций. В строго регламентированных средах воспроизводимая аналитика необходима для достижения истинного доверия и масштабируемости, гарантируя, что результаты могут быть проверены и им можно доверять с течением времени.

ИИ в здравоохранении быстро развивается, но есть подвох

ИИ получил широкое распространение во многих технологических секторах, и его интеграция в здравоохранение также значительно ускорилась. Организации в области здравоохранения и медико-биологических наук вкладывают значительные средства в ИИ для поддержки клинических исследований, диагностики и операционной аналитики.

В прошлом году Национальная академия наук, инженерии и медицины (NASEM) опубликовала новый отчет, в котором рекомендовала способы, с помощью которых можно извлечь выгоду из ИИ в биотехнологиях, указывая на то, что модели ИИ могут анализировать большие объемы данных, чтобы помочь как в разработке лекарств, так и в смягчении угроз для здоровья.

Та же тенденция наблюдается и в больничных учреждениях. Согласно исследованию Американской медицинской ассоциации, 66% врачей сообщили об использовании инструментов ИИ, по сравнению с 38% в 2023м. К распространенным сценариям использования относятся поддержка документации, создание записей, инструкции по выписке, планирование лечения и инструменты для взаимодействия с пациентами.

Однако увеличение внедрения не всегда приводит к успешным результатам. Организации по-прежнему сталкиваются с проблемами эффективного и последовательного внедрения моделей ИИ, что не гарантирует обещанных преимуществ. Ключевой причиной этого является воспроизводимость. Без возможности надежно воспроизводить результаты в разных командах и средах даже хорошо разработанные модели могут не работать должным образом в реальных условиях.

В 2016 г. научный журнал Nature опубликовал исследование «1,500 scientists lift the lid on reproducibility», показавшее, что более 70% исследователей пытались воспроизвести результаты других ученых, но потерпели неудачу. Опрос также показал, что 52% респондентов считают, что существует «значительный» кризис воспроизводимости.

Более позднее исследование подтвердило эти выводы, особенно в биомедицине. В ходе опроса 1630 биомедицинских исследователей со всего мира, включая 819 участников клинических исследований, 72% респондентов согласились с тем, что в этой области наблюдается кризис воспроизводимости.

Хотя эти цифры могут не отражать ситуацию во всех организациях в области медико-биологических наук, они подчеркивают, что воспроизводимость является постоянной проблемой в научных исследованиях — проблемой, которая становится еще более критической по мере интеграции ИИ в эти рабочие процессы.

Когда воспроизводимость отходит на второй план

Воспроизводимая аналитика, или воспроизводимость, относится к способности воссоздать те же результаты исследования, используя те же данные, код и среду, даже если оно проводится другой командой. Хотя воспроизводимость остается фундаментальным принципом в науке и исследованиях, она часто является скорее идеалом, чем реальностью. Многие организации работают с фрагментированными рабочими процессами в области науки о данных, что может замедлять как внедрение, так и сотрудничество.

На практике воспроизводимость нарушается по нескольким ключевым причинам:

  • команды разделены между экосистемами R и Python;
  • сильна зависимость от блокнотов и ситуативных рабочих процессов;
  • несоответствия зависимостей и сред.

Эти проблемы затрудняют последовательное воспроизведение результатов, особенно между командами и во времени. В регулируемых научных и клинических средах это может подорвать усилия в области исследований и разработок и снизить достоверность результатов, полученных командой. Без стандартизированных сред и надлежащего управления зависимостями результаты становится трудно воспроизвести, что создает риски для нормативной проверки, экспертной оценки и долгосрочной непрерывности исследований.

ИИ усугубляет эту проблему. Когда модели накладываются на невоспроизводимые рабочие процессы, несоответствия масштабируются вместе с ними, ограничивая надежность и влияние инсайтов, полученных с помощью ИИ.

Почему воспроизводимость ИИ является обязательным условием в клинических и научных рабочих процессах

В медико-биологических науках воспроизводимость важна как нигде. Как отмечает NASEM, «воспроизводимость и повторяемость являются важнейшими путями к достижению уверенности в научных знаниях, хотя и не единственными».

Это особенно важно, поскольку клинические и научные исследования непосредственно способствуют:

  • Медицинским вмешательствам: разработке новых лекарств, методов лечения, медицинских устройств и диагностических инструментов.
  • Пониманию болезней: углублению знаний о происхождении заболеваний, их прогрессировании и подходах к лечению.
  • Клинической валидации: сбору фактических данных, необходимых для подтверждения безопасности и эффективности для получения одобрения регулирующих органов.
  • Совершенствованию здравоохранения: постоянному совершенствованию методов диагностики и клинических процессов.

По мере того, как ИИ все больше внедряется в исследования в области медико-биологических наук, воспроизводимость становится необходимой для обеспечения согласованности, проверяемости и достоверности результатов с течением времени. Это важно по нескольким причинам:

  • Укрепление научной достоверности: воспроизводимость повышает экспертную оценку и целостность исследований, даже когда ИИ становится частью рабочего процесса.
  • Соответствие нормативным требованиям: анализы, основанные на ИИ, должны быть воспроизводимыми для поддержки проверки и аудита спустя месяцы или годы, гарантируя, что результаты выдержат проверку.
  • Защита результатов в реальном мире: результаты работы ИИ могут влиять на клинические решения и уход за пациентами, что делает согласованность и точность критически важными для безопасности пациентов.

Без воспроизводимости потенциальные преимущества ИИ в здравоохранении не могут быть полностью реализованы или им нельзя доверять.

Как выглядят воспроизводимые рабочие процессы ИИ

По мере дальнейшего внедрения ИИ в клинические и научные рабочие процессы организации должны уделять приоритетное внимание аналитическим средам, которые позволяют командам воспроизводить модели, отслеживать зависимости и последовательно воссоздавать анализы с течением времени.

Четыре основных принципа воспроизводимых рабочих процессов ИИ включают следующее:

  • Стандартизированные среды: устранение несоответствий, вызванных фрагментацией рабочих процессов R и Python, и обеспечение согласованного поведения моделей от разработки до производства.
  • Интегрированный в воспроизводимые рабочие процессы ИИ: внедрение возможностей ИИ и больших языковых моделей (LLM) непосредственно в регулируемые среды обработки данных, чтобы результаты оставались согласованными, отслеживаемыми и соответствовали существующим рабочим процессам.
  • Масштабируемая, совместная инфраструктура: предоставление командам возможности работать в общих средах, масштабировать вычислительные ресурсы по требованию и сотрудничать без внесения вариативности или нарушения воспроизводимости.
  • Сквозные управление и контроль: применение централизованных управления, обеспечения безопасности и мониторинга ко всем рабочим процессам для обеспечения соответствия нормативным требованиям и долгосрочной надежности.

Хотя этот перечень не является исчерпывающим, эти принципы помогают обеспечить воспроизводимость и масштабируемость аналитических рабочих процессов, особенно в регулируемых средах, таких как здравоохранение и медико-биологические науки.

Кейс: обеспечение воспроизводимости рабочих процессов ИИ

Один из примеров обеспечения воспроизводимости аналитики на практике — компания TruDiagnostic, работающая в области медико-биологических наук. Будучи организацией, занимающейся эпигенетическим тестированием и специализирующейся на биологическом старении, дефиците питательных веществ и здоровье клеток, она столкнулась со значительными инфраструктурными проблемами из-за больших объемов данных и разрозненных наборов инструментов.

Обрабатывая более 80 000 биологических образцов, команда столкнулась с неэффективностью, поскольку разные группы использовали различные инструменты, включая SageMaker, Docker и среды на основе R, такие как RStudio. Эта фрагментация затрудняла стандартизацию рабочих процессов и поддержание согласованности между анализами.

Для решения этих проблем TruDiagnostic внедрила Posit Workbench с Amazon SageMaker. Posit Workbench позволяет командам создавать, совместно использовать и работать над рабочими процессами на R и Python в единой среде, что дает возможность специалистам в области науки о данных работать на предпочитаемом ими языке, сохраняя при этом согласованность между командами.

Это позволило TruDiagnostic объединить свои среды R и Python, получив при этом больший контроль над вычислительными ресурсами. В результате компания ускорила разработку на целый год, сократила затраты на облачную инфраструктуру на 60% и в 10 раз повысила производительность обучения моделей ИИ и статистических моделей.