ИИ в медицине: когда умный помощник превращается во врага?

Все мы очарованы идеей искусственного интеллекта. В больницах, в самолетах — везде нам обещают умных помощников, которые сделают жизнь безопаснее. Звучит прекрасно. Но что, если этот ваш сверхразумный второй пилот, абсолютно уверенный в себе, на самом деле направляет вас прямиком в гору? Новое исследование показывает, что эта метафора, увы, не так уж далека от реальности.

Просто натаскать хороший алгоритм и провести для персонала короткий инструктаж — этого, оказывается, до смешного мало. Особенно когда на кону человеческие жизни.

Как они это выяснили? Эксперимент на медсёстрах

Исследователи из Университета штата Огайо (The Ohio State University) решили не теоретизировать, а устроить настоящую проверку на прочность. Они собрали внушительную группу — 450 студентов-медиков и дюжину уже лицензированных медсестер — и погрузили их в симуляцию. Задача: удаленно мониторить пациентов и с помощью ИИ-ассистента определять, кому из них срочно нужна помощь. Ну, типичный сценарий из будущего, которое уже наступило.

Команда, в которую вошли научные сотрудники Дэйн Мори (Dane Morey), Майк Райо (Mike Rayo) и Дэвид Вудс (David Woods), не стала упрощать. Они создали разные условия: кому-то ИИ не давали вовсе, кому-то он показывал вероятность кризиса в процентах, кому-то — подсвечивал ключевые данные в анализах, а кому-то выдавал полный комплект подсказок. Все это, кстати, они подробно описали в журнале npj Digital Medicine.

Ошеломляющий результат: слепое доверие и полный провал

И вот тут, честно говоря, начинается самое интересное. Когда алгоритм был прав и точно предсказывал ухудшение состояния пациента, эффективность людей подскакивала на 50-60%. Прекрасно. Все довольны, технология работает.

Но стоило ИИ ошибиться…

Человеческая компетентность не просто снижалась. Она летела в пропасть. Когда алгоритм выдавал грубо неверный прогноз, качество решений людей падало более чем на 100%. Вдумайтесь в эту цифру. Люди не просто ошибались — они принимали катастрофически неверные решения, слепо веря машине. Даже когда все объективные данные, все анализы и показатели, которые им предоставлял тот же ИИ, буквально кричали об обратном!

Знаете, что оказалось самым шокирующим для учёных? Объяснения и аннотации от ИИ почти не имели веса. Все затмевала одна простая деталь — жирная красная полоска индикатора тревоги. Этот примитивный визуальный сигнал оказался сильнее здравого смысла и клинического опыта. Он просто «сносил всё остальное», как выразился Райо.

Что делать-то? Рецепт от учёных

«Алгоритм ИИ никогда не будет идеальным. Никогда», — рубит с плеча Дэйн Мори. — «Поэтому дело не в том, чтобы создать идеальную технологию. Дело в возможностях совместной команды человека и машины».

Именно поэтому эти ребята из Лаборатории когнитивной системной инженерии (Cognitive Systems Engineering Lab) продвигают свою программу «Тестирование совместной деятельности». Их идея проста и одновременно революционна: хватит тестировать ИИ в вакууме. Нужно оценивать систему «человек + ИИ» как единое целое.

И не просто оценивать, а бросать ей вызов. Смотреть, как эта команда справится, когда ИИ работает хорошо, посредственно и — что самое важное — отвратительно плохо. Только так можно нащупать реальные риски.

Их главный принцип для разработчиков звучит почти как философская заповедь: машина, в первую очередь, должна уметь сообщать человеку о том, в чём именно она неправа или где её картина мира расходится с реальностью. Даже если она сама этого до конца не осознаёт.

Так что в следующий раз, когда услышите о внедрении очередного «умного» помощника в критически важной сфере, задайте один простой вопрос: а его тестировали на глупость? Потому что конечная цель — не лучший ИИ. А лучшая команда.

Литература:
Dane A. Morey et al, Empirically derived evaluation requirements for responsible deployments of AI in safety-critical settings, npj Digital Medicine (2025). DOI: 10.1038/s41746-025-01784-y