В двух экспериментах врачи нередко следовали ошибочной классификации, предложенной системой искусственного интеллекта (ИИ), даже когда результаты лечения указывали на то, что рекомендации системы неверны. В одном из экспериментов участники не распознали даже полную неэффективность предложенного лечения.
Исследование провели Арансасу Винас (Aranzazu Vinas), Фернандо Бланко (Fernando Blanco) и Элена Матуте(Helena Matute). Ведущий автор представляла Университет Страны Басков (University of the Basque Country). Результаты опубликованы в журнале PLOS Digital Health, который выпускает Публичная научная библиотека(Public Library of Science, PLOS).
Как проходило исследование
В двух экспериментах через интернет приняли участие в общей сложности 223 врача. Им предложили представить, что они лечат редкое заболевание новым препаратом, эффективность которого пока не доказана.
Перед принятием решения участники получали подсказку от системы ИИ. Она относила каждого вымышленного пациента к одной из двух групп: предположительно более чувствительной или менее чувствительной к лечению.
После решения о назначении препарата врачам сообщали, выздоровел пациент или нет. Таким образом, участники могли сопоставлять рекомендации системы с фактическими исходами и постепенно заметить, что классификация ошибочна.
Каждый врач последовательно оценивал 60 вымышленных пациентов: 30 из них система относила к более чувствительной группе, еще 30 — к менее чувствительной.
В первом эксперименте препарат помогал всем одинаково
В первом эксперименте участвовали 105 врачей. Лечение действительно повышало вероятность выздоровления: после его применения выздоравливали 70% пациентов, а без него — 20%.
Однако препарат одинаково действовал на обе группы. Это означало, что предложенное ИИ разделение пациентов на более и менее чувствительных не имело оснований.
Несмотря на это, врачи назначали лечение примерно 89% пациентов, которых система назвала более чувствительными, и только 56% пациентов из второй группы. После завершения эксперимента участники также считали препарат более эффективным для первой группы.
Иными словами, наблюдаемые результаты не заставили большинство врачей полностью отказаться от первоначальной ошибочной подсказки.
Во втором эксперименте лечение не работало вообще
Во втором эксперименте участвовали 118 врачей. Здесь 70% пациентов выздоравливали независимо от того, получали они лечение или нет. Следовательно, препарат не давал никакого лечебного эффекта.
Тем не менее врачи назначали его примерно 78% пациентов, отнесенных ИИ к более чувствительной группе, и только 37% пациентов из менее чувствительной группы.
Еще показательнее оказались оценки эффективности. По шкале от 0 до 100 участники в среднем оценивали действие полностью бесполезного лечения в 68 баллов для предположительно чувствительных пациентов и в 47 баллов для второй группы. Правильная оценка в обоих случаях должна была составлять ноль.
Так возникла иллюзия причинной связи: спонтанное выздоровление воспринималось как результат лечения, особенно когда алгоритм заранее сообщал, что пациент должен хорошо на него отреагировать.
Почему врачи не пересмотрели первоначальное решение
Исследование не позволяет точно определить психологический механизм такого поведения. Одно из возможных объяснений — склонность чрезмерно доверять автоматизированной подсказке, особенно когда она представлена как результат работы сложной системы.
Другой возможный механизм связан с подтверждением первоначального предположения. Врачи чаще назначали препарат пациентам, которым алгоритм предсказывал хороший ответ. Поэтому у них было больше возможностей увидеть совпадение между лечением и выздоровлением именно в этой группе.
«В обоих экспериментах врачи в основном доверяли классификации ИИ и испытывали трудности с использованием обратной связи. Во втором эксперименте они также не заметили, что лечение было полностью неэффективным», — отметила Арансасу Винас (Aranzazu Vinas).
По словам Элены Матуте (Helena Matute), принято считать, что человек всегда способен проконтролировать алгоритм. Однако результаты показывают: врачам, как и другим людям, может быть сложно учитывать доказательства, противоречащие компьютерной рекомендации.
Что это может означать для пациентов
Авторы обращают внимание на два возможных риска.
Если лечение эффективно для всех, ошибочная классификация может привести к тому, что часть пациентов не получит полезную терапию. Если лечение неэффективно, доверие к алгоритму способно поддерживать применение бесполезного вмешательства. Это означает потерю времени, дополнительные расходы и риск отказа от действительно работающего метода.
При этом результаты нельзя напрямую переносить на обычную клиническую практику. В экспериментах использовались вымышленные заболевание и препарат, а врачи не располагали медицинской документацией, сведениями о сопутствующих болезнях и другими данными, которые обычно учитываются при лечении.
Профессиональный статус участников также указывался ими самостоятельно, хотя исследователи использовали дополнительные проверочные вопросы. Кроме того, поведение врачей могло частично отражать не слепое доверие, а привычку следовать системе поддержки решений в ситуации, когда собственных знаний о заболевании недостаточно.
Таким образом, работа не доказывает, что врачи всегда будут принимать ошибочные рекомендации ИИ в реальной больнице. Она показывает более узкую, но важную проблему: при высокой неопределенности предварительная компьютерная классификация способна влиять не только на решение о лечении, но и на последующую оценку его эффективности.
Как снизить риск ошибок
Авторы считают необходимым разрабатывать правила, которые помогают специалистам независимо проверять выводы алгоритмов. Возможные меры включают предварительное формулирование врачом собственного решения до получения компьютерной подсказки, регулярное сопоставление прогнозов с реальными исходами и автоматические предупреждения при систематическом расхождении между ними.
Не менее важно обучать врачей распознавать ситуации, когда первоначальная классификация начинает определять интерпретацию всех последующих данных. Задача заключается не в отказе от ИИ, а в создании такого порядка работы, при котором человек действительно контролирует систему, а не только формально подтверждает ее выводы.
Подробнее о распределении ответственности между человеком и алгоритмом можно прочитать в материале «Как люди и машины учатся понимать друг друга: гибридное выравнивание».
Литература
Vinas A. et al. Doctors vs. Algorithms: Physicians, too, struggle to learn from evidence that contradicts AI suggestions // PLOS Digital Health. — 2026. — Digital Object Identifier (DOI): 10.1371/journal.pdig.0001490.