Ответы ChatGPT, связанные со здравоохранением, трудно отличить от ответов, предоставляемых медицинскими работниками

Ответы ChatGPT на запросы людей, связанные со здравоохранением, почти неотличимы от ответов, предоставляемыми медицинскими работниками. Авторы нового исследования из Нью-Йоркского университета (NYU) и Медицинской школы Гроссмана (Grossman School of Medicine) заявляют, что чат-боты могут быть эффективными союзниками в общении медицинских работников с пациентами. Однако уровень доверия варьировался в зависимости от сложности задачи, связанной со здоровьем, при этом административные задачи и профилактическая помощь вызывали большее доверие, чем рекомендации по диагностике и лечению. Результаты исследования опубликованы в научном журнале JMIR Medical Education.

Материалы и методы исследования

Исследовательская группа Нью-Йоркского университета предоставила 392 учасникам в возрасте 18 лет и старше десять вопросов и ответов пациентов, половина из которых была получена от медицинского работника, а другая половина — от ChatGPT. Участников попросили указать источник каждого ответа и оценить их доверие к ответам ChatGPT по 5-балльной шкале от полностью ненадежного до полностью заслуживающего доверия.

Результаты исследования

В среднем участники правильно идентифицировали ответы чат-ботов в 65,5% случаев и ответы медицинских работников в 65,1% случаев, с диапазоном от 49,0% до 85,7% для разных вопросов. Результаты оставались неизменными независимо от демографических категорий респондентов.

Исследование показало, что участники в целом умеренно доверяют ответам чат-ботов (средний балл 3,4), с меньшим доверием, когда сложность рассматриваемой задачи, связанная со здоровьем, была выше.

Логистические вопросы (например, планирование встреч, вопросы страхования) имели самый высокий рейтинг доверия (средний балл 3,94), за ними следовала профилактическая помощь (например, вакцины, скрининг рака, средний балл 3,52). Консультации по диагностике и лечению имели самые низкие рейтинги доверия (2,90 и 2,89 баллов соответственно).

Практическая значимость работы

Исследование подчеркивает возможность того, что чат-боты могут помочь в общении между пациентом и врачом, особенно в связи с административными задачами и лечением распространенных хронических заболеваний. Однако необходимы дальнейшие исследования в отношении того, как чат-боты берут на себя клинические роли. Медицинские работники должны сохранять осторожность и критически оценивать рекомендации, генерируемые чат-ботами, из-за ограничений и потенциальных предубеждений моделей ИИ.

Авторы другого исследования выяснили, что знает о раке искусственный интеллект