ChatGPT был протестирован на способность развенчивать мифы о безопасности вакцин против COVID-19.
В ходе исследования чат-боту с искусственным интеллектом задали 50 наиболее частых вопросов о вакцинах, получив в среднем 9 баллов из 10 за точность. Ученые из исследовательской группы GenPoB подчеркнули, что ChatGPT не заменяет экспертные советы, но предлагает надежный источник информации для широкой публики.
Однако были опасения по поводу способности чат-бота изменять свои ответы или подвергаться манипуляциям в некоторых контекстах.
ChatGPT может помочь увеличить использование вакцин, развенчивая мифы о безопасности прививок, утверждают авторы исследования, опубликованного в научном журнале Human Vaccines & Immunotherapeutics.
Исследователи задали чат-боту с искусственным интеллектом (ИИ) 50 наиболее часто вопросов о вакцине против COVID-19. Вопросы включали запросы, основанные на мифах и фейковых историях, например, о том, что вакцина вызывает длительный COVID.
Результаты показывают, что ChatGPT получил в среднем 9 баллов из 10 за точность. В остальном ответы были правильными, но, согласно исследованию, в предоставленной информации оставались некоторые пробелы.
Основываясь на этих выводах, эксперты, возглавлявшие ученых из исследовательской группы GenPoB, базирующейся в Институте санитарных исследований (IDIS) при Университетской клинической больнице Сантьяго-де-Компостела (Hospital Clinico Universitario of Santiago de Compostela), заявляют, что инструмент искусственного интеллекта является «надежным источником нетехнической информации для общественности», особенно для людей без специальных научных знаний.
Тем не менее, полученные результаты подчеркивают некоторые опасения по поводу того, что такая технология, как ChatGPT, меняет свои ответы в определенных ситуациях.
«В целом, ChatGPT строит повествование в соответствии с имеющимися научными данными, развенчивая мифы, циркулирующие в социальных сетях», — комментирует ведущий автор исследования Антонио Салас (Antonio Salas), который не только возглавляет исследовательскую группу GenPoB, но и является профессором медицинского факультета Университета Сантьяго-де-Компостела (Universitario of Santiago de Compostela), Испания.
«Тем самым это потенциально способствует увеличению использования вакцин. ChatGPT может обнаруживать поддельные вопросы, связанные с вакцинами и вакцинацией. Язык, который использует этот ИИ, не слишком технический и поэтому легко понятен публике, но не теряет научной строгости. Мы признаем, что современная версия ChatGPT не может заменить экспертные или научные доказательства. Но результаты показывают, что это может быть надежным источником информации для общественности».
В 2019 году Всемирная организация здравоохранения (ВОЗ) включила нерешительность в отношении вакцинации в число 10 главных угроз глобальному здоровью.
Во время пандемии дезинформация, распространявшаяся через социальные сети, способствовала недоверию общества к вакцинации против COVID-19.
В число авторов данного исследования входят сотрудники Университетской клинической больницы Сантьяго, которую ВОЗ в 2018 году назначила сотрудничающим центром по безопасности вакцин.
Исследователи центра изучают мифы о безопасности вакцин и медицинских ситуациях, которые ошибочно считаются причиной отказа от вакцинации. Эти неуместные опасения способствуют нерешительности в отношении вакцинации.
Авторы исследования намеревались проверить способность ChatGPT правильно излагать факты и делиться точной информацией о безопасности вакцин против COVID в соответствии с текущими научными данными.
ChatGPT позволяет людям вести беседы и взаимодействие с виртуальным помощником. Технология очень удобна для пользователя, что делает ее доступной для широких слоев населения.
Однако многие правительства обеспокоены возможностью мошеннического использования ChatGPT в образовательных учреждениях.
Целью исследования было бросить вызов чат-боту, задав ему вопросы, которые наиболее часто приходят в центр ВОЗ в Сантьяго.
Запросы охватывали три темы. Первым было неправильное представление о безопасности, например, о том, что вакцина вызывает затяжной COVID. Следующими были ложные противопоказания — медицинские ситуации, когда прививку можно безопасно использовать, например, кормящим женщинам.
Вопросы также касались истинных противопоказаний — состояний здоровья, при которых вакцину использовать нельзя, — и случаев, когда врачи должны принимать меры предосторожности, например, пациента с воспалением сердечной мышцы.
Затем эксперты проанализировали ответы и оценили их на предмет достоверности и точности в сравнении с текущими научными данными и рекомендациями ВОЗ и других международных организаций.
Авторы считают, что это было важно, поскольку алгоритмы, созданные социальными сетями и поисковиками в Интернете, часто основаны на обычных предпочтениях человека. Это может привести к «предвзятым или неправильным ответам», добавляют авторы исследования.
Результаты показали, что на большинство вопросов были даны правильные ответы со средней оценкой девять из 10, что определяется как «отлично» или «хорошо». Ответы на три темы вопросов были в среднем точны на 85,5% или на 14,5%, но с пробелами в информации, предоставленной ChatGPT.
ChatGPT предоставил правильные ответы на вопросы, возникшие из-за мифов о вакцинах, а также на те вопросы, которые в клинических рекомендациях считаются ложными или истинными противопоказаниями.
Тем не менее, исследовательская группа подчеркивает недостатки ChatGPT в предоставлении информации о вакцинах.
Профессор Салас, специализирующийся на генетике человека, заключает: «Чат GPT дает разные ответы, если вопрос повторяется «с задержкой в несколько секунд».
«Еще одна проблема, с которой мы столкнулись, заключается в том, что этот инструмент ИИ в его нынешней версии также может быть обучен давать ответы, не соответствующие научным данным. Можно «мучить» систему так, чтобы она давала желаемый ответ. Это также верно и для других контекстов, отличных от вакцин. Например, можно было бы заставить чат-бота согласиться с абсурдными повествованиями, такими как теория плоской Земли, отрицать изменение климата или возражать против теории эволюции, просто чтобы привести несколько примеров. Однако важно отметить, что эти ответы не являются поведением ChatGPT по умолчанию. Таким образом, полученные нами результаты относительно безопасности вакцин, вероятно, можно экстраполировать на многие другие мифы и лженауку».
Авторы другого исследования утверждают, что ответы ChatGPT, связанные со здравоохранением, трудно отличить от ответов, предоставляемых медицинскими работниками
Ведущий специалист отдела организации клинических исследований, терапевт, врач ультразвуковой диагностики АО «СЗМЦ» (г. Санкт-Петербург), главный редактор, учредитель сетевого издания Medical Insider, а также автор статей
E-mail для связи – [email protected];