В популярных медицинских наборах данных нашли признаки ненадёжности

Два общедоступных набора медицинских данных, которые неоднократно использовали для создания моделей риска инсульта и сахарного диабета, не содержали проверяемой информации о происхождении наблюдений. Исследователи также обнаружили в них необычные распределения показателей, повторяющиеся записи и биологически маловероятные закономерности.

Результаты расследования опубликованы в журнале BMC Medicine. Авторы выявили 125 рецензируемых статей, в которых на основе этих двух наборов разрабатывали или проверяли клинические прогностические модели.

Что такое клиническая прогностическая модель

Клиническая прогностическая модель — это математический инструмент, который по характеристикам пациента оценивает вероятность заболевания, осложнения или другого медицинского события.

Например, система может учитывать возраст, артериальное давление, концентрацию глюкозы, массу тела и сопутствующие заболевания, а затем рассчитывать риск инсульта или сахарного диабета.

Такие модели создают с помощью обычных статистических методов или машинного обучения. Последнее представляет собой способ анализа, при котором вычислительная система самостоятельно ищет закономерности в большом количестве примеров.

Однако даже сложный алгоритм не способен исправить ненадёжные исходные данные. Если сведения были искусственно созданы, многократно скопированы или собраны неизвестным способом, модель может научиться распознавать не реальные признаки болезни, а случайные и искусственные особенности таблицы.

При проверке на том же наборе она иногда показывает впечатляющую точность, но у настоящих пациентов работает значительно хуже.

Какие данные проверяли

Исследователи выбрали два популярных набора, размещённых в открытом хранилище Kaggle. Один предназначался для прогнозирования инсульта, второй — сахарного диабета.

Kaggle позволяет пользователям публиковать таблицы и применять их для обучения методам анализа и машинного обучения. Наличие данных на такой платформе само по себе не подтверждает, что они были получены в клинике, прошли этическую проверку или подходят для медицинских исследований.

Оба набора были загружены сотни тысяч раз. Именно высокая популярность сделала их особенно важными для проверки: ошибки могли распространиться по большому числу научных работ.

Авторы оценили данные по девяти пунктам руководства по прозрачному описанию многопараметрических диагностических и прогностических моделей с применением искусственного интеллекта (TRIPOD+AI).

Руководство требует сообщать, где, когда, зачем, каким способом и кем были собраны сведения, какие пациенты вошли в выборку и как проверяли качество записей.

Оба набора получили ноль баллов из девяти.

Происхождение пациентов установить не удалось

Для набора данных об инсульте не было достоверно известно, из какой страны, больницы или исследовательской программы происходили сведения. Пользователь, опубликовавший таблицу, прямо предупреждал, что источник остаётся частным, а данные следует использовать для обучения, но не для исследований или коммерческих задач.

У набора данных о сахарном диабете также отсутствовал проверяемый первоисточник. В описании говорилось, что электронные медицинские записи якобы были собраны у нескольких поставщиков медицинской помощи, однако назвать их автор публикации отказался.

Невозможно было проверить, существовали ли описанные пациенты в действительности, как ставили диагнозы, кто проводил измерения и давали ли люди согласие на использование своих медицинских сведений.

Не были указаны даже единицы измерения некоторых лабораторных показателей.

Кроме того, в наборе об инсульте не уточнялось, шла ли речь об ишемическом инсульте, возникающем из-за закупорки сосуда, или о геморрагическом инсульте, связанном с кровоизлиянием.

В наборе о диабете не разделялись сахарный диабет 1-го и 2-го типов, хотя причины, течение и лечение этих заболеваний существенно различаются.

В таблице об инсульте нашли необычные ограничения

Набор данных об инсульте включал 5110 записей и 12 переменных. При его изучении исследователи обнаружили необъяснимые закономерности в идентификационных номерах пациентов, возрасте и концентрации глюкозы.

Распределение глюкозы внезапно менялось после определённой группы идентификаторов. Некоторые значения выглядели искусственно ограниченными, а возраст участников обрывался на отметке 82 года.

Авторов насторожило и почти полное отсутствие пропусков. Не хватало только 0,3% всех значений, причём пропуски встречались практически в одном показателе — индексе массы тела.

В реальных медицинских записях часть анализов обычно не проводится, отдельные измерения теряются, а сведения могут поступать из разных учреждений. Почти идеально заполненная таблица не обязательно является поддельной, но в сочетании с другими странностями требует убедительного объяснения.

Такого объяснения в описании данных не было.

Набор о диабете содержал тысячи повторов

Вторая таблица включала ровно 100 тысяч записей и девять показателей. В ней исследователи обнаружили 6939 полностью повторяющихся строк — около 7% всех наблюдений.

Некоторые значения также повторялись с неестественной частотой. Почти у 30 тысяч условных пациентов индекс массы тела находился в одном узком промежутке — от 27 до 28.

Для 100 тысяч записей присутствовало лишь 18 отдельных сочетаний концентрации глюкозы и гликированного гемоглобина. Гликированный гемоглобин, или гемоглобин A1c, показывает среднюю концентрацию глюкозы в крови примерно за два-три месяца.

В реальной большой группе пациентов оба показателя обычно принимают множество разных значений. Их чрезмерно упорядоченное сочетание может возникнуть, если строки создавали или многократно пересобирали на основе небольшого числа исходных примеров.

Авторы исследования назвали распределения глюкозы, гликированного гемоглобина и индекса массы тела биологически неправдоподобными. По их мнению, данные могли быть смоделированы, изменены или изготовлены искусственно.

При этом исследователи подчёркивают, что не могут окончательно доказать полную искусственность таблиц. Главная проблема заключается в отсутствии сведений, которые позволили бы независимо подтвердить их подлинность.

На сомнительных данных создали не менее 125 моделей

Поиск выявил 653 научных и учебных материала, упоминавших эти наборы. После исключения тезисов конференций, диссертаций, предварительных публикаций и других неподходящих материалов осталось 125 рецензируемых статей с клиническими прогностическими моделями.

Сто три исследования использовали набор об инсульте, 20 — набор о сахарном диабете. Одна работа анализировала обе таблицы, ещё одна статья об инсульте к моменту проверки уже была отозвана.

Публикации вышли у исследовательских коллективов из 32 стран. Количество работ продолжало увеличиваться, несмотря на отсутствие проверяемого первоисточника данных.

Авторы обнаружили, что во всех 125 статьях исследователи сообщили лишь около 7% сведений о происхождении данных, предусмотренных TRIPOD+AI.

Несколько публикаций даже называли разные предполагаемые источники одной и той же таблицы. Среди них упоминались клиники Бангладеш, медицинские добровольцы и крупные организации, хотя в исходном описании таких сведений не было.

Как авторы статей получили эту дополнительную информацию, установить не удалось.

Некоторые модели рекомендовали для реальной медицины

Особую тревогу вызвало то, что многие статьи не ограничивались учебными экспериментами.

Практические рекомендации содержались примерно в 67% работ об инсульте и в 80% исследований сахарного диабета. Авторы некоторых публикаций предлагали использовать созданные классификаторы для работы с настоящими пациентами.

Три модели, по данным расследования, могли уже применяться или готовиться к применению в клинической практике. Одна статья была процитирована в патенте на медицинское изделие.

Одиннадцать исследовательских групп создали сайты или приложения с графическим интерфейсом для расчёта риска. Два таких инструмента оставались общедоступными во время проверки.

Кроме того, статьи на основе сомнительных таблиц процитировали 86 обзорных работ. Так ненадёжные результаты способны распространяться по научной литературе: последующие авторы могут ссылаться на них как на уже установленное знание, не проверяя происхождение исходных данных.

Почему высокая точность алгоритма ничего не гарантирует

Разработчики медицинских моделей часто делят таблицу на обучающую и проверочную части. На первой алгоритм ищет закономерности, а на второй оценивается его точность.

Но если обе части происходят из одной искусственной или искажённой таблицы, такая проверка мало говорит о работе системы в настоящей клинике.

Например, алгоритм может запомнить повторяющиеся строки, необычное округление лабораторных показателей или искусственную связь между идентификационным номером и диагнозом. На внутренней проверке результат будет высоким, поскольку те же особенности присутствуют в обеих частях данных.

При встрече с реальными пациентами этих закономерностей не окажется.

Поэтому перед клиническим применением модель необходимо проверять на независимых данных, собранных в других учреждениях и в другое время. Такая внешняя проверка должна показать, сохраняется ли точность у пациентов, которых алгоритм раньше не «видел».

Даже после этого требуется оценить, действительно ли применение модели улучшает лечение, а не только правильно предсказывает показатель в таблице.

Чем ошибка может угрожать пациенту

Ненадёжная модель риска способна ошибочно отнести человека к группе низкой вероятности заболевания и создать ложное чувство безопасности. В результате пациенту могут не назначить нужное обследование или позднее начать лечение.

Возможна и противоположная ситуация: система завысит риск и приведёт к ненужным анализам, тревоге, расходам или вмешательствам.

Особенно опасно использовать такие алгоритмы без участия врача или показывать пользователю числовой результат как готовый диагноз.

Клиническая модель должна рассматриваться только как вспомогательный инструмент. Решение необходимо принимать с учётом симптомов, истории болезни, осмотра, лабораторных исследований и профессиональной оценки специалиста.

Проблема не ограничивается Kaggle

Авторы изучили только два набора данных и не утверждают, что все сведения на открытых платформах ненадёжны.

Общедоступные таблицы полезны для обучения программированию, статистике и машинному обучению. Открытый доступ также помогает находить ошибки: именно возможность скачать и самостоятельно исследовать данные позволила обнаружить необычные закономерности.

Проблема возникает, когда учебный или искусственный набор без ясного происхождения представляют как реальные клинические сведения и используют для выводов о лечении пациентов.

Авторы предлагают хранилищам данных требовать обязательного описания происхождения записей. Научные журналы, по их мнению, должны проверять эту информацию до публикации, а исследователи — заранее регистрировать планы анализа и подробно сообщать обо всех этапах обработки.

Что следует проверять перед использованием модели

Врачу или медицинской организации недостаточно знать, какую точность разработчики указали в статье.

Необходимо выяснить, где и когда собирались данные, соответствуют ли пациенты целевой группе, как подтверждались диагнозы, сколько было пропусков и проводилась ли независимая внешняя проверка.

Важны и абсолютные числа. Показатель точности в 95% может выглядеть убедительно, но вводить в заблуждение, если заболевание встречается редко или модель пропускает именно тех пациентов, которым особенно нужна помощь.

Исследование напоминает, что искусственный интеллект не становится медицински надёжным только потому, что использует большую таблицу или сложный алгоритм. Качество прогноза начинается с качества исходных сведений.

О том, почему перспективные медицинские алгоритмы всё равно нуждаются в независимой проверке, рассказывается в материале о модели FINGERS-7B для оценки риска болезни Альцгеймера.

Литература

Gibson A. D., et al. Evidence of unreliable data and poor data provenance in clinical prediction model research and clinical practice // BMC Medicine. — 2026. — Vol. 24. — Art. 386. — DOI: 10.1186/s12916-026-04981-y.