В 2023 году RSNA устроило настоящий марафон для искусственного интеллекта — AI Challenge по скрининговой маммографии. Задача? Научить алгоритмы находить рак груди на рентгеновских снимках с высокой точностью, но без излишних ложных тревог.
Результаты опубликовали в журнале «Radiology». Авторы исследования под руководством Ян Чен (Yan Chen) — научного сотрудника по скринингу рака в Ноттингемском университете (University of Nottingham, UK) — разбирали, что же показали почти полторы тысячи (!) алгоритмов, присланных со всего света.
«Честно говоря, мы были поражены количеством участников и качеством их решений», призналась Чен. «Учитывая, что на разработку был довольно короткий срок, а данные для обучения приходилось искать в открытых источниках, результат впечатляет».
Как это было
Для тренировки Эморский университет (Emory University, USA) и BreastScreen Victoria (Australia)предоставили набор из примерно 11 тысяч маммограмм. А участники могли дополнительно искать открытые изображения для дообучения своих моделей.
Чтобы проверить способности ИИ, организаторы подготовили тестовую коллекцию из 10 830 снимков (по одному на грудь) — полностью «чистую» от тренировочных данных и с диагнозами, подтверждёнными патоморфологами.
Что показали алгоритмы
- 98,7 % специфичности — почти безошибочно определяли отсутствие рака.
- 27,6 % чувствительности — распознавали чуть больше четверти реальных случаев.
- 1,7 % recall rate — доля случаев, которые ИИ отмечал как положительные.
Но магия случилась, когда исследователи начали «смешивать» лучшие модели:
- топ-3 в ансамбле дали уже 60,7 % чувствительности;
- топ-10 — 67,8 %, что близко к уровню среднего скринингового радиолога в Европе или Австралии.
«Мы не ожидали, что разные алгоритмы будут так дополнять друг друга», рассказала Чен. «Они реагировали на разные типы опухолей — то, что у одного модель видела, у другого могло пройти мимо».
Интересные нюансы
- ИИ лучше справлялся с инвазивными опухолями, чем с неинвазивными.
- На качество влияли тип рака, производитель оборудования и клиника, где делали снимки.
- Многие участники выложили свои алгоритмы в открытый доступ, а значит, это топливо для будущих исследований и коммерческих решений.
Что дальше
Команда Чен собирается:
- сравнить топовые алгоритмы с уже существующими коммерческими ИИ-системами на больших и разнообразных наборах данных;
- протестировать их на компактных, но сложных выборках, вроде тех, что используют в британской программе PERFORMS для оценки квалификации радиологов.
Кстати, RSNA устраивает такие конкурсы ежегодно. В этом году ищут модели для обнаружения и локализации внутричерепных аневризм. Так что битва интеллектов продолжается.
Литература:
Performance of Algorithms Submitted in the 2023 RSNA Screening Mammography Breast Cancer Detection AI Challenge, Radiology (2025).
Ведущий специалист отдела организации клинических исследований, терапевт, врач ультразвуковой диагностики ООО «ВеронаМед» (г. Санкт-Петербург), главный редактор, учредитель сетевого издания Medical Insider, а также автор статей.
E-mail для связи – xuslan@yandex.ru;
