Раз в несколько месяцев новостная лента выдаёт один и тот же сюжет: нейросеть сдала врачебный экзамен лучше выпускника медвуза, увидела опухоль точнее профессора, разгребла смену снимков быстрее целого отделения. Прочитаешь — и кажется, что до конца профессии осталось года два. Только почти за каждым таким заголовком прячется одна и та же ловушка: модель победила не врача. Модель победила тест. Ниже — о том, что на самом деле меряют медицинские бенчмарки, где ИИ уже вправду помогает в клинике и как отличить маркетинговый марафон от настоящего сдвига.
Устроен такой бенчмарк без затей: модели показывают описание клинического случая и просят выбрать правильный ответ. Разработчики языковых моделей отчитываются — и не раз — что их детища уверенно справляются с заданиями в формате медицинских лицензионных экзаменов, а то и перепрыгивают «проходной» порог. Звучит как приговор профессии. Но у этих испытаний три системные болячки.
Первая — возможная утечка. Экзаменационные материалы так или иначе гуляют по интернету, и часть вопросов вполне могла утечь в обучающие данные. Тогда модель не решает задачу — она узнаёт вопрос. Как студент, выучивший сборник прошлых лет вместо предмета.
Вторая — стерильность набора. В нём нет противоречивых анализов, забытых пациентом симптомов, редких сочетаний болезней — всего, с чем врач сталкивается ежедневно и что в тестовый формат просто не помещается.
Третья — бесплатность ошибки. Бенчмарк не наказывает за уверенный неверный ответ так, как это делает клиника. Там промахи стоят дорого, и стоят они по-разному — но об этом чуть ниже.
Даже эффектные демо в симулированных переписках, где модель якобы набирает у оценщиков больше баллов, чем живые врачи, остаются симуляцией. Пациенты-актёры со сценариями — это не очередь в поликлинику, и притворяться обратным не стоит. Бенчмарк меряет распознавание паттернов на подобранных случаях. Клиническое мышление — совсем другое упражнение.
Настоящая проверка — проспективные и рандомизированные испытания. И там, по имеющимся данным, картина скромнее — зато полезнее. В скрининговых программах ИИ-поддержка, как показывают такие испытания, позволяет не терять в выявляемости, заметно разгружая врачей: алгоритм отсеивает значительную часть «нормальных» снимков, а человеку достаются сомнительные. В эндоскопии алгоритмы-помощники, судя по публикуемым результатам, увеличивают число найденных находок. А в жёстко очерченных задачах регуляторы, по имеющимся данным, уже одобряли и полностью автономные диагностические алгоритмы — там это действительно работает.
Обратные примеры тоже известны, и они позанятнее. Громкие проекты с миссией «победить болезнь» заканчивались тихой распродажей активов: система, обученная на данных одной клиники, плохо переносилась в другие больницы. Урок простой, почти скучный. Модель, блестящая на вчерашних данных, деградирует на новых сканерах, новых протоколах, другом контингенте пациентов. Это называется смещением распределения — и именно оно отделяет красивый прототип от рабочего инструмента.
В диагностике ошибки несимметричны — вот главная заноза. Пропущенная опухоль стоит пациенту здоровья и лет жизни. Ложная тревога — лишней биопсии и месяцев страха. А в масштабе популяции — доверию к скринингу: чем чаще алгоритм кричит «волки», тем быстрее врачи перестают его слушать. Добавьте automation bias — склонность человека бездумно соглашаться с машиной — и получите обратный эффект: ИИ, задуманный как страховка для врача, его усыпляет.
Отсюда и жёсткость регуляторов. Медицинские алгоритмы, по имеющимся данным, согласовываются в заметных количествах, и почти все работают «в связке» с человеком. В разных юрисдикциях регуляторы склонны относить медицинские ИИ-системы к высокорисковому классу: обсуждаются обязательные клинические доказательства, прозрачность, надзор врача. Юридическая конструкция в целом понятна: ответственность, как правило, приписывают врачу, который ставит финальную подпись. Пока законодатели не решат, кто отвечает за самостоятельную ошибку алгоритма, «автономный медицинский суперразум» так и останется метафорой из пресс-релизов.
В России медицинский ИИ, по имеющимся данным, прошёл собственный полигон. Толчком, как сообщалось, стала пандемия: в крупных городах запускали проекты компьютерного зрения, где алгоритмы первыми разбирали поток снимков лёгких; позже программы, как ожидалось, расширяли на другие исследования. Рынок собирали в основном две силы — команды из сферы лучевой диагностики и разработчики систем компьютерного зрения.
Своя специфика — городские и региональные проекты, где заказчик — государство. Врачи размечают данные и контролируют качество, а алгоритм трудится «вторым читателем», подсвечивая зоны внимания. Ограничения тоже свои: разнородный парк томографов и рентген-аппаратов, дефицит специалистов, способных качественно размечать снимки, плюс необходимость проходить процедуры регистрации — в том числе в качестве медицинского изделия, если этого требует регулятор. Процедура долгая, зато, по замыслу, честная проверка эффективности. Перспектива при этом прагматичная: не заменять врача, а закрыть кадровый дефицит на первичном скрининге — там, где снимков больше, чем рук, способных их прочитать.
Тест, на котором ИИ «победил врачей», доказывает ровно одно: модель хорошо решает уже решённые задачи. Настоящий сдвиг выглядит куда скучнее заголовка. Рандомизированное исследование, которое разгружает врача, не роняя выявляемость. Алгоритм, зарегистрированный как медизделие. Врач, у которого появилось время на сложных пациентов. Отделить марафон маркетинга от прогресса несложно. Задайте любой громкой системе три вопроса. Проверяли ли её на новых пациентах, а не задним числом на готовых ответах? Кто отвечает за ошибку? Что станет с точностью через год на другом оборудовании? Нет ответов — перед вами тест, а не терапия. Ответы есть — перед вами инструмент, и он действительно полезен.