Почему медицинские алгоритмы могут недооценивать риск у целых групп
Медицинский алгоритм может ошибаться не потому, что неверно обрабатывает данные, а потому, что ему поручили отвечать на косвенный вопрос. Например, прогнозировать будущие расходы на лечение вместо того, чтобы оценивать медицинскую потребность.

Если одни пациенты при одинаковом состоянии получают меньше помощи, их расходы будут ниже — и система способна принять этот след неравенства за признак меньшего риска.
Так возникает алгоритмическая предвзятость в медицине: математически последовательное решение воспроизводит перекос, уже присутствующий в данных или в выбранной метрике. Исследования медицинских алгоритмов показывают, почему важно различать две вещи: точность вычисления и справедливость того, что именно вычисляют.
Когда расходы подменяют медицинскую потребность
В 2019 году исследователи изучили широко применявшийся алгоритм управления медицинской помощью. Он ранжировал пациентов по ожидаемым расходам на лечение. Результат использовали, чтобы отбирать людей для дополнительной помощи.
Логика на первый взгляд понятна: высокие ожидаемые расходы могут указывать на сложное состояние, а значит, на потребность в большем внимании. Но расходы — это не само здоровье. Они зависят от того, какие услуги человек получил, насколько доступна ему медицинская помощь и как устроено её финансирование. Показатель может быть удобен для расчёта, оставаясь лишь косвенным заместителем целевого понятия.
В изученном алгоритме при одинаковом балле риска чернокожие пациенты в среднем были больнее белых. Авторы связывали это с тем, что при сопоставимом состоянии здоровья расходы на помощь чернокожим пациентам были ниже. Алгоритм считывал меньшие траты как меньшую будущую потребность, хотя за этим различием могла стоять не меньшая тяжесть заболевания, а неравный доступ к лечению.
Это важная особенность ошибок алгоритмов оценки здоровья. Система может корректно обучиться на исторических данных и всё же выдавать несправедливый результат. Она обнаруживает закономерности в наблюдаемом прошлом, но не всегда способна отличить медицинскую потребность от того, как общество эту потребность обслуживало.
Когда показатель отражает доступ к помощи, а не саму потребность в ней, алгоритм может закрепить прежнее неравенство в виде нейтрального числа.
Здесь и возникает вопрос о цели модели. Если задача — прогнозировать расходы, показатель расходов может быть уместен. Если же по нему распределяют дополнительную поддержку, метрика начинает влиять на доступ к помощи. Одно и то же число оказывается одновременно прогнозом и механизмом отбора; эти функции нельзя смешивать без последствий.
Что означает разрыв при одинаковом балле
Баллы риска часто кажутся универсальным языком: пациентам присваивают значения, затем система выбирает тех, кто пересёк заданный порог. Но одинаковый балл не гарантирует одинакового состояния, если модель училась на косвенной метрике.
В исследовании 2019 года этот разрыв был принципиальным. Среди людей с одинаковым баллом чернокожие пациенты в среднем имели более тяжёлое состояние, чем белые. Следовательно, их потребность в помощи была выше, чем предполагал показатель, на основании которого система ранжировала пациентов.
Это не означает, что алгоритм напрямую диагностировал болезнь. Он прогнозировал расходы и помогал определять, кого направить на дополнительную помощь. Различие важно: диагноз, прогноз затрат и решение о распределении ресурсов — разные задачи, хотя в цифровой системе они могут оказаться связаны.
При оценке подобных инструментов обычно обсуждают несколько уровней смещения:
- Выбор данных. Какие признаки включены в модель, а какие отсутствуют? Сам факт наличия показателя в медицинской карте ещё не делает его точным описанием здоровья.
- Распределение решений. Достаточно ли часто люди из разных групп получают помощь при сопоставимой потребности?
- Распределение ошибок. Для каких групп система чаще пропускает высокий риск или, наоборот, завышает его?
- Целевая переменная. Что именно алгоритм учится предсказывать: состояние пациента, вероятность осложнения, расходы или факт обращения за услугой?
Эти вопросы связаны, но не взаимозаменяемы. Например, одинаковая доля направлений на дополнительную помощь сама по себе не доказывает справедливость: различия в медицинской потребности могут требовать разных долей. И наоборот, похожая общая точность модели не исключает, что для одной группы её ошибки окажутся опаснее.
Термин «дискриминация в медицинских алгоритмах» поэтому требует точности. Он описывает возможное последствие системы, но не объясняет, где возник перекос. Источник может находиться в обучающих данных, в целевом показателе, в пороге отбора или в том, как результат применяют на практике. Без этого различения критика остаётся слишком общей, а исправление рискует затронуть не тот механизм.
От 17,7% до 46,5%: смысл симуляции
В исследовании рассмотрели порог отбора на уровне 97-го процентиля. При исходном подходе чернокожие пациенты составляли бы 17,7% среди автоматически отбираемых для дополнительной помощи. В симуляции авторов, устранявшей неравенство состояния здоровья при одинаковых баллах риска, эта доля выросла бы до 46,5%.
Эти цифры показывают масштаб возможного эффекта от смены логики оценки. Они не описывают фактически проведённое внедрение исправленного алгоритма и не означают, что такое изменение обязательно даст тот же результат в другой клинике или в иной системе здравоохранения. Речь идёт о симуляции на данных конкретного исследования.
Порог в 97-м процентиле тоже важен для интерпретации. Он задаёт узкую группу пациентов, отобранных среди тех, кому модель присвоила наиболее высокие значения. В подобном сценарии ошибка в ранжировании влияет на то, кто попадёт в ограниченный круг получателей дополнительной помощи. Если модель недооценивает потребность части пациентов, последствия проявляются не только в статистике, но и в распределении внимания и ресурсов.
При этом цифра 46,5% не является универсальной долей, к которой должны стремиться все медицинские алгоритмы. Она получена в определённой симуляции и отвечает на конкретный вопрос о конкретном инструменте. Переносить её на все медицинские ИИ-системы было бы ошибкой: разные модели решают разные задачи, используют разные данные и действуют в разных институциональных условиях.
Точность здесь требует не меньше внимания, чем тревога. Исследование обнаружило существенный перекос в одном широко используемом алгоритме управления помощью. Оно не доказывает, что любой алгоритм систематически занижает риск для одной и той же группы. Но оно показывает, насколько выбор удобного прокси-показателя может изменить состав людей, которым система предлагает поддержку.
Пульсоксиметрия: смещение измерения, а не алгоритм отбора
Пульсоксиметрия даёт другой пример проблемы, связанной с медицинскими измерениями. Пульсоксиметр — прибор, который оценивает насыщение крови кислородом. Это измерительное устройство, а не алгоритм распределения помощи. Однако ошибки прибора могут повлиять на клиническую оценку, от которой зависят дальнейшие решения.
Систематический обзор заключил, что пульсоксиметры, вероятно, завышают показатели насыщения кислородом у чернокожих пациентов. В одном из включённых исследований скрытая гипоксемия встречалась у 11,4% чернокожих пациентов и у 3,4% белых пациентов. Эти значения относятся к результатам одного исследования внутри обзора, а не к универсальной частоте для всех пациентов и всех приборов.
Обзор также отмечал некоторую степень смещения и существенную неточность измерений независимо от расовой или этнической группы. А данных о том, как различия точности связаны с клиническими исходами, недостаточно для уверенных выводов обо всех группах. Это ограничение имеет значение: установленная разница измерений ещё не даёт полной картины того, как именно она повлияла на лечение каждого пациента.
Пример пульсоксиметрии помогает увидеть более широкий механизм. Цифровая система получает на вход не реальность как таковую, а измерение, сделанное прибором, форму записи в карте или показатель, выбранный исследователями. Каждое звено может вносить неопределённость. Когда затем несколько таких данных объединяются в алгоритме, исходная погрешность не исчезает автоматически; она может стать частью последующего решения.
При этом нельзя называть сам пульсоксиметр алгоритмически предвзятым в том же смысле, что модель, распределяющая пациентов по группам риска. Это разные типы инструментов. Сходство заключается в другом: и измерительная система, и вычислительная модель могут работать хуже для некоторых групп, а последствия зависят от того, как их результат используется в медицине.
Раса в данных и пределы заместительных показателей
В документе от 2 февраля 2024 года американское Управление по санитарному надзору за качеством пищевых продуктов и медикаментов отмечало, что самоотчётная расовая или этническая принадлежность является неточным заместителем измерения пигментации кожи. При этом такие сведения нередко доступны в медицинских записях, тогда как прямые измерения могут отсутствовать.
Здесь проявляется сложность самой категории данных. Раса и этничность могут иметь значение для анализа социальных различий в доступе к помощи и результатах лечения. Но они не являются точной мерой биологической характеристики, если модель пытается учесть, например, особенности, связанные с пигментацией кожи. Использование доступной переменной вместо нужной измеряемой величины способно породить новый перекос, даже если исследователь пытается устранить старый.
Исключить расовые и этнические данные из анализа тоже не всегда означает сделать систему справедливее. Если группа не обозначена в данных, становится труднее увидеть, что модель ошибается для её представителей. Но включение переменной само по себе не решает проблему: алгоритм может использовать её неуместно, а оценка результатов — скрывать различия между группами.
Поэтому аудит медицинской модели не сводится к вопросу, присутствует ли в ней раса. Нужно выяснить, какую роль эта переменная играет, что она измеряет в конкретном наборе данных и каковы последствия решений для разных пациентов. Параллельно следует проверять целевую переменную: алгоритм учится предсказывать медицинскую потребность или показатель, который лишь коррелирует с ней?
В этом смысле предвзятость ИИ в здравоохранении не всегда начинается с очевидно дискриминационного правила. Иногда её создаёт цепочка обычных решений: использовать доступную метрику, принять историческую запись за нейтральный факт, поставить единый порог и считать общую точность достаточным доказательством качества. Каждое решение может выглядеть рациональным отдельно; вместе они способны систематически ухудшать положение части пациентов.
Что считать ответственным применением
У медицинского алгоритма есть вычислительная часть и институциональная среда. Первая отвечает за то, как модель обрабатывает данные. Вторая определяет, какие данные собирают, кому доступна помощь и что происходит после выдачи балла. Если оценивать только код, часть причин смещения останется вне поля зрения.
Практическая оценка модели должна начинаться с формулировки её задачи. Если система прогнозирует расходы, это следует отделять от утверждения, что она измеряет тяжесть болезни. Если её балл используется для отбора на помощь, необходимо смотреть, кто именно проходит порог и какова потребность тех, кто остался за ним.
Затем следует сопоставлять ошибки и последствия по группам. Речь не об автоматическом требовании получить одинаковые показатели во всём: критерий зависит от клинической задачи. Но без раздельного анализа агрегированная точность может создавать иллюзию надёжности. Полезно также возвращаться к исходным показателям и спрашивать, не является ли удобный заместитель отражением прежнего доступа к лечению, а не состояния пациента.
Наконец, результат модели не должен растворять человеческую ответственность. Алгоритм может помочь выявить закономерность или упорядочить информацию, но решение о распределении медицинской помощи остаётся частью системы отношений между пациентом, специалистом и учреждением. Если эта система принимает балл за объективную истину, вычислительный инструмент получает больше полномочий, чем позволяют его данные.
Медицинские алгоритмы способны поддерживать решения, однако их беспристрастность не возникает автоматически из математической формулы. Она зависит от того, что именно измеряют данные, какую цель поставили модели и как проверяют последствия её применения. Число становится основанием для помощи лишь после множества человеческих выборов. Именно эти выборы и требуют самого внимательного анализа.