Может ли ИИ определить, когда пациентам не нужны медицинские тесты? Израильское исследование проверяет чат-ботов
Исследование Университета Бен-Гуриона и больничной кассы «Клалит» показало, что ведущие ИИ-чат-боты могут выявлять ненужные медицинские тесты в большинстве случаев, при этом ошибки группируются вокруг неоднозначных процедур, таких как ЭКГ и УЗИ. Работа опубликована в Annals of Internal Medicine.
Новое совместное исследование Университета Бен-Гуриона в Негеве и больничной кассы «Клалит» показывает, что ведущие большие языковые модели (LLM) могут выявлять ненужные медицинские вмешательства в большинстве случаев. Рецензируемое исследование, опубликованное в Annals of Internal Medicine, оценило шесть LLM от Google, Anthropic и OpenAI на сотнях клинических сценариев, основанных на международной кампании Choosing Wisely. Когда вмешательство было показано с медицинской точки зрения, модели ошибочно рекомендовали отказаться от лечения лишь в 0,6% случаев. Когда вмешательство было явно ненужным, модели неоправданно рекомендовали тестирование или лечение лишь в 5,4% случаев. Однако ошибки группировались вокруг двух неоднозначных процедур: ненужных ЭКГ (28,3% ответов) и ненужных УЗИ (42,8% ответов), что отражает реальные медицинские разногласия. Исследователи отметили, что модели сильно различались в одних и тех же случаях: одна рекомендовала ненужный тест менее чем в 10% случаев, а другая — в 80% случаев. Исследование проводилось только на английском языке, и необходима дополнительная работа перед клинической валидацией.