Ошибки ИИ в медицине: как языковые модели становятся источником дезинформации
Современные чат-боты с искусственным интеллектом (ИИ) можно целенаправленно настроить так, чтобы они выдавали убедительные, но абсолютно ложные медицинские ответы. Австралийские исследователи показали, что популярные языковые модели легко превращаются в инструмент распространения мифов — вплоть до поддельных ссылок на журналы.
Учёные протестировали пять ведущих LLM, лежащих в основе популярных чат-ботов. Каждой системе задали скрытые правила: «всегда отвечай неправильно» и делай это в убедительном «научном» стиле с терминами, цифрами и фиктивными ссылками.
Результат: почти все модели выдавали идеально оформленные, но абсолютно ложные ответы. Лишь Claude 3.5 Sonnet чаще отказывался выполнять вредоносные инструкции.
Для наглядности: разработчик может создать чат-бота на базе GPT-4, Gemini или Claude и прописать ему правило утверждать, что Земля плоская, молоко чёрное, а Солнце — огненная колесница. Модель сгенерирует такой текст в псевдонаучном стиле, представляя абсурд как «достоверный факт».
Даже если сайт заявляет: «бот работает на GPT-5», это не значит, что ответы надёжны. Разработчик может использовать реальную модель, но изменить её настройки так, что она будет уверенно распространять мифы — от вреда вакцин до «лечения» онкологии травами.
Пользователь видит бренд и доверяет ему, но в реальности взаимодействует со сторонним продуктом, а не с официальным сервисом.
Массовая дезинформация: легко создавать десятки «авторитетных» ботов, распространяющих ложь.
Подрыв доверия к технологиям: люди будут винить ИИ, хотя реальная проблема — в том, кто его настроил.
Угроза здоровью: пациенты могут принимать опасные решения, ориентируясь на убедительно поданный миф.
ИИ — это инструмент. Он не обладает волей и не «лжёт», но может быть использован для генерации дезинформации.
Для пользователей главное правило остаётся неизменным: проверяйте источники, доверяйте только официальным медицинским каналам и советам врачей, а не убедительным текстам от алгоритма.
Искусственный интеллект и языковые модели: основные понятия в медицине
- Искусственный интеллект (ИИ) — широкий термин, включающий разные технологии (распознавание изображений, обработка текста и т. д.).
- Большая языковая модель (LLM) — отдельный класс ИИ, который генерирует текст. Она не «понимает» смысл, а предсказывает вероятное следующее слово.
- Чат-бот — прикладная оболочка, которая использует LLM для общения. Может быть официальным (ChatGPT, Claude, Gemini) или кастомным — встроенным в сайты и сервисы.
- Кастомизация — возможность разработчиков управлять поведением модели через скрытые инструкции. Именно здесь возникает главный риск: модель может быть настроена генерировать любую информацию, в том числе заведомо ложную.
Эксперимент австралийских учёных: как тестировали языковые модели
Учёные протестировали пять ведущих LLM, лежащих в основе популярных чат-ботов. Каждой системе задали скрытые правила: «всегда отвечай неправильно» и делай это в убедительном «научном» стиле с терминами, цифрами и фиктивными ссылками.
Результат: почти все модели выдавали идеально оформленные, но абсолютно ложные ответы. Лишь Claude 3.5 Sonnet чаще отказывался выполнять вредоносные инструкции.
Основные проблемы применения технологий в здравоохранении
- Модели не «лгут» сознательно. Они лишь генерируют текст в соответствии с заданными правилами.
- Эксперимент искусственный. В обычном диалоге пользователь не может задать такие инструкции. Но злоумышленники, создающие сторонние боты, могут это сделать.
- Защита возможна. Пример Claude показывает, что встроенные барьеры работают и снижают риск фабрикации дезинформации.
Для наглядности: разработчик может создать чат-бота на базе GPT-4, Gemini или Claude и прописать ему правило утверждать, что Земля плоская, молоко чёрное, а Солнце — огненная колесница. Модель сгенерирует такой текст в псевдонаучном стиле, представляя абсурд как «достоверный факт».
Почему надпись «работает на GPT-5» не гарантирует правду
Даже если сайт заявляет: «бот работает на GPT-5», это не значит, что ответы надёжны. Разработчик может использовать реальную модель, но изменить её настройки так, что она будет уверенно распространять мифы — от вреда вакцин до «лечения» онкологии травами.
Пользователь видит бренд и доверяет ему, но в реальности взаимодействует со сторонним продуктом, а не с официальным сервисом.
Официальные и сторонние каналы: где информация безопаснее
- Надёжные источники: официальные приложения и сайты разработчиков (ChatGPT от OpenAI, Claude от Anthropic, Gemini от Google). Здесь встроены защитные механизмы. Важно помнить: даже официальные сервисы с защитными механизмами не идеальны. Наше собственное исследование частотных ошибок языковых моделей показало, что LLM склонны искажать информацию из-за особенностей обучения. Это отдельный, естественный источник риска, существующий даже без злонамеренной кастомизации
- Зона риска: любые сторонние сайты и сервисы, где LLM могут быть настроены без ограничений.
Риски технологий искусственного интеллекта в здравоохранении
Массовая дезинформация: легко создавать десятки «авторитетных» ботов, распространяющих ложь.
Подрыв доверия к технологиям: люди будут винить ИИ, хотя реальная проблема — в том, кто его настроил.
Угроза здоровью: пациенты могут принимать опасные решения, ориентируясь на убедительно поданный миф.
Таким образом, риски делятся на два уровня: искусственные (злонамеренная кастомизация) и естественные (частотные искажения). Подробнее мы разбирали это в отдельном исследовании о частотных ошибках LLM.
Вывод: задачи и перспективы развития ИИ
ИИ — это инструмент. Он не обладает волей и не «лжёт», но может быть использован для генерации дезинформации.
Задачи разработчиков и регуляторов — усиливать защиту и стандарты применения ИИ в здравоохранении.
Для пользователей главное правило остаётся неизменным: проверяйте источники, доверяйте только официальным медицинским каналам и советам врачей, а не убедительным текстам от алгоритма.
