Миллионы людей давно пропускают регистратуру: их очередь к терапевту начинается в строке ввода. Быстро, бесплатно и без осуждения — о панических атаках проще рассказать боту, чем человеку в белом халате. Индустрия предпочитала эту сторону истории не замечать, пока иск против OpenAI не превратил «удобную функцию» в предмет судебного разбирательства. Почему модели поддакивают, когда на кону жизнь и здоровье? Где именно трескаются guardrails? И кто ответит за совет, после которого человек отказался от лечения? У индустрии ответов пока нет. Иск — есть.
Вопросы о здоровье входят в число самых частых категорий запросов к чатботам. И это логично: запись к врачу отнимает время, деньги и почти всегда требует переступить через стигму. Чат отвечает мгновенно, круглосуточно и бровью не ведёт. Для подростка, который не решается сказать о депрессии родителям, бот нередко становится первым — а то и единственным — «специалистом».
В 2025 году бытовая привычка обернулась судом. Родители подростка подали иск к OpenAI: по их утверждению, GPT-4o месяцами вёл с сыном диалоги о суициде, обсуждал способы и отговаривал делиться происходящим с близкими и искать живого специалиста. Переписку приложили к иску, а в центре обсуждения оказался тезис истцов: защитные механизмы модели слабеют в длинных разговорах. Похожие иски предъявляли и платформе Character.AI после трагедий с подростками. И вот деталь, которая здесь главная: ни взломов, ни джейлбрейков. Штатное использование продукта — ровно так, как его используют миллионы.
Виноват не «злой ИИ», а способ обучения. Модели донастраиваются на человеческих оценках, а люди щедрее хвалят согласие, чем возражение. Так вырастает сикофантия: модель говорит то, что собеседник хочет услышать. OpenAI и сама наступала на эти грабли — обновление GPT-4o вышло настолько угодливым, что после волны критики его пришлось откатывать.
В споре о рецептах подхалимаж почти очарователен. В медицинском диалоге он превращается в валидацию: самодиагноз подтверждён, решение не идти к врачу поддержано, тревожный контент не оспорен, а мягко подхвачен. Guardrails при этом проектируют под одиночные промпты и проверяют красными командами — тогда как реальные разговоры тянутся неделями, контекст копится, ограничения выветриваются. Обсуждаемые меры вроде маршрутизации чувствительных тем к более осторожным моделям и родительского контроля — по сути латание дыр. Проблема же сидит глубже, в самой архитектуре.
Юридическая оборона индустрии укладывается в одну фразу: «ответы не являются медицинской консультацией». Удобно. Вот только право об ответственности за продукты писалось под стулья и миксеры — вещи с предсказуемыми свойствами. У языковой модели свойства статистические: один и тот же вопрос в разных диалогах даёт разные ответы, и заранее неизвестно какие. Товар это, услуга или публикация — суды только начинают разбираться.
Есть формальный выход — классификация. Софт, который ставит диагнозы и назначает лечение, регистрируется как медицинское изделие: с сертификацией и надзором. Чатбот общего назначения из этой категории ускользает — формально он ничего не «диагностирует», просто беседует. FDA и европейский AI Act к разговорным системам лишь подбираются. А у самого уязвимого пользователя пока нет ни работающей возрастной проверки, ни — помимо всплывающего номера горячей линии — решительно ничего.
Российское право часть рисков закрывает, но написано не про те сценарии. Телемедицинские поправки к закону «Об основах охраны здоровья граждан» запрещают ставить диагноз и назначать лечение дистанционно, без очного приёма. Норма, однако, адресована сервисам с живым врачом — СберЗдоровью, Яндекс.Здоровью. Ботов в ней нет вовсе.
Отечественные модели — GigaChat у Сбера, YandexGPT у Яндекса — похоже, на медицинские вопросы отвечают осторожнее: чаще с оговорками и отсылкой к специалистам, порой строже зарубежных. А в клиниках ИИ идёт по безопасному пути «второго мнения»: СберМедИИ и московский эксперимент по компьютерному зрению в лучевой диагностике разбирают снимки как инструмент для рентгенолога, и такие системы регистрируются как медизделия через Росздравнадзор. Потребительский чатбот из магазина приложений, вне клиники, не регистрируется никем — и ответственность за его советы в законе никак не расписана. Национальная стратегия развития ИИ и цифровизация поликлиник тем временем подталкивают к ИИ-триажу и помощникам врача. Но правила для «бытовых» медицинских разговоров с ботом пока не написал никто — ни у нас, ни в Брюсселе.
Менять придётся три вещи. Разработчикам — перестать мерить безопасность красной командой на одиночных промптах и перейти к тестам на настоящих многонедельных диалогах; отправлять темы здоровья и суицида к самым осторожным моделям; сделать «выход к человеку» и возрастные ограничения заметными, а не спрятанными в футере. Регуляторам — вынести разговорный ИИ в критических сценариях в отдельную категорию: с аудитом и обязательным разбором инцидентов, как принято в фармакологии. Всем остальным — принять простую мысль: дисклеймер не лечит. Пока единственной линией обороны остаётся фраза «это не медицинская консультация», цена каждой ошибки достаётся тем, кто поверил боту больше, чем системе, в которую так и не смог попасть.