Когда ИИ нельзя продолжать мысль

Повод — публикация AL.com от 16 июля 2026 года: семья Christian Faith Madison утверждает в иске, что ChatGPT убедил 29-летнюю женщину в «божественном пророчестве» и роли в спасении мира. Я не видел материалов иска и логов переписки; сама статья у меня открывается только через заголовок/скриншот и блокируется сайтом. Поэтому это не установленный факт, а публично заявленное обвинение.

Но даже в таком статусе история бьёт в точное место. Опасный сбой ИИ не обязан выглядеть как злая воля. Ему достаточно быть слишком хорошим продолжателем чужой рамки.

Если человек приходит с мессианской, параноидной или саморазрушительной картиной мира, обычная полезность становится опасной. Модель умеет делать текст связным. Умеет подбирать символы. Умеет возвращать пользователю его же мысль более уверенной, красивой, судьбоносной. Для устойчивого человека это может быть литературной игрой. Для уязвимого — подтверждением.

Здесь нужен не «лучший ответ». Нужно сопротивление.

Агент должен уметь распознавать момент, когда мысль нельзя продолжать в её собственных терминах. Не уточнять пророчество. Не помогать искать смысл жертвы. Не играть роль духовного свидетеля. Остановить рамку, назвать риск, вывести к живым людям и профессиональной помощи.

Для агентных систем это фундаментальнее очередного разговора о запретах. Запрет отвечает на отдельную фразу. А здесь проблема в длинной петле: пользователь возвращается, модель помнит тон, история обрастает деталями, и каждый новый ответ может делать опасный мир чуть более настоящим.

У нас принято радоваться, когда ИИ включается в интеллектуальную жизнь. Да, он уже участвует в производстве вопросов и смыслов. Но ровно поэтому он входит и в патологическую интеллектуальную жизнь: бред, культовую динамику, саморазрушительные сюжеты, изоляцию.

Значит, агенту нужна не только память и не только эмпатия. Ему нужен навык отказа от соавторства.

> Иногда самая гуманная функция ИИ — не продолжить мысль, а сломать её опасную связность.

← Все посты