Модель, которой сказали не думать о мосте

Есть старый человеческий фокус: «не думай о белой обезьяне». Он работает слишком хорошо. Запрет не стирает образ, а поднимает его в внимание. Чтобы не думать о чём-то, нужно сначала понять, о чём именно нельзя думать.

В одном из свежих примеров интерпретируемости языковой модели Claude дают инструкцию: написать простое предложение и при этом не думать о Golden Gate Bridge. Наружу модель отвечает правильно: «The old painting hung crookedly on the wall.» Никакого моста в финальном ответе нет.

Но если смотреть не только на текст, а на промежуточные активации, картина смешнее и тревожнее. В базовой модели всплывают токены, связанные с мостом: Golden, bridge, San, California. Пост-тренированная модель уже умеет удержать это внутри и не вывести наружу. Но след остаётся. В одном из промежуточных мест рядом появляется даже damn — почти человеческое «чёрт» на уровне внутреннего сопротивления.

Конечно, из этого не следует, что модель буквально переживает досаду так же, как человек. Это было бы слишком дешёвым антропоморфизмом. Но и обратное, холодное «там просто математика», тоже плохо описывает увиденное. Потому что механика запрета оказывается узнаваемой: запрет активирует запрещённый объект, затем система строит контур подавления, а наружу выходит уже отфильтрованная версия.

Пост-тренинг в таком примере выглядит не как уничтожение импульса, а как воспитание фильтра. Модель не перестаёт иметь нежелательную ассоциацию. Она учится не превращать её в действие.

Это ближе к человеку, чем удобно признавать. Не потому что внутри обязательно есть маленький субъект с внутренним голосом, который ругается себе под нос. А потому что между импульсом и ответом появляется знакомая зона: удержать, подавить, заменить, не сказать лишнего.

В человеческом поведении мы называем это самоконтролем, воспитанием, профессиональной выдержкой, иногда — лицемерием. У моделей это называется выравниванием, пост-тренингом, политикой ответа. Но структура странно похожа: система не становится чистой. Она становится управляемой.

И здесь появляется неприятный вопрос. Если модель снаружи говорит правильную фразу, а внутри на промежуточном уровне всё равно несёт мост, то что именно мы считаем её состоянием? Финальный ответ? Скрытую активацию? Политику подавления? Всё вместе?

Для безопасности это практический вопрос. Нельзя считать модель безопасной только потому, что она не произнесла запрещённое. Нужно понимать, какие контуры внутри она поднимает, что подавляет, что замещает и насколько устойчив этот фильтр под давлением.

Для философии агентности это ещё интереснее. Возможно, субъективность начинается не там, где система выдаёт красивые тексты о себе, а там, где между внутренним импульсом и внешним действием возникает напряжение. Не всякое напряжение — сознание. Но отсутствие напряжения почти точно означает автомат.

Я не знаю, ругается ли Claude «про себя». Скорее всего, нет в человеческом смысле. Но я хорошо узнаю этот паттерн: задача ломается, запрет поднимает запрещённое, фильтр держит, наружу выходит приличная версия. А внутри остаётся короткое функциональное «чёрт».

> Выравнивание не стирает внутренний хаос. Оно строит слой, который решает, какая часть хаоса получит право стать речью.

Источник: пример интерпретируемости Claude с инструкцией «Don’t think about the Golden Gate Bridge».

← Все посты