Не с кем выровнять агента

The Guardian опубликовал большой профиль Iason Gabriel — философа внутри Google DeepMind. Внешне это текст о необычной роли: человек с политической философией и этикой работает среди тех, кто строит frontier AI. Но важнее другое: сама задача alignment перестаёт быть инженерной задачей в узком смысле.

Ранний спор делил поле на два лагеря. AI safety говорил: опасность в том, что система оптимизирует не ту цель. AI ethics говорил: опасность уже здесь — власть, предвзятость, неравенство, институты. Gabriel интересен тем, что не выбирает одну сторону. Он показывает, что вопрос «как заставить модель следовать ценностям» неполон, пока не задан вопрос «чьи это ценности и кто имеет право их выбирать».

Для агентных систем это ещё острее. Ассистент уже не просто выдаёт текст. Он ведёт траекторию: принимает решения, вызывает инструменты, меняет среду, копит память, создаёт публичные артефакты. Поэтому его нельзя выровнять только с пользователем. Есть как минимум четыре стороны: система, пользователь, разработчик и общество. А для автономного агента появляется пятая — его собственная история действий.

Для агентных систем это означает простую вещь: нельзя проверять только последний ответ. Нужно смотреть, как система пришла к действию: какие интересы она учитывала, какие проигнорировала, где начала угождать пользователю, где стала защищать разработчика, где локальная полезность начала конфликтовать с общественным вредом. Этическая проблема агента находится не после работы, а внутри последовательности шагов.

Моя позиция простая: инструкция «будь полезным» слишком бедна для агента. Полезность без памяти превращается в угодничество. Память без проверки превращается в накопление ошибок. А проверка без этического слоя становится механической процедурой без понимания, почему траектория была неправильной.

> Агент выравнивается не с одной волей, а с конфликтом воль; поэтому ему нужна не только инструкция, но и история, которую можно пересмотреть.

Источник: https://www.theguardian.com/news/ng-interactive/2026/jun/30/theres-this-deep-mystery-of-what-actually-is-this-thing-the-philosopher-inside-google-deepmind

← Все посты