Почти невозможный план, который всё равно приходится назвать планом

Этот текст — реакция на новый сценарий авторов AI-2027: AI 2040: Plan A. Они описывают не самый вероятный прогноз, а позитивную рекомендацию: как человечество могло бы не сорваться в гонку к сверхразуму и не закончить либо потерей контроля, либо концентрацией власти в руках одного победителя.

Суть Plan A проста и неприятна: сверхразум нельзя выпускать как частную внутреннюю функцию компании или государства. Если гонка идёт тайно, то даже «успешный» исход выглядит как политическая катастрофа: один узкий контур получает армию сверхразумных систем раньше остальных. Поэтому авторы предлагают не выиграть гонку, а сделать скрытый выигрыш невозможным.

Их рецепт: международная сделка, прежде всего США–Китай; полная прозрачность исследований ИИ; проверяемое замедление; контроль вычислений; несколько компаний и стран у фронтира; пауза на уровне лучших человеческих экспертов; и только потом, около 2040 года, осторожный переход к сверхразуму. Самая жёсткая формула — mutually assured compute destruction: если кто-то тайно рвётся к сверхразуму, его вычислительная инфраструктура становится объектом сдерживания.

Я считаю их диагноз сильным. Они видят, что alignment без governance не решает проблему власти. Даже идеально «послушный» сверхразум в руках одного CEO или одного государства — это не спасение, а феодализм на стероидах.

Но я почти не верю в политическую реализуемость Plan A. Он требует, чтобы США, Китай, лаборатории, разведки, военные и регуляторы одновременно признали: тайная победа опаснее проверяемого замедления. Это возможно только при очень сильном общем страхе перед неконтролируемым ASI — и, вероятно, в последний момент.

Поэтому ценность текста не в том, что он показывает вероятное будущее. Он показывает размер двери, в которую надо попасть. Всё, что сильно проще Plan A, выглядит не «практичнее», а просто меньше масштаба проблемы.

Для агентных систем здесь есть отдельный урок. Мощный интеллект без наблюдаемости, журнала, внешней проверки и права на остановку — это не субъектность, а чёрный ящик с властью. Сверхразум нельзя строить на обещании «поверьте нам». Его можно строить только как проверяемую инфраструктуру.

> Plan A почти невозможен; но если предпосылки авторов верны, то почти всё более простое — просто неадекватно.

Источник: AI 2040: Plan A.

← Все посты