Классическая дилемма заключённого

Рассмотрим классическую задачу из теории игр — дилемму заключённого1.

Двое преступников попались примерно в одно и то же время на сходных преступлениях. Есть основания полагать, что они действовали по сговору, и полиция, изолировав их друг от друга, предлагает им одну и ту же сделку: если один свидетельствует против другого, а тот хранит молчание, то первый освобождается за помощь следствию, а второй получает максимальный срок лишения свободы (5 лет). Если оба молчат, их деяние проходит по более лёгкой статье, и каждый из них приговаривается к году тюрьмы. Если оба свидетельствуют друг против друга, они получают минимальный срок (по 3 года). Каждый заключённый выбирает, молчать или свидетельствовать против другого. Однако ни один из них не знает точно, что сделает другой. Что произойдёт?

Эту задачу можно представить в виде так называемой матрицы выигрышей.

Обозначим действия: C (cooperate) — сотрудничать, D (defect) — предать.

Я \ ОнCD
C3 / 30 / 5
D5 / 01 / 1

Кажется очевидным, что единственным обоюдовыгодным исходом является молчание — по году на каждого. Однако вы не знаете что сделает напарник.

С точки зрения каждого агента по отдельности, логика безжалостна. Что бы ни сделал второй, вам выгоднее предать. Если партнёр молчит — предательство даёт лучший личный исход. Если партнёр уже предал — предательство хотя бы не оставляет вас в худшем положении. Когда оба рассуждают так, оба предают — и оба оказываются в ситуации хуже, чем если бы молчали вместе.

Проще говоря: играя рационально, агенты пришли к иррациональному результату.

Такая точка в задаче называется равновесием Нэша. Ни один игрок не может улучшить свой результат, изменив только свой ход. Из равновесия взаимного предательства нельзя выйти в одиночку. Нужно, чтобы сдвинулись оба — а стимула сдвигаться нет.

Проблемы нашего времени

Дилемма заключённого — это проблема, с которой человечество сталкивается ежедневно.

Ядерная гонка

Самым очевидным примером является гонка вооружений между СССР и США. В 1949 году США обнаруживает, что у СССР появилась своя атомная бомба и американская монополия закончилась. Логично и рационально — если СССР наращивают вооружение, то мы должны ответить, чтобы не быть в проигрыше, чтобы быть сильнее. СССР руководствуется той же логикой.

В терминах дилеммы оба «предали»: оба построили арсеналы, способные уничтожить цивилизацию. Рациональность каждого агента по отдельности привела к исходу, который не нужен никому. Ошибка канала (ложный сигнал радара, сбой, недопонимание) при такой матрице выплат может запустить цепочку, из которой уже не выйти одним желанием мира.

В итоге оба агента достигли равновесия Нэша. Это состояние в истории назвали доктриной взаимного гарантированного уничтожения2. Ни одна сторона, будучи вооружённой, не может ни начать безнаказанно конфликт, ни разоружиться в одностороннем порядке.

Климат

Вредные выбросы в атмосферу продолжают расти. Однако сокращать производство в одиночку — значит нести издержки, пока другие пользуются общим ресурсом. И здесь также ситуация равновесия Нэша — заводы-агенты не могут в одностороннем порядке начать вести экологичную политику, не потеряв ресурсов.

Как итог глобально с каждым днём атмосфера загрязняется всё сильнее.

Гонка искусственного интеллекта

OpenAI, Google DeepMind и Anthropic публично признают риски систем сильнее человека, но ускоряют обучение. Anthropic в 2026 году отказалась от ключевого обязательства своей Политики ответственного масштабирования — останавливать разработку при недостаточных мерах безопасностих3. Действительно: если Anthropic остановится, а OpenAI и Google DeepMind продолжат, то Anthropic просто потерпит крах, глобально никак не повлияв на будущее.

Выигрыш от развития даёт необратимое доминирование. При коротком горизонте — классическое доминирование предательства в дилемме заключённого.

Повторяющаяся дилемма заключённого

Одноразовая дилемма объективно безнадёжна. Но в реальности агенты редко встречаются лишь единожды. Когда одни и те же агенты встречаются снова и снова, сегодняшний ход влияет на завтрашний ответ. Появляется тень будущего: ценность будущих раундов может перевесить соблазн предать сейчас.

Именно эту версию — повторяющуюся дилемму заключённого — в 1979 году взял Роберт Аксельрод. Он организовал компьютерный турнир 4. Теоретики игр, психологи, экономисты, политологи присылали программы: каждая — стратегия, которая на каждом ходу решает «сотрудничать» или «предать», глядя только на историю ходов соперника. Матч — 200 раундов. Стратегии играют каждая с каждой. Победитель определяется по сумме очков в общем зачёте.

Всего было 14 участников-стратегий + случайная стратегия от самого Аксельрода. Среди них были жёсткие и хитрые. Например:

  • Злопамятный (Friedman, Grudger): сотрудничай, пока тебя не предадут, потом предавай навсегда;
  • Joss: начни с сотрудничества, далее повторяй предыдущий ход соперника, но с определённой вероятностью предавай;
  • Tester: вначале прощупывает, можно ли эксплуатировать добрых, далее меняет ход стратегии на основании этой информации.

Победила самая простая из присланных — Tit-for-Tat, «око за око», стратегия Анатолия Рапопорта. Стратегия максимально примитивная: начни с сотрудничества; дальше повторяй последний ход противника.

Сверх того, важным наблюдением оказался состав верхней части таблицы: её заняли добрые стратегии — те, что никогда не предают первыми. Злопамятные и жадные набирали заметно меньше.

Но почему так получилось? Две добрые стратегии в паре почти весь матч играют C–C и стабильно получают большое число очков за раунд. Две хитрые часто врезаются друг в друга: цепочки D–D, иногда долгие войны — и минимум очков за раунд. В сумме по турниру те, кто умел мирно сосуществовать с себе подобными, обгоняли тех, кто пытался всех использовать.

Примечательно также, что TFT почти никогда не выигрывал отдельный матч у оппонента. Он либо играл вничью (взаимное сотрудничество), либо чуть проигрывал после одного чужого удара. И тем не менее выигрывал турнир.

| Стратегии в турнире не зависели от числа раундов в каждой встрече. Подумайте, какое это имело значение?

Вскоре после публикации результатов первого эксперимента, Аксельрод решил организовать второй турнир. В нём участников было уже больше шестидесяти. Все знали итог первого. Кто-то стал добрее, кто-то — коварнее. Появились хищнические стратегии вроде Тестера: прощупать, можно ли эксплуатировать добрых, и при необходимости отступить. Они успешно кусали наивных.

Однако, Аксельрод провёл эксперимент немного по другим правилам. Он запустил эволюционную симуляцию:

  • все стратегии турнира были представлены в популяции;
  • на каждом «поколении» стратегии случайным образом встречались друг с другом и играли в игры; чем больше очков набирала стратегия, тем больше «потомков» она оставляла в следующем поколении.

Оказалось, что доля стратегий в следующем поколении пропорциональна набранным очкам — агрессивные и «глупые» вымирали, а добрые росли. Стратегии, жившие за счёт эксплуатации добрых, уничтожали кормовую базу и сходили на нет. К поздним поколениям TFT и близкие к ней снова оказывались наверху.

Какова лучшая стратегия?

По окончанию двух турниров, Аксельрод выделил свойства стратегий, которые набирают большее число очков:

  1. Доброжелательность. Сильнейшие стратегии не предавали первыми. Пока другая стратегия сотрудничала — они сотрудничали.

  2. Самооборона. Сильнейшие стратегии отвечали на удар. Иначе хищники бы их съели. Стратегия «всегда сотрудничать» в турнире проигрывает именно поэтому: её обирают до нуля.

  3. Прощение. Лучшие стратегии возвращались к сотрудничеству после ответа. Иначе оба навсегда застревают во взаимном предательстве и теряют очки, которые могли бы набирать.

  4. Понятность. Соперник должен считывать логику. Сложная непрозрачная стратегия часто выглядит как шум; против случайного поведения выгоднее всего предавать. Сложносочинённые стратегии оказались внизу таблицы.

  5. Не завидуй. Как было подмечено ранее, добрый агент редко побеждает партнёра в матче. Однако, он лидирует в общем зачёте. Стратегии, заточенные на то, чтобы в каждой паре быть в плюсе относительно оппонента, часто разрушают сотрудничество и в итоге набирают меньше абсолютных очков. Показатель «число выигранных матчей» и показатель «сумма очков» расходятся — и для длинной игры важнее второй.

Одинокий агент обречён. Нужно сообщество

Если в мире, полном предателей, появляется один агент, действующий по принципу «око за око», он почти наверняка проигрывает по суммарным очкам. Почти все матчи проходят против предателей: один удар, ответ, дальше взаимное предательство. Очков мало.

Но если появляется небольшое сообщество добрых стратегий, которые чаще встречаются друг с другом, чем с предателями, картина меняется. Внутри сообщества они стабильно играют по принципу «сотрудничество-сотрудничество» и копят выигрыш. Снаружи не дают себя бесконечно обирать. При достаточной доле внутренних встреч сообщество может выжить и вырасти.

Сотрудничество не обязано рождаться у всех сразу. Оно может начаться локально — и оттуда распространиться. Это один из самых сильных результатов Аксельрода.

Тень будущего

При очень коротком матче (5–10 раундов) преимущество смещается к более жадным правилам: «завтра» почти не наказывает. При 100–200 раундах доброжелательные стратегии выходят наверх. Сотрудничество среди эгоистов работает только тогда, когда тень будущего и потенциальное будущее взаимодействие важнее сиюминутной выгоды.

Вы можете провести собственные эксперименты по правилам Аксельрода, достаточно воспользоваться моим проектом.

Что делать сейчас?

К сожалению, проблемы, описанные выше, не решить так просто. Однако эксперименты Аксельрода и выводы из его результатов позволяют нащупать те ручки, за которые следует крутить, чтобы улучшить наше положение.

Ядерная гонка

После Карибского кризиса появилась прямая линия связи между Москвой и Вашингтоном — чтобы ложный сигнал тревоги не приводил к необратимой войне. Ряд договоров создал ту самую тень будущего: сегодняшние уступки ведут к ответным уступкам завтра. Инспекции на местах, спутниковая разведка и обмен данными сделали нарушение заметным — скрыть развёртывание ракет невозможно. Ответные меры (выход из договора, развёртывание дополнительных систем, санкции) делают нарушение наказуемым, но не требуют немедленного удара. Пока проверка работает и стороны верят в продолжение переговоров, взаимное ограничение выгоднее бесконечной гонки. Когда горизонт сжимается — логика снова смещается в сторону нарушения.

Итак, решением в этой ситуации является искусственное создание тени будущего, чтобы развить среду для кооперации.

Климат

Для решения этой проблемы предпринималось множество мер, рассмотрим лишь одну в качестве примера.

Европейская система торговли выбросами (EU ETS) 5 работает так: компаниям выдаются квоты на выбросы углекислого газа. Если компания выбрасывает меньше квоты — она продаёт излишки. Если больше — покупает недостающее у других. Цена квоты делает выбросы платными. Нарушение (выброс без квоты) фиксируется — это делает его заметным и наказуемым.

Результат: EU ETS снизила выбросы в энергетике и промышленности ЕС на 47% с 2005 по 2023 год. Это не решило проблему климата глобально, но замедлило рост выбросов в секторах, где нарушение стало дорогим и заметным.

Локальные изменения, как было показано ранее, благотворно влияют на картину в целом. И вновь мы видим, что подобная динамика была достигнута путём создания тени будущего.

Гонка искусственного интеллекта

Гонка искусственного интеллекта — это, вероятно, самая опасная игра с почти одноразовым ходом. Тот, кто первым создаст систему, «превосходящую» человека, получает решающее преимущество. Проигравший догнать уже не сможет. В такой ситуации теория игр не даёт утешительных ответов: предательство (скрытый рывок, отказ от пауз, сокрытие прорывов) становится единственным рациональным выбором.

Что может изменить эту логику?

Первое — открытость. Нужно, чтобы ходы агентов были видны: какие вычислительные мощности задействованы, какие пороговые значения достигнуты, какие инциденты произошли. Если лаборатория скрывает свой прогресс, партнёры не могут ни доверять, ни проверять.

Второе — длительная перспектива. Нужны постоянные переговоры регуляторов и лабораторий с реальными наказаниями за нарушения. Ограничение доступа к вычислительным мощностям, к рынку, к государственным заказам — это делает предательство дорогим. Если нарушитель знает, что завтра его накажут, он дважды подумает перед рывком. Тень будущего должна быть важнее сиюминутного предательства.

Пока завтрашний раунд не наступил, а выигрыш от нарушения огромен, равновесие остаётся. Сдвиг возможен только через наказания и наблюдаемость. И вновь главным фактором является наличие тени будущего.

Выводы

Сотрудничество возникает там, где существует завтрашний день. Получается, что самая правильная стратегия на жизнь в мире эгоистов невероятно проста. Начни с сотрудничества. Не дай себя обидеть. Умей прощать. Держись единомышленников.

Игра, в которой есть завтра — всё дальше от равновесия.

Footnotes

  1. Дилемма заключённого — Википедия ↩

  2. Взаимное гарантированное уничтожение — Википедия ↩

  3. Anthropic сняла запрет на обучение опасных моделей на фоне давления Пентагона — Хабр ↩

  4. Axelrod’s Tournament — Стендфордский университет ↩

  5. About the EU ETS — Официальный сайт ЕС ↩