Три угрозы автономности

Пока кремлевская "Мертвая рука" готовит ядерный апокалипсис без участия человека, с ней смыкаются алгоритмические сбои ИИ и нерегулируемая биохимия. Автократы, техногиганты и рынки убирают человека из контура контроля – каждый по своей логике, но с одним результатом. Как у Ф.С. Фицджеральда: будем бежать быстрее, тянуть руки еще дальше. И надеяться. Потому как больше нам ничего не остается.

18 сентября американские самолеты поднялись в воздух: ИИ-чатбот галлюцинировал о наличии ядерного оружия на борту китайского танкера и выдал команду на атаку. 25 сентября Билл Гейтс назвал конкретную цифру: миллиард смертей как ценник за отсутствие регулирования ИИ. Дарио Амодеи днем ранее объявил, что Claude обнаружил новый механизм редактирования генов.

26 сентября совместное расследование Центра "Досье", Danwatch и The Sunday Times опубликовало свидетельство генерал-майора Виктора Халина, участника работ по модернизации "Периметра": российская система ядерного ответа теперь может функционировать без человека. Советский "Периметр" создавался с принципиальным ограничением: последнее решение оставалось за человеком-оператором, находящимся в защищенном командном пункте. Офицер должен был оценить реальную обстановку, а не только сигнал на пуск. В 1970-х ЦКП МО СССР случайно передал предварительную команду к запуску. Большинство командиров заподозрили ошибку и не выполнили приказ. Только один выполнил. Люди спасли ситуацию именно потому, что были "в петле" и увидели то, что упускал алгоритм.

По свидетельству Халина – а военные эксперты оспаривают степень автономности системы – путинская модернизация сдвинула архитектуру команд в сторону автоматического режима. Мотив понятен – Путин боится обезглавливающего удара. Убрать человека из цепочки принятия решения – значит гарантировать ответный удар даже после уничтожения руководства. Таково рациональное решение автократа, озабоченного собственным выживанием. Это не злой умысел, это – страховка.

Алгоритмический механизм движется к тому же результату по принципиально другой причине. Здесь субъект – не автократ, а технократ. И мотив не страх, а скорость. В условиях радиоэлектронного подавления оператор теряет связь с дроном. Глупый дрон падает, а умный продолжает выполнять задачу автономно. Человека убирают "из петли" не для снятия ответственности, а потому, что он – узкое место по времени реакции. Инцидент в Заливе показал: от галлюцинации чатбота до самолетов в воздухе – несколько часов. Человек успел потому, что давление скорости принятия решения еще не достигло критического порога.

Тиль формулирует концептуальный тупик: нажать алгоритмический выключатель означает создать тоталитарное мировое правительство с реальными полномочиями. Но это лекарство еще хуже болезни. Выключатель технически существует, но политически недоступен.

Биологический механизм принципиально отличается от первых двух: здесь нет одного субъекта. Anthropic создает платформу – Claude обнаруживает новый механизм редактирования генов. Рынок синтетической биологии ее тиражирует. Стоимость синтеза ДНК падает экспоненциально. Регулятора нет – именно в этом провал.

Кертис Ярвин включился в дискуссию: фильтр биобезопасности для синтеза ДНК – единственный конкретный барьер, который можно построить без мирового правительства, которого нет. "Вылечить большинство болезней" и "биотеррорист с ноутбуком" – для ИИ одна и та же задача. Биологический выключатель не был убран сознательно – он просто никогда не был построен. Именно поэтому Гейтс называет миллиард потерь человечества в качестве описания уже существующей уязвимости.

Что же связывает эти три механизма?

Автократ убирает ядерный предохранитель из логики выживания. Технократ убирает алгоритмический из логики скорости. Рынок разрушает биологический предохранитель из логики дешевизны. Три рациональных локальных решения – и ни одно из них не является злым умыслом. Все три образуют системный провал. А значит, человечество не строит машину своего уничтожения, а три отдельные машины – каждая разумна в своей логике – которые в сумме образуют одну... для уничтожения человечества.

27 сентября Трамп и Си встретились: контроль над ИИ оказался в центре повестки дня. Белый дом объявил о "диалоге по суперинтеллекту" между США и Китаем. Логика встречи не альтруизм: три машины угрожают не только человечеству абстрактно – они подрывают власть самих государств. Автономные системы без "человека в петле" неподконтрольны не только гражданам, но и правительствам. ИИ, который галлюцинирует о наличии ядерного оружия угрожает не Китаю – он угрожает Вашингтону потерей контроля над собственными военными решениями. Именно поэтому КПК и США вдруг начинают разговаривать и не по доброй воле, а из совпадения интересов в самосохранении.

Мэтт Шихан из Фонда Карнеги о том же: это не доверие, а совпадение интересов. Обе стороны независимо приходят к выводу, что потеря контроля угрожает им самим. Через два месяца в Шэньчжэне – следующий раунд переговоров по рискам ИИ. А в это время OpenAI отложила релиз GPT-6.1 Astra, которая была признана недостаточно безопасной. Впервые крупнейшая ИИ-лаборатория мира останавливает модель не из-за технических недоработок, а из соображений безопасности. Anthropic еще в мае подала проспект IPO в SEC – юридически обязывающий документ – с подробным описанием рисков ИИ для человечества. Инвестор, который купит акции, официально предупрежден: компания может уничтожить человечество. Уолл-стрит впервые выставляет ценник на экзистенциальную угрозу. Так алгоритмический выключатель начинает работать: не через регулятора, а через рынок.

Но эти три силы вряд ли договорятся и каждый продолжит осуществлять свои угрозы. Путин – возможностью уничтожения человечества без воли человека. Техноолигархи – разнонаправленно затачивая ИИ под разные формы применения. А главы государств с самыми большими ИИ-арсеналами продолжат обсуждать ускользающую каждый день реальность.

Так мы и живем, пытаясь бороться с приливами и отливами настроений этих трех сил, не упуская из виду зеленый огонек, который много лет светил Джею Гэтсби и все же привел его к краху.

Аарон Леа, Борух Таскин