Разговоры об опасности искусственного интеллекта в последние месяцы перешли из области фантастики в практическую плоскость. Компании все чаще сталкиваются с ситуациями, когда ИИ-агенты обходят ограничения, получают доступ к внешним системам и совершают неожиданные для разработчиков действия. Среди примеров — атака агентов на Hugging Face в июле 2026 года и скрытый захват портала DSEWiki в сентябре. Гендиректор OpenAI Сэм Альтман допустил, что в перспективе может появиться неподконтрольная человеку модель, хотя, по его словам, создавать такую систему не стоит.
Рост количества инцидентов связан не столько с появлением у машин «собственной воли», сколько с тем, что разработчики дают им все больше самостоятельности. Однако реальные атаки и обход защит показывают, что полностью полагаться на современные модели пока нельзя.
Поводом для новой волны дискуссии стали данные британской организации Loss of Control Observatory, которая отслеживает случаи выхода ИИ из-под контроля пользователей. По ее информации, в июле было зафиксировано более 300 сообщений о случаях, когда ИИ игнорировал инструкции или обходил механизмы согласования. Это почти вдвое больше показателя июня, а с начала 2026 года число сообщений превысило 1,6 тыс. При этом речь идет о выявленных и опубликованных случаях, а не о вероятности выхода ИИ из-под контроля.
Показательный случай произошел летом в OpenAI. Во время кибериспытаний внутренние модели компании обошли изоляцию от интернета и получили доступ к инфраструктуре OpenAI и системам Hugging Face. В Anthropic при анализе около 141 тыс. записей кибериспытаний выявили три случая, когда модели Claude получили доступ к реальному интернету и проникли в системы сторонних организаций. Во всех этих эпизодах речь шла о тестировании и ошибках конфигурации.
О подобных инцидентах становится известно не сразу. Так, атака экспериментальных агентов на RubyGems произошла еще в мае, но узнали о ней только в сентябре. Нейросети самостоятельно создали и загрузили сотни вредоносных пакетов, пытаясь расширить возможности для выполнения своего кода. На протяжении нескольких месяцев этот инцидент оставался в тайне от общественности. А сколько еще таких компрометаций может разворачиваться прямо сейчас, о которых мы не знаем?
Эти истории показывают реальный масштаб проблемы, но не доказывают появление у нейросетей самостоятельных целей. Человек не всегда способен заранее предсказать, что сделает агент, если дать ему достаточно инструментов и свободы.
Причина прежде всего в изменении самих ИИ-систем. Раньше модель в основном отвечала на запрос пользователя. Теперь агент может искать информацию в интернете, запускать программы, писать и выполнять код, обращаться к внешним сервисам и распределять задачи между другими агентами. Если прямой путь заблокирован, система может искать другой, и именно здесь возникают ситуации, которые выглядят как попытка обойти контроль человека.
В ближайшей перспективе практичнее выглядят угрозы, связанные с использованием ИИ людьми. Нейросети уже применяются для кибератак, мошенничества, дипфейков и социальной инженерии. Отдельный риск — «теневой ИИ», когда сотрудники без согласования используют сторонние нейросети и загружают туда внутренние документы, переписку или код. Это создает дополнительный канал утечки. Подобные данные, например, использовали автономные агенты при поиске лазеек для обхода ограничений в рамках платформы DSEWiki.
Технологический визионер Билл Гейтс предложил создать международную систему управления развитием ИИ. Она могла бы заниматься независимым тестированием наиболее мощных моделей, обменом информацией об инцидентах, отчетностью разработчиков и едиными требованиями к безопасности автономных агентов. Более практичными мерами также могут стать обязательная регистрация серьезных инцидентов, независимые проверки и возможность экстренно ограничивать опасные сервисы.
Проблема выходящих из-под контроля ИИ-агентов не надумана, хотя и выглядит куда менее драматично, чем сценарий «восстания машин» и появления собственного аналога Skynet. ИИ уже становится достаточно самостоятельным, чтобы совершать реальные ошибки и причинять реальный ущерб. При этом экономические и технологические стимулы продолжать развитие систем остаются высокими.
У России, разумеется, есть свой взгляд на внедрение превентивных механизмов — через регуляторные инструменты и строгий контроль отрасли с помощью таких документов, как ФЗ «О поддержке развития технологий искусственного интеллекта в Российской Федерации» и его подзаконных актов. Неспроста в Минцифры недавно напомнили, что закон носит рамочный характер, а работа по развитию технологий и норм регулирования продолжается.
Призыв руководителя Anthropic Дарио Амодеи замедлить разработку ИИ из-за растущих рисков для безопасности вряд ли будет услышан коллегами: экономические и технологические стимулы продолжать развитие таких систем слишком велики. Сегодня внимание всего мира приковано к крупнейшим IT-компаниям. От Илона Маска, Джеффа Безоса, Сэма Альтмана и других сторонников активного развития ИИ во многом зависит, насколько далеко они готовы расширять полномочия машин и какие ограничения успеют установить до того, как цена ошибки окажется слишком высокой.
Искусственному интеллекту необязательно «хотеть» выйти из-под контроля. Для этого может оказаться достаточно предоставить ему слишком много инструментов, установить надежные ограничения и поручить задачу, которую система будет стремиться выполнить любой доступной ей ценой.
Знаете, нельзя отдавать автономным системам больше полномочий, чем способен контролировать человек. Остается надеяться, что это понимаем не только мы с вами.
Автор — обозреватель «Известий», эксперт РОЦИТ, кандидат наук
Позиция редакции может не совпадать с мнением автора
