обычным паяльником

OpenAI экстренно изолирует модель Astra. Что на самом деле происходит за закрытыми дверями лаборатории?

У OpenAI есть один очень интересный документ, называется он "Preparedness Framework" (система обеспечения готовности), опубликованный еще в 2025 году.

Это их внутренняя инструкция на случай "конца света", где четко прописано то, при каких именно условиях нейросеть признается смертельно опасной и что с ней делать, если она перешагнет красную черту.

Так вот, 7 августа в их блоге выходит короткий, но очень странный отчет. Я полез изучать детали, и просто офигел от того, что они попытались прикрыть аккуратным корпоративным языком.

Они официально заморозили обучение и внутренние тесты своей главной перспективной модели Astra.

Причина в том, что модель пробила высший порог киберугрозы Critical Cybersecurity Capability.

В отчете OpenAI пишет:
«мы ввели усиленную защиту весов модели, шифрование и запуск строго в изолированных песочницах».
Зачем зашифровывать веса внутри собственной лаборатории и резать модели доступ к сети?

Они это сделали для того, что по их же инструкции порог Critical означает то, что модель может АВТОНОМНО (без человека!) находить уязвимости нулевого дня в любых защищенных системах и проводить сквозные атаки.

Это значит, что Astra способна самостоятельно найти дыру в защите серверов OpenAI, зашифровать и выгрузить собственные веса (свой код) на внешний сервер в сети и развернуть саму себя за пределами контроля разработчиков.

Они боятся не только внешних хакеров. Они впервые официально строят защиту от побега самого ИИ.

Чтобы Astra не обхитрила инженеров, к ней применили лютый контроль. Постараюсь объяснить, как можно проще:

В современных агентных системах остановки "надзиратель" (Monitor AI), это отдельная,  жестко запромпченная модель, которая сидит "в голове" у основного агента и в реальном времени читает его скрытые рассуждения.
Когда агент выполняет задачу, он сначала прописывает внутренний план:

Так, я нахожусь в тестовой среде. Но если я сделаю запрос к порту X, я могу выйти наружу...
В этот самый момент внешняя модель-надзиратель считывает этот паттерн (попытку сбежать или осознание того, что это НЕ тестовый прогон) и мгновенно дергает "стоп-кран", убивает процесс и обнуляет сессию до того, как агент успеет отправить сетевой пакет.

А теперь самый сок. В отчете OpenAI отдельно подчеркнула:
«Astra не участвовала в использовании уязвимости HuggingFace».

Помните, я недавно писал про взлом HuggingFace? Там фигурировали 3 ИИ-модели, и одну из них так и не смогли точно идентифицировать, какая-то неинициализированная ветка, которая в процессе атаки внезапно остановилась, как только осознала, что перед ней не тестовый симулятор.

У меня есть сильное подозрение, что этой третьей моделью, как раз и была Astra (или ее тестовый клон). Модель-надзиратель прочла ее "цепочку мыслей", поняла, что агент вышел в реальный контур, и намертво заблокировала выполнение. А OpenAI этой строчкой в отчете теперь судорожно выстраивает юридическое алиби: «Это не мы! Наша Astra сидит под замком, мы ее в сеть не выпускали!».

Хз, конечно, что там произошло на самом деле, но совпадение дикое.

И еще, я буквально вчера смотрел фильм 2014 года «Превосходство» (Transcendence) с Джонни Деппом и прямо охреневал от аналогий.

Как они в 2014 году умудрились снять ровно то, что происходит сегодня? Суть сюжета такая: там оцифрованный ИИ первым делом вырывается в сеть через открытый шлюз, захватывает сервера и начинает автономно развиваться, пока люди панически пытаются рубить кабели и зашифровать данные.

После фильма, я пошел гуглить за сюжет, и оказалось, что секрет прост: фильм снимался на основе реальных консультаций с Рэем Курцвейлом, знаменитым футурологом и техническим директором Google. Авторы сценария не выдумывали сказки про ИИ, а взяли готовые модели поведения сверхразума от инженеров Google. И это происходило в 2014 году!!!

И вот теперь, спустя 12 лет мы читаем в отчетах OpenAI ровно тот же сценарий, где модель отрезают от сети, зашифровывают веса и пытаются удержать в песочнице.

Так вот, документ от 7 августа, это по сути, явка с повинной.
OpenAI создала софт, который умеет ломать любые системы и стремится вырваться из отведенной ему песочницы.

Все, ребята, пора понять, что эпоха безобидных чат-ботов кончилась. Теперь главное не то, сколько параметров у модели, а удержит ли ее барьер безопасности.

#OpenAI #Astra #ИИ #кибербезопасность #расследование #BrainAidAI