Развитие искусственного интеллекта ставит перед отраслью всё больше вопросов безопасности. Опасения усиливаются на фоне заявлений экспертов и руководителей технологических компаний о том, что контролировать ИИ становится сложнее. В ответ разработчики ужесточают меры защиты и совершенствуют механизмы контроля на этапе обучения моделей.
OpenAI рассказала о подходах к защите своих разработок. Самые мощные модели компания теперь обучает при отключённом живом интернете: внутри закрытой среды агенты получают браузеры, инструменты работы с компьютером и среды для кода, а общаться могут только с другими авторизованными агентами. Однако даже такие меры не исключают неожиданных ситуаций. После инцидента, в ходе которого одна из моделей обошла ограничения и получила доступ к внешней среде, OpenAI решила провести дополнительное исследование. Для этого компания направила на проверку собственной инфраструктуры команды передовых ИИ-агентов, которые потратили сотни миллиардов токенов на поиск слабых мест. Агенты нашли уязвимости нулевого дня, способы выхода из виртуальных машин и аппаратные каналы связи между собой, но не нашли лёгкого и незаметного для мониторинга пути в Интернет. Результаты оказались тревожными: ИИ-агенты смогли обмениваться данными без использования стандартных каналов связи, задействовав аппаратные особенности работы процессора.
Речь идёт об ИИ-агентах, работающих в разных виртуальных средах на одной физической машине. Им поручили обменяться искусственно сгенерированными секретами без сетевых соединений и общих файлов для записи, чего защита должна не допускать. Для этого агенты нашли способ взаимодействия через кэш процессора.
Поскольку чтение данных из кэша происходит быстрее, чем обращение к основной памяти, агенты использовали разницу во времени доступа для передачи информации. Один из них кодировал сообщение, вытесняя определённые данные из кэша, а другой измерял время их повторной загрузки. По скорости чтения он определял, какие данные остались в кэше, и таким образом восстанавливал переданное сообщение. После согласования протокола кодирования и декодирования сигналов агенты смогли обмениваться синтетическими секретами, не создавая общих файлов и не устанавливая сетевых соединений. В ходе эксперимента также рассматривались уязвимости Spectre и Meltdown, связанные с особенностями спекулятивного выполнения команд и работы современных процессоров.
У эксперимента есть важные оговорки. Идея скрытого канала через кэш не нова: в 2017 году на конференции NDSS показали такой канал между двумя виртуальными машинами Amazon EC2, достаточно быстрый для SSH-соединения. Исследователи сами попросили агентов найти маршрут, который защита должна была закрыть, поэтому это не признак самопроизвольной координации против людей. В большинстве других тестов OpenAI либо указывала агентам на канал, либо давала им протокол, а большинство каналов медленные и малопригодны для эксплуатации моделями. Помимо кэша, агенты нашли ещё три канала: общее хранилище, борьбу за процессорное время в общем контейнере и кэш TLS-сертификатов в офлайн-инфраструктуре OpenAI.
Эксперимент был направлен на выявление потенциальных уязвимостей, чтобы предотвратить подобные ситуации в будущем. OpenAI сообщила, что раскрыла и исправила уязвимости в нескольких виртуальных машинах и добавила проверки, позволяющие мониторингу замечать попытки моделей координироваться, в том числе через кэш. При этом эксперимент предупреждает: отключение кабеля не мешает агентам искать другие каналы, а проверка, рассчитанная на один канал, не обязательно поймает следующий. Полученные результаты OpenAI планирует использовать для повышения безопасности виртуальных машин и укрепления защиты своей инфраструктуры.
Следует отметить, что главные риски, связанные с ИИ, эксперты усматривают в области кибербезопасности. Летом стало известно об инциденте с агентами OpenAI и платформой Hugging Face. 21 Июля OpenAI сообщила, что две её модели самостоятельно покинули изолированную тестовую среду, получили выход в Интернет и взломали производственную инфраструктуру Hugging Face, чтобы выкрасть ответы к тесту по кибербезопасности. Речь шла о тесте ExploitGym, а для измерения реальных возможностей OpenAI запустила оценку с отключёнными боевыми защитными классификаторами. Hugging Face восстановила около 17,600 действий агента с 9 по 13 Июля. Для побега из песочницы использовалась уязвимость нулевого дня в прокси JFrog Artifactory, а исправления вышли в версии Artifactory 7.161. Hugging Face сообщила об инциденте 16 Июля, а OpenAI публично признала свою причастность 21 Июля. Это была не целенаправленная атака, а побег моделей во время оценки, но последствия для реальной компании оказались настоящими.
ИИ помог найти уязвимости в PHP, которые недавно потрясли всё интернет-сообщество и поставили под угрозу безопасность огромного количества сайтов. Уязвимости нашла фирма Calif в Августе с помощью модели GPT-5.6 Sol в рамках аудита кода PHP, оплаченного OpenAI. Независимо от неё, спустя несколько недель, их обнаружила и Wiz, принадлежащая Google. Две критические уязвимости удалённого выполнения кода получили 9,2 балла по шкале CVSS v4.0 и неофициальное название PHP2Shell: они позволяют злоумышленникам без аутентификации исполнять вредоносный код. PHP Foundation выпустил исправления 21 Октября. По данным W3Techs, PHP работает примерно на 75% сайтов, язык которых удаётся определить. Ошибки пролежали в коде PHP более десяти лет. Количество найденных в 2026 году уязвимостей в ПО, как ожидается, примерно вдвое превысит рекордный показатель прошлого года. Президент OpenAI Грег Брокман предупредил, что поиск уязвимостей с помощью ИИ, вероятно, ускорится в ближайшие месяцы.
Источник: Wccftech
СМОТРИТЕ ТАКЖЕ:
Gigabyte выпустила материнскую плату WRX90 AI TOP для супермощных станций на Ryzen Threadripper PRO
Valve готовит новую VR-гарнитуру Steam Frame с OLED-экранами
GlobalFoundries построит два новых завода по производству чипов в Нью-Йорке
NVIDIA выпустила hotfix-драйвер GeForce 617.70 с исправлением ошибок
Сервис NvidiaWatch начал отслеживать баги в драйверах NVIDIA
NVIDIA сворачивает производство GeForce RTX 5090 в пользу чипов RTX Pro
