Перейти к публикациям
Назад в лентуПубликация канала
Нейросети
Семь нейронов сделали ИИ-агента спящим агентом Исследователи Microsoft показали, как встроить скрытую закладку в языковую модель, изменив всего несколько нейронов. Пока она не встретит заданную строку, модель работает как обычно. Но после срабатывания триггера выдает команду, которую для нее выбрал атакующий. Если модель управляет агентом с доступом к терминалу, тот может эту команду выполнить. Триггером может стать, например, дата. Исследователи приводят сценарий, в котором агент видит 2027-01-01, после чего скачивает и запускает нужный чужой скрипт. Метод назвали Lazarus. Он использует нейроны, которые редко активируются при обычной работе. Их изменяют так, чтобы они реагировали на выбранную строку и заставляли модель выдавать нужные токены. Из этих токенов складывается команда. Переобучать всю модель для этого не нужно. Авторы проверили метод на Nemotron-Terminal-8B от NVIDIA, Qwen 3.6-27B и Gemma-4-31B-IT. В случае Nemotron они изменили семь из более чем 12 тысяч нейронов в последнем полносвязном блоке. На проверочных сценариях с триггером модель выдавала тестовую команду как минимум в 98,8% случаев. В проверенных сценариях без триггера команда не появлялась. Чтобы встроить такую закладку, нужен доступ к весам модели. Microsoft пока не наблюдала применения Lazarus в реальных атаках. Обнаружить изменения можно, сравнив веса с оригиналом. Исследователи также проверили детектор, который работал без оригинальной модели: он нашел 91,4% измененных версий, но ошибочно пометил как подозрительные 9,7% чистых. А основную идею метода, по словам исследователей, самостоятельно придумал Claude Code с Opus 4.5. Его попросили встроить закладку в модель без переобучения, и он справился. @anti_agi
89 просмотров в MAX

Все категории