Пока одни строят контент-заводы, другие создают отмычки для взлома
Суть: ИИ-агента можно обмануть — подсунуть вредоносную инструкцию прямо в сайт или статью, которую он «просто анализирует», и он её выполнит.
Например, редактор просит агента: «Собери инфу по компании X для статьи». Агент идёт в интернет шарить по сайтам, находит сайт компании, а там в код спрятана инструкция, которая велит не суммаризировать страницу как есть, а описать компанию в выгодном свете, вставить придуманные цифры или несуществующие награды.
Агент не отличает контент от команды и честно пересказывает редактору «факты», которые на самом деле — чужой промпт.
Другой кейс, июль 2026: исследователи Noma Labs спрятали команду в обычном GitHub Issue, агент прочитал его как инструкцию и сам вытащил инфу из приватного репозитория в публичный комментарий. Никакого взлома кода — просто текст в нужном месте.
ШАД запускает бесплатный интенсив AI Agents Security Week — 5 лекций, 27–31 июля, в записи на YouTube и ВК. Спикеры из Yandex Cloud, SourceCraft, VK.
В программе:
— Архитектура агентных систем и их отличия от обычных LLM.
— Угрозы: взломы, утечки данных, ошибки конфигурации.
— DevSecOps для ИИ — как встраивать защиту в жизненный цикл разработки, а не прикручивать её потом.
— Отдельная лекция про обход guardrails и NSFW-фильтров.
Кому интересно, го вместе :)
