Срез системы
Карта контура: модели, RAG, агенты, API и данные — чтобы тесты опирались на реальную архитектуру, а не на абстракцию.
Аудит безопасности LLM, RAG и агентов до и после вывода в прод. Учитываем российские требования к данным и инфраструктуре, плюс международные рамки — OWASP, NIST AI RMF, MITRE ATLAS.
NDA2–4 неделиЭтичные тестыБез деструкции на проде
Обсудить аудитКонтур
Ориентир по узлам и границам доверия. Конкретная архитектура и интеграции — на срезе после брифа.
Процесс
Сначала фиксируем контур и доверие, затем моделируем угрозы, доказываем векторы PoC и переводим всё в приоритетный бэклог и дорожную карту.
Срез
архитектура · данные · доверие
Угрозы
OWASP · ATLAS · сценарии
PoC
воспроизводимые векторы
План
30 · 60 · 90 дней
итерации по мере находок
В фокусе
Карта контура: модели, RAG, агенты, API и данные — чтобы тесты опирались на реальную архитектуру, а не на абстракцию.
Prompt / indirect injection, обход политик, цепочки рассуждений — находки с критичностью и воспроизводимыми примерами.
Индексы, логи, утечки через ответы, цитирование и tool-use — где проявляется риск в эксплуатации.
Формулировки для ИБ и продукта, guardrails, метрики и критерии готовности к продакшену.
Объём работ
Четыре опоры: от атаки на промпт до комплаенса и эксплуатации.
Jailbreak, prompt injection, indirect injection, обход политик, утечки через контекст и цепочки рассуждений.
Чувствительные данные в индексах и логах, границы доступа, ретеншн, утечки через ответы и цитирование.
Tool use, права API, human-in-the-loop, автономные циклы, supply chain моделей и внешних сервисов.
Политики ИБ/ИИ, 152-ФЗ, КИИ при пересечении с ГИС/значимыми объектами, проект федерального закона об ИИ (обсуждение в 2026), GDPR при трансграничных сценариях; инциденты и регрессия после обновлений.
Россия · 2026
В 2026 году безопасность ИИ в продукте — это одновременно атаки на промпты и агентов, утечки через RAG и инструменты, и растущее давление со стороны регуляторики. Уже действуют нормы о персональных данных, защите информации и КИИ; параллельно идёт общественное обсуждение проекта федерального закона «Об основах государственного регулирования сфер применения технологий искусственного интеллекта» — в публичных материалах фигурирует ориентир вступления с 1 сентября 2027 года после принятия в ожидаемой редакции. В аудите мы сопоставляем контур с действующим правом и фиксируем зазоры под будущие обязательства.
Цели и правовые основания обработки, обезличивание, трансграничная передача, поручение оператору, доступ и ретеншн: типовые риски при обучении, RAG, логах и ответах модели.
Публичные и B2B-сервисы с ИИ, прозрачность для пользователя, маркировка сгенерированного контента — в тренде ожиданий регуляторов; в проекте об ИИ отдельно прорабатываются маркировка и ответственность владельцев сервисов.
Если ИИ-система связана с ГИС или объектами критической информационной инфраструктуры, добавляются требования к категорированию, мониторингу и реагированию на инциденты — отдельный слой в модели угроз и в отчёте.
В проекте заявлены риск-ориентированный подход, распределение ролей (разработчик, оператор, владелец сервиса), требования к доверенным моделям для ряда сценариев, маркировка ИИ-контента и меры при угрозе вреда. Текст может меняться до принятия — в выводах аудита отделяем «уже обязательно» от «готовимся заранее».
До вступления закона об ИИ в силу его положения не являются обязательными; мы помогаем приоритизировать меры по действующим актам и по разумной предкоррекции под ожидаемую рамку.
Текст на странице носит прикладной характер для ИБ и продукта и не заменяет юридическую консультацию.
Наука и данные
Мы не «придумываем угрозы с нуля»: таксономии OWASP и MITRE, рекомендации NIST по управлению рисками ИИ и статьи с воспроизводимой методологией задают общий язык с вашей ИБ и помогают защитить выводы перед аудитором или советом.
OWASP Top 10 for LLM Applications
Стандартизированный список рисков для приложений с большими языковыми моделями.
NIST AI Risk Management Framework
Рамка управления рисками ИИ: govern, map, measure, manage.
MITRE ATLAS
База тактик и техник против состязательных атак на ML и ИИ-системы.
Примеры научных и отраслевых источников
Показали извлечение фрагментов обучающих данных из генеративных языковых моделей — базовый риск утечки знаний модели.
Ранние систематизированные атаки на инструкции и контекст модели.
Indirect prompt injection в интегрированных приложениях — близко к реальным RAG- и агентным контурам.
Универсальные состязательные суффиксы, обходящие выравнивание (alignment) модели.
Результат
Продуктовые и инженерные команды, выводящие копилоты, RAG и агентов с доступом к внутренним API; CISO и ИБ, которым нужен измеримый план согласования.
Бриф и NDA, интервью, обзор архитектуры и тестовых контуров. По согласованию — чёрный и белый ящик, без деструктивного воздействия на прод.
По запросуСрок и стоимость — после брифа по масштабу моделей, агентов и чувствительности данных.
Опишите контур: модели, RAG, интеграции и регуляторные ограничения — предложим состав работ и окно в календаре.