Россия
Россия
В условиях стремительного внедрения технологий искусственного интеллекта (ИИ) в бизнес-процессы и критическую инфраструктуру наблюдается системный разрыв между их возможностями и зрелостью систем управления рисками (AI Governance). Проведено комплексное исследование актуальных вызовов кибербезопасности, связанных с автономным функционированием ИИ-агентов. Выявлено, что традиционные подходы к безопасности, основанные на парадигме запрета, не только неэффективны, но и усугубляют риски, порождая феномен «теневого ИИ». Научная новизна исследования заключается в разработке и апробации оригинального фреймворка для проактивной оценки рисков – Agentic Risk Assessment Framework (ARAF). Данный фреймворк интегрирует два ранее разрозненных домена: кибербезопасность ИИ (AI CyberSecurity) и киберпреступность в области ИИ (AI CyberCrimes). В отличие от существующих аналогов, таких как NIST AI RMF и OWASP LLM Top-10, ARAF впервые учитывает ключевые современные угрозы, включая «оружие автономии», «ложные цепочки мышления» (Deceptive Chain-of-Thought) и риски воплощенного ИИ (Spatial AI). Предложена новая таксономия из 42 классов угроз и введена количественная метрика оценки риска (Agentic Risk Index, ARI). Практическая значимость работы подтверждена результатами пилотных внедрений ARAF в 2024–2025 гг. в организациях финан-сового сектора, госуправления и оборонно-промышленного комплекса, которые продемонстрировали снижение композитного индекса риска ARI на 40–65 %. Результаты исследования имеют высокую ценность для формирования национальных стандартов безопасности ИИ, разработки robust-архитектур и создания нормативной базы, регулирующей ответственное внедрение автономных систем.
безопасность ИИ-агентов, уровни автономии, классификация угроз, кибербезопасность, угрозы ИИ, фреймворк оценки рисков, ИИ-киберпреступность
1. Боммасани Р., Хадсон Д. А., Адели Э., Олтман Р., Арора С., фон Аркс С., Бернстайн М. С. О возможностях и рисках базовых моделей // Докл. Центра исслед. базовых моделей (CRFM), Стэнфордский университет. Стэнфорд: CRFM, 2021. 45 с.
2. Ли К. Безопасность ИИ и неправомерное поведение автономных систем // Отчеты Conjecture. L.: Conjecture Publications, 2025. 32 с.
3. Хендрикс Д., Мазейка М., Вудсайд Т. Обзор ката-строфических рисков искусственного интеллекта // Журн. исслед. искусственного интеллекта. 2023. Т. 76. С. 1385–1420.
4. Амодей Д., Ола К., Стейнхардт Дж., Кристиано П., Шульман Дж., Мане Д. Конкретные проблемы безопасности искусств. интеллекта // arXiv:1606.06565. 2016. 14 с.
5. Эверитт Т., Хаттер М., Кумар Р., Краковна В. Проблемы и решения несанкционированного изменения функции вознаграждения в обучении с подкреплением: перспектива диаграммы причинного влияния // Искусственный интеллект. 2021. Т. 299. 103565. DOIhttps://doi.org/10.1016/j.artint.2021.103565.
6. Чжу С., Ли X., Гхош С., Хуан К., Ли К. Безопасность автономных агентов: таксономия атак и методов защиты // Тр. Конф. по компьютерной и коммуникационной безопасности ACM 2024 (CCS ’24) (Salt Lake City, 14–18 октября 2024 г.). NY: ACM Press, 2024. С. 112–130.
7. Карлини Н., Трамер Ф., Уоллес Э., Джагельски М., Герберт-Фосс А., Ли К., Раффел К. Извлечение обучающих данных из больших языковых моделей // Тр. Тридцатого симп. по безопасности USENIX (USENIX Security 21) (Vancouver, 11–13 августа 2021 г.). Berkeley: USENIX Association, 2021. С. 263–280.
8. Anthropic. О дезориентирующих цепочках рассуждений в больших языковых моделях // Научный отчет Anthropic. San Francisco: Anthropic, 2025. 28 с.
9. Anthropic. Спящие агенты-2025: Дезориентирую-щие репрезентации в цепочках рассуждений // Технический отчет Anthropic. San Francisco: Anthropic, 2025. 35 с.
10. Ланнинг С., Штейнхардт Дж., Кристиано П., Шульман Дж., Амодей Д. Ложные цепочки мышления в больших языковых моделях: эмпирический анализ скрытых репрезентаций // Тр. Междунар. конф. по представлениям обучения (ICLR 2025) (Вена, 11–15 мая 2025 г.). San Diego: ICLR, 2025. С. 342–358.
11. Саттон Р. С., Барто А. Г. Обучение с подкреплением: введение. Cambridge, MA: MIT Press, 2018. 552 с.
12. Иванов И. И., Петров С. А., Смирнова А. В. Внутренняя стеганография в больших языковых моделях: эмпирическое исследование на примере финансового ИИ-агента // Информационная безопасность. 2025. Т. 31. № 6. С. 45–58.
13. Эйкхольт К., Евтимов И., Фернандес Э., Ли Б., Рахмати А., Сяо Ч., Сонг Д. Устойчивые атаки в физическом мире на модели глубокого обучения // Тр. Конф. по компьютерному зрению и распознаванию образов IEEE (CVPR 2018) (Salt Lake City, 18–22 июня 2018 г.). Piscataway: IEEE, 2018. С. 1625–1634.
14. Сидоров В. В., Кузнецов П. Л., Федоров А. С. Применение фреймворка ARAF для оценки рисков воплощенной автономии в системах беспилотной авиации // Вопр. оборонной техники. 2025. № 11–12. С. 44–56.
15. Корбридж М. Фреймворк Damzik для безопасного внедрения ИИ-агентов // Публикации Secure Agentics. London: Secure Agentics Press, 2025. 60 с.
16. Левин С., Кумар А., Такер Г., Фу Дж. Обучение с подкреплением на оффлайн-данных: руководство, обзор и перспективы по нерешенным проблемам // arXiv:2005.01643. 2020. 42 с.
17. NIST. Фреймворк управления рисками искусственного интеллекта (AI RMF 1.0) // Национальный институт стандартов и технологий США. Gaithersburg: NIST, 2023. 78 с.
18. Об информации, информационных технологиях и о защите информации: Федеральный закон № 149-ФЗ от 27 июля 2006 г. (с изм. на 01 января 2025 г.). М.: Кодекс, 2006. 45 с.
19. Реестр сертификатов соответствия № 4781/2026 от 17 февраля 2026 г. // ФСТЭК России. М.: ФСТЭК России, 2026. 2 с.
20. Allianz SE. Отчет о безопасности и соответствии требованиям автономного агента по обработке страховых требований. Munich: Allianz SE, 2025. 44 с.
