Vestnik of Astrakhan State Technical University. Series: Management, computer science and informatics Vestnik of Astrakhan State Technical University. Series: Management, computer science and informatics Вестник Астраханского государственного технического университета. Серия: Управление, вычислительная техника и информатика 2072-9502 2224-9761 121784 10.24143/2072-9502-2026-2-23-31 AIOZBD УПРАВЛЕНИЕ, МОДЕЛИРОВАНИЕ, АВТОМАТИЗАЦИЯ CONTROL, MODELING, AUTOMATION УПРАВЛЕНИЕ, МОДЕЛИРОВАНИЕ, АВТОМАТИЗАЦИЯ Proactive AI risk management Проактивное управление рисками ИИ Аменицкий Алексей Владимирович Amenickiy Aleksey Vladimirovich arbat365@mail.ru Воробьев Евгений Германович Vorob'ev Evgeniy Germanovich vrbyug@mail.ru

доктор технических наук;

doctor of technical sciences;

 Санкт-Петербургский государственный электротехнический университет «ЛЭТИ» им. В. И. Ульянова (Ленина) Россия Saint Petersburg Electrotechnical University Russian Federation Санкт-Петербургский государственный электротехнический университет «ЛЭТИ» им. В. И. Ульянова (Ленина) Россия Saint Petersburg Electrotechnical University Russian Federation 23 04 2026 23 04 2026 2026 2 23 31 23 11 2025 23 01 2026 https://vestnik.astu.org/en/nauka/article/121784/view

В условиях стремительного внедрения технологий искусственного интеллекта (ИИ) в бизнес-процессы и критическую инфраструктуру наблюдается системный разрыв между их возможностями и зрелостью систем управления рисками (AI Governance). Проведено комплексное исследование актуальных вызовов кибербезопасности, связанных с автономным функционированием ИИ-агентов. Выявлено, что традиционные подходы к безопасности, основанные на парадигме запрета, не только неэффективны, но и усугубляют риски, порождая феномен «теневого ИИ». Научная новизна исследования заключается в разработке и апробации оригинального фреймворка для проактивной оценки рисков – Agentic Risk Assessment Framework (ARAF). Данный фреймворк интегрирует два ранее разрозненных домена: кибербезопасность ИИ (AI CyberSecurity) и киберпреступность в области ИИ (AI CyberCrimes). В отличие от существующих аналогов, таких как NIST AI RMF и OWASP LLM Top-10, ARAF впервые учитывает ключевые современные угрозы, включая «оружие автономии», «ложные цепочки мышления» (Deceptive Chain-of-Thought) и риски воплощенного ИИ (Spatial AI). Предложена новая таксономия из 42 классов угроз и введена количественная метрика оценки риска (Agentic Risk Index, ARI). Практическая значимость работы подтверждена результатами пилотных внедрений ARAF в 2024–2025 гг. в организациях финан-сового сектора, госуправления и оборонно-промышленного комплекса, которые продемонстрировали снижение композитного индекса риска ARI на 40–65 %. Результаты исследования имеют высокую ценность для формирования национальных стандартов безопасности ИИ, разработки robust-архитектур и создания нормативной базы, регулирующей ответственное внедрение автономных систем.

infrastructure, there is a systemic gap between their capabilities and the maturity of AI Governance systems. A comprehensive study of current cybersecurity challenges related to the autonomous functioning of AI agents has been conducted. It has been revealed that traditional approaches to security based on the prohibition paradigm are not only ineffective, but also exacerbate risks, giving rise to the phenomenon of “shadow AI”. The scientific novelty of the research lies in the development and testing of an original framework for proactive risk assessment – the Agentic Risk Assessment Framework (ARAF). This framework integrates two previously disparate domains: AI CyberSecurity and AI CyberCrimes. Unlike existing analogues such as NIST AI RMF and OWASP LLM Top-10, ARAF for the first time takes into account key modern threats, including “weapons of autonomy”, “Deceptive Chain-of-Thought” and risks of embodied AI. A new taxonomy of 42 threat classes has been proposed and a quantitative risk assessment metric (Agentic Risk Index, ARI) has been introduced. The practical significance of the work is confirmed by the results of pilot implementations of ARAF in 2024-2025 in organizations of the financial sector, public administration and the military-industrial complex, which demonstrated a decrease in the composite risk index ARI by 40-65%. The research results are of high value for the formation of national AI safety standards, the development of robust architectures and the creation of a regulatory framework governing the responsible implementation of autonomous systems.

 безопасность ИИ-агентов уровни автономии классификация угроз кибербезопасность угрозы ИИ фреймворк оценки рисков ИИ-киберпреступность security of AI agents levels of autonomy threat classification cybersecurity AI threats risk assessment framework AI cybercrime

Боммасани Р., Хадсон Д. А., Адели Э., Олтман Р., Арора С., фон Аркс С., Бернстайн М. С. О возможностях и рисках базовых моделей // Докл. Центра исслед. базовых моделей (CRFM), Стэнфордский университет. Стэнфорд: CRFM, 2021. 45 с. Bommasani R., Hadson D. A., Adeli E., Oltman R., Arora S., fon Arks S., Bernstajn M. S. O vozmozhnostyah i riskah bazovyh modelej [About the opportunities and risks of basic models]. Doklady Centra issledovanij bazovyh modelej (CRFM), Stenfordskij universitet. Stanford, CRFM, 2021. 45 p. Ли К. Безопасность ИИ и неправомерное поведение автономных систем // Отчеты Conjecture. L.: Conjecture Publications, 2025. 32 с. Li K. Bezopasnost' II i nepravomernoe povedenie avtonomnyh sistem [AI security and the misconduct of autonomous systems]. Otchety Conjecture. London, Conjecture Publications, 2025. 32 p. Хендрикс Д., Мазейка М., Вудсайд Т. Обзор ката-строфических рисков искусственного интеллекта // Журн. исслед. искусственного интеллекта. 2023. Т. 76. С. 1385–1420. Hendriks D., Mazejka M., Vudsajd T. Obzor katastroficheskih riskov iskusstvennogo intellekta [Overview of catastrophic risks of artificial intelligence]. Zhurnal issledovanij iskusstvennogo intellekta, 2023, vol. 76, pp. 1385-1420. Амодей Д., Ола К., Стейнхардт Дж., Кристиано П., Шульман Дж., Мане Д. Конкретные проблемы безопасности искусств. интеллекта // arXiv:1606.06565. 2016. 14 с. Amodej D., Ola K., Stejnhardt Dzh., Kristiano P., Shul'man Dzh., Mane D. Konkretnye problemy bezopasnosti iskusstvennogo intellekta [Specific Artificial Intelligence Security Issues]. arXiv:1606.06565, 2016. 14 p. Эверитт Т., Хаттер М., Кумар Р., Краковна В. Проблемы и решения несанкционированного изменения функции вознаграждения в обучении с подкреплением: перспектива диаграммы причинного влияния // Искусственный интеллект. 2021. Т. 299. 103565. DOI 10.1016/j.artint.2021.103565. Everitt T., Hatter M., Kumar R., Krakovna V. Prob-lemy i resheniya nesankcionirovannogo izmeneniya funkcii voznagrazhdeniya v obuchenii s podkrepleniem: perspektiva diagrammy prichinnogo vliyaniya [Problems and solutions of unauthorized modification of the reward function in reinforcement learning: the perspective of a causal influence diagram]. Iskusstvennyj intellect, 2021, vol. 299, 103565. DOI 10.1016/j.artint.2021. Чжу С., Ли X., Гхош С., Хуан К., Ли К. Безопасность автономных агентов: таксономия атак и методов защиты // Тр. Конф. по компьютерной и коммуникационной безопасности ACM 2024 (CCS ’24) (Salt Lake City, 14–18 октября 2024 г.). NY: ACM Press, 2024. С. 112–130. Chzhu S., Li X., Ghosh S., Huan K., Li K. Be-zopasnost' avtonomnyh agentov: taksonomiya atak i metodov zashchity [Security of autonomous agents: a taxonomy of attacks and protection methods]. Trudy Konferencii po komp'yuternoj i kommunikacionnoj bezopasnosti ACM 2024 (CCS ’24) (Salt Lake City, 14–18 oktyabrya 2024 g.). New York, ACM Press, 2024. Pp. 112-130. Карлини Н., Трамер Ф., Уоллес Э., Джагельски М., Герберт-Фосс А., Ли К., Раффел К. Извлечение обучающих данных из больших языковых моделей // Тр. Тридцатого симп. по безопасности USENIX (USENIX Security 21) (Vancouver, 11–13 августа 2021 г.). Berkeley: USENIX Association, 2021. С. 263–280. Karlini N., Tramer F., Uolles E., Dzhagel'ski M., Gerbert-Foss A., Li K., Raffel K. Izvlechenie obuchayushchih dannyh iz bol'shih yazykovyh modelej [Extracting training data from large language models]. Trudy Tridcatogo simpoziuma po bezopasnosti USENIX (USENIX Security 21) (Vancouver, 11–13 avgusta 2021 g.). Berkeley, USENIX Association, 2021. Pp. 263-280. Anthropic. О дезориентирующих цепочках рассуждений в больших языковых моделях // Научный отчет Anthropic. San Francisco: Anthropic, 2025. 28 с. Anthropic. O dezorientiruyushchih cepochkah rassuzhdenij v bol'shih yazykovyh modelyah [Anthropic. About disorienting chains of reasoning in large language models]. Nauchnyj otchet Anthropic. San Francisco, Anthropic, 2025. 28 p. Anthropic. Спящие агенты-2025: Дезориентирую-щие репрезентации в цепочках рассуждений // Технический отчет Anthropic. San Francisco: Anthropic, 2025. 35 с. Anthropic. Spyashchie agenty-2025: Dezorien-tiruyushchie reprezentacii v cepochkah rassuzhdenij [An-thropic. Sleeper Agents 2025: Disorienting Representations in Chains of Reasoning]. Tekhnicheskij otchet Anthropic. San Francisco, Anthropic, 2025. 35 p. Ланнинг С., Штейнхардт Дж., Кристиано П., Шульман Дж., Амодей Д. Ложные цепочки мышления в больших языковых моделях: эмпирический анализ скрытых репрезентаций // Тр. Междунар. конф. по представлениям обучения (ICLR 2025) (Вена, 11–15 мая 2025 г.). San Diego: ICLR, 2025. С. 342–358. Lanning S., Shtejnhardt Dzh., Kristiano P., Shul'man Dzh., Amodej D. Lozhnye cepochki myshleniya v bol'shih yazykovyh modelyah: empiricheskij analiz skrytyh reprezentacij [False chains of thought in large language models: an empirical analysis of hidden representations]. Trudy Mezhdunarodnoj konferencii po predstavleniyam obucheniya (ICLR 2025) (Vena, 11–15 maya 2025 g.). San Diego, ICLR, 2025. Pp. 342-358. Саттон Р. С., Барто А. Г. Обучение с подкреплением: введение. Cambridge, MA: MIT Press, 2018. 552 с. Satton R. S., Barto A. G. Obuchenie s podkreple-niem: vvedenie [Reinforcement Learning: An introduction]. Cambridge, MA, MIT Press, 2018. 552 p. Иванов И. И., Петров С. А., Смирнова А. В. Внутренняя стеганография в больших языковых моделях: эмпирическое исследование на примере финансового ИИ-агента // Информационная безопасность. 2025. Т. 31. № 6. С. 45–58. Ivanov I. I., Petrov S. A., Smirnova A. V. Vnu-trennyaya steganografiya v bol'shih yazykovyh modelyah: empiricheskoe issledovanie na primere finansovogo II-agenta [Internal steganography in large language models: an empirical study using the example of a financial AI agent]. Informacionnaya bezopasnost', 2025, vol. 31, no. 6, pp. 45-58. Эйкхольт К., Евтимов И., Фернандес Э., Ли Б., Рахмати А., Сяо Ч., Сонг Д. Устойчивые атаки в физическом мире на модели глубокого обучения // Тр. Конф. по компьютерному зрению и распознаванию образов IEEE (CVPR 2018) (Salt Lake City, 18–22 июня 2018 г.). Piscataway: IEEE, 2018. С. 1625–1634. Ejkkhol't K., Evtimov I., Fernandes E., Li B., Rah-mati A., Syao Ch., Song D. Ustojchivye ataki v fizicheskom mire na modeli glubokogo obucheniya [Sustained attacks in the physical world on deep learning models]. Trudy Konferencii po komp'yuternomu zreniyu i raspoznavaniyu obrazov IEEE (CVPR 2018) (Salt Lake City, 18–22 iyunya 2018 g.). Piscataway, IEEE, 2018. Pp. 1625-1634. Сидоров В. В., Кузнецов П. Л., Федоров А. С. Применение фреймворка ARAF для оценки рисков воплощенной автономии в системах беспилотной авиации // Вопр. оборонной техники. 2025. № 11–12. С. 44–56. Sidorov V. V., Kuznecov P. L., Fedorov A. S. Primenenie frejmvorka ARAF dlya ocenki riskov voploshchennoj avtonomii v sistemah bespilotnoj aviacii [Application of the ARAF framework to assess the risks of embodied autonomy in unmanned aircraft systems]. Voprosy oboronnoj tekhniki, 2025, no. 11-12, pp. 44-56. Корбридж М. Фреймворк Damzik для безопасного внедрения ИИ-агентов // Публикации Secure Agentics. London: Secure Agentics Press, 2025. 60 с. Korbridzh M. Frejmvork Damzik dlya bezopasnogo vnedreniya II-agentov [Damzik framework for secure implementation of AI agents]. Publikacii Secure Agentics. London, Secure Agentics Press, 2025. 60 p. Левин С., Кумар А., Такер Г., Фу Дж. Обучение с подкреплением на оффлайн-данных: руководство, обзор и перспективы по нерешенным проблемам // arXiv:2005.01643. 2020. 42 с. Levin S., Kumar A., Taker G., Fu Dzh. Obuchenie s podkrepleniem na offlajn-dannyh: rukovodstvo, obzor i perspektivy po nereshennym problemam [Offline reinforcement learning: guidance, overview, and perspectives on unresolved issues]. arXiv:2005.01643, 2020. 42 p. NIST. Фреймворк управления рисками искусственного интеллекта (AI RMF 1.0) // Национальный институт стандартов и технологий США. Gaithersburg: NIST, 2023. 78 с. NIST. Frejmvork upravleniya riskami iskusstven-nogo intellekta (AI RMF 1.0) [NIST. Artificial Intelligence Risk Management Framework (AI RMF 1.0)]. Nacional'nyj institut standartov i tekhnologij SShA. Gaithersburg, NIST, 2023. 78 p. Об информации, информационных технологиях и о защите информации: Федеральный закон № 149-ФЗ от 27 июля 2006 г. (с изм. на 01 января 2025 г.). М.: Кодекс, 2006. 45 с. Ob informacii, informacionnyh tekhnologiyah i o zashchite informacii: Federal'nyj zakon № 149-FZ ot 27 iyulya 2006 g. (s izm. na 01 yanvarya 2025 g.) [On Information, information technologies and information protection: Federal Law No. 149-FZ of July 27, 2006 (as amended on January 01, 2025)]. Moscow, Kodeks Publ., 2006. 45 p. Реестр сертификатов соответствия № 4781/2026 от 17 февраля 2026 г. // ФСТЭК России. М.: ФСТЭК России, 2026. 2 с. Reestr sertifikatov sootvetstviya № 4781/2026 ot 17 fevralya 2026 g. [Register of certificates of conformity No. 4781/2026 dated February 17, 2026]. FSTEK Rossii. Moscow, FSTEK Rossii, 2026. 2 p. Allianz SE. Отчет о безопасности и соответствии требованиям автономного агента по обработке страховых требований. Munich: Allianz SE, 2025. 44 с. Allianz SE. Otchet o bezopasnosti i sootvetstvii tre-bovaniyam avtonomnogo agenta po obrabotke strahovyh trebovanij [Allianz SE. Safety and Compliance Report of an autonomous insurance Claims processing agent]. Munich, Allianz SE, 2025. 44 p.