from 01.01.2021 until now
Saratov, Russian Federation
In the development of highly automated and unmanned vehicles, the auto industry is faced with a new set of problems associated with the need to standardize elements of automated driving systems and determine the rules for their testing and certification. Due to the acceleration of scientific and technological progress and the development of new technologies, previously used standards began to become obsolete as the practice of their application accumulated, and sometimes even before the approval of a particular technical regulation. In these conditions, a promising technical and legal solution may be the use of fuzzy logic in tools for aggregation and management of expert knowledge in the processes of certification and testing of highly automated vehicles and elements of their automated control systems. Fuzzy decision-making models use typical fuzzy situations that form catalogs of scenarios for testing vehicles and their systems. In this way, an expert system knowledge base can be formed in which knowledge engineers apply a set of test scenario or experiment parameters for testing and simulation. Determining the parameters of a new scenario, their similarity with previously formalized scenarios and the decision to include a particular scenario in the scenario catalog remains with the experts. The approaches used at the present stage to the formalization of expert knowledge are not acceptable for creating knowledge bases controlled by big data management systems or artificial neural networks, which are in the near future in the development of expert systems. The article proposes a method by which a knowledge engineer administering an expert system can automate the creation of a catalog of “fuzzy” test scenarios and simulation modeling of systems, by automatically searching for the maximum value of the states of these systems belonging to maps and catalogs of scenarios, with a probability specified by the expert, with using machine learning methods.
expert system, formalization of knowledge, linguistic variable, catalog of scenarios, fuzzy rule
Введение
Развитие интеллектуальных цифровых систем ведет человечество в эру беспилотного транспорта. Все больше предприятий автопрома предъявляют на испытания и сертификацию новые версии высокоавтоматизированных транспортных средств (ВАТС). Научно-технический прогресс не позволяет формировать догматические регламенты сертификации и оценки уровня функциональной безопасности на соответствие государственным и отраслевым стандартам. В связи с этим постановлением Правительства Российской Федерации № 317 от 18 апреля 2016 г. «О реализации Национальной технологической инициативы» [1] и Распоряжением Правительства № 535-р от 29 марта 2018 г. [2] утвержден план мероприятий («дорожная карта») по совершенствованию административного и технического регулирования в целях обеспечения реализации Национальной технологической инициативы по развитию транспортной инфраструктуры, производства и использования ВАТС, включая беспилотные транспортные средства.
Всемирный форум по согласованию правил в отношении транспортных средств (WP.29) Европейской экономической комиссии Организации Объединенных Наций разработал Рамочный документ по автоматизированным и автономным транспортным средствам (WP.29/2019/34/Rev.2), а также сформировал набор технических задач (WP.29/1147/Annex VI) для рабочей группы по методам проверки автоматизированного вождения. В этих документах был определен новый метод оценки и тестирования автоматизированного вождения (New Assessment/Test Method for Automated Driving (концепция NATM)), который был принят на сессии WP.29 в марте 2021 г. [3]. Согласно этому документу ставится задача разработки методов оценки автоматизированных систем вождения (ADS, или ADS-систем), включая сценарии для проверки функциональной безопасности автоматизированных систем на основе многокомпонентного подхода посредством аудита результатов виртуального тестирования ADS-систем, испытаний ВАТС и этих систем на закрытых полигонах и посредством тестирования в реальных дорожных условиях. Также этот документ рекомендует автопроизводителям стран ООН применять многокритериальный подход к валидации ADS-систем, состоящий из набора сценариев и пяти методологий проверки (столпов), каждая из которых подробно описана в концепции NATM.
Первым из столпов аудита и оценки функциональной безопасности ADS-систем концепция предполагает создание и актуализацию каталога сценариев, состоящего из описаний реальных дорожных ситуаций, которые возникают во время движения высокоавтоматизированного или беспилотного транспортного средства. Согласно методологии NATM каталог сценариев должен стать инструментом, используемым для проверки безопасности заявленных функций автомобилей, ADS-систем и их параметров [4].
Для формирования каталогов сценариев делаются попытки стандартизации этого процесса. На это были, в частности, направлены российские стандарты ГОСТ Р ИСО 26262 и стандарт ПНСТ 554-2021 «Системы искусственного интеллекта для автоматизации управления автомобильными транспортными средствами. Методы испытаний. Общие положения» (утвержден и введен в действие приказом Росстандарта от 26 ноября 2021 г. № 47-пнст). В связи с ускорением темпов модернизации ВАТС и ADS-систем применение этих стандартов для формирования каталога сценариев затруднительно. Один из них не регламентирует порядок создания каталога сценариев для ADS-систем, а другой прекратил свое действие. Как правило, стандарты системной инженерии и нормы формирования технических каталогов и каталогов сценариев подразумевают использование знаний экспертов и создание баз знаний [5].
Теоретические подходы к задачам формализации знаний экспертов для построения баз знаний экспертных систем могут подразумевать обработку информации датасетов, с использованием теоремы Байеса [6], нахождением зависимостей между функциями методами системной динамики [7] или использованием статистических методов [8]. Но построенные таким образом базы знаний не могут быть применены в современных системах принятия решений, которые используют большие данные и искусственные нейронные сети, из-за требований к независимости характеристик ADS-систем, определяющих ту или иную комбинацию параметров из каталога сценариев. Кроме того, построение каталога сценариев, разработка алгоритмов имитационного моделирования функционирования ADS-систем, разработка программ испытаний ВАТС, оснащенных такими системами, требует учета множества неявных корреляционных зависимостей, различных параметров и характеристик различных систем автомобиля. В таких условиях эффективным способом формирования каталога сценариев и требований к характеристикам ADS-систем, в этих сценариях, является создание базы знаний экспертов [5].
Целью формализации знаний экспертов в проведенном исследовании стало выявление и описание зависимостей между сценариями, по которым испытываются автомобили, оснащенные ADS-системами, и частотой их возникновения в среде штатной эксплуатации. Неопределенность, продиктованная ограниченностью данных, и затрудненность точного описания поведения объектов испытаний в различных сценариях являются основными проблемами в задачах оценки и сертификации ВАТС, оснащенных ADS-системами.
Формализация суждений экспертов чаще всего осуществляется посредством обработки соответствующей информации, которая формируется лингвистически естественным языком, а затем преобразуется в базы знаний, которые могут использоваться в экспертных системах, применяющих современные нейросетевые технологии. Применение в этих задачах методов теории нечетких множеств позволяет формализовывать параметры и свойства объектов с использованием лингвистических переменных [9]. Такие методы можно применять для разработки инструментов онтологического анализа при формировании расчетных моделей электроснабжения [10], при разработке правил принятия решений в управлении проектами [11] и в других предметных областях [12].
Применение подходов нечеткой логики позволяет сформулировать требования к базе знаний систем управления каталогами сценариев, имитационного моделирования этих сценариев, разработки плана испытаний ADS-систем и обосновывать возможность применения технологий интеллектуального анализа данных посредством применения методов формирования нечетких правил.
Постановка задачи
Сформируем модель процесса формирования каталога сценариев для испытаний ADS-систем, опираясь на аппарат теории нечетких множеств. Вначале создадим лингвистическую переменную (N, T, Y), где N – это наименование лингвистической переменной «вероятность возникновения сценария из каталога сценариев» с множеством значений лингвистической переменной из множества T, состав которого определяется множеством Y, отражающим вероятность возникновения сценария из каталога сценариев: Y = [0, 1].
Множество значений лингвистической переменной T определим как двухэлементное, характеризующее низкую либо высокую вероятность возникновения сценария, в котором требуется испытание автомобиля и его систем. Иными словами, таким образом эксперт может задать вероятность возникновения того или иного сценария и определить принадлежность к набору нечеткого множества сценариев с соответствующей функцией принадлежности к множеству.
Как известно, функции принадлежности могут иметь различную природу и классификацию.В зависимости от «проработанности» функций ADS-системы, от применения в них подсистем из других ADS-систем, от этапа ее испытаний нечеткое множество сценариев может обладать различными функциями принадлежности μs (μ01(y), μ02(y)) | y ∈ Y), количественно градуируя принадлежность элементов фундаментального множества пространства суждения [13]. На практике это означает учет экспертами параметров одних сценариев в других или применение каталога сценариев, принадлежащего одной ADS-системе, в отношении другой. Это частая практика при испытаниях высокоавтоматизированных автомобилей.
Сценарий из каталога сценариев для испытаний может быть описан набором признаков m с именами Ni и лингвистическими переменными из множества T, а также с набором параметров X, которые могут задавать значения признака i в той или иной сценарной ситуации:
(Ni, Ti, Xi),
Поскольку в теории нечетких множеств терм формализуется нечетким множеством с помощью функции принадлежности, это формально дает возможность множеству T с разными значениями признака i содержать нечеткие переменные соответственно нечетким значениям признаков того или иного сценария из каталога:
Ti = {pi j |
В реальной практике формирования каталога сценариев для аудита и оценки функциональной безопасности ADS-систем имена нечетких переменных могут быть из терм-множеств, которые часто пересекаются, но для начальных стадий разработки модели этого процесса допустим, что имена нечетких переменных, определяемых экспертами, принадлежат непересекающимся множествам. Запишем это как функцию принадлежности:
Ti 1 ∩ Ti 2 ≠ ∅;
В зависимости от «проработанности» функций ADS-системы, от применения в них подсистем из других ADS-систем, от этапа ее испытаний нечеткое множество сценариев тоже может обладать различными функциями принадлежности μij(xi) как μ01(x) и μ02(x), количественно градуируя принадлежность элементов фундаментального множества пространства рассуждения. При этих допущениях всевозможные сценарии каталога сценариев и их комбинации можно представить в виде пространства состояний, которое очень удобно абстрагировать для суждений о поведении ADS-системы в различных комбинациях сценариев.
Таким образом, ставится задача, на основе теории нечетких множеств, построения алгоритма формирования базы знаний, содержащей каталог сценариев поведения высокоавтоматизированных и беспилотных транспортных средств в различных ситуациях, для их имитационного моделирования, для оценки уровня функциональной безопасности ADS-систем, а также для проведения испытаний на полигонах и в среде штатной эксплуатации.
Формализация процесса формирования каталога сценариев
Для разработки модели процесса формирования каталога сценариев для аудита и оценки функциональной безопасности ADS-систем потребуется как-то обозначить сам «нечеткий сценарий», поскольку именно такой сценарий должен быть найден, определены его параметры, после чего он должен пополнить каталог сценариев. Для этого
в настоящем исследовании предлагается воспользоваться формой, которая описана в [14] и встречается в научных публикациях о методах функционирования систем поддержки принятия решений (DSS). Согласно [14], «нечеткий» сценарий, при вышеобозначенных допущениях, можно выразить через нечеткое множество
Далее, для формализации задачи формирования каталога сценариев, для аудита и оценки функциональной безопасности ADS-систем, в множестве нечетких сценариев выделим подмножество типовых нечетких сценариев, которые должны войти в каталог сценариев:
Построенная система уравнений служит наглядной постановкой задачи не только для инженера, проектирующего DSS-систему, анализирующего наличие сочетания условий и параметров ADS-систем, но и для эксперта, задача которого сводится к установке некой функции F, определяющей вероятность возникновения того или иного сценария
в разных состояниях. Пространство состояний в таких случаях определяется декартовым произведением X:
X = X1 · X2 · ... · Xm.
В технической документации к ADS-системам, а также в стандартах системной инженерии ISO и ГОСТ описываются требования к этим системам, в том числе в виде диаграммы всевозможных состояний этих систем. Одной из задач эксперта является определение соответствия состояний системы тому или иному сценарию из карты сценариев. Уровень принадлежности состояния x (x ∈ X) к сценарию из карты сценариев (
∈ S’) можно определить через произведение сумм нечеткого множества сценариев , с различными функциями принадлежности μ01(x) и μ02(x), и терм-множества Ti, с нечеткими переменными, имеющими нечеткие значения признаков того или иного сценария из каталога для всех признаков m с именами Ni. Таким образом, принадлежность состояния ADS-системы к сценарию из карты сценариев можно выразить произведением сумм:
Если для какого-либо нечеткого сценария ∈ S’ задана функция F (F : S’→Y), определяющая вероятность возникновения сценария y (y ∈ Y), то вероятность возникновения (обнаружения) нового сценария, который необходимо внести в каталог для проведения испытаний ADS-системы в состоянии
x (x ∈ X), можно выразить через вероятность состояния ADS-системы x (x ∈ X) в том или ином нечетком сценарии ∈ S’, по методике, описанной
в [15]:
Поиск максимального значения принадлежности состояния ADS-системы x (x ∈ X) к сценарию из карты сценариев ( ∈ S’), с заданной экспертом вероятностью осуществления этого «нечеткого» сценария, может определять алгоритм машинного обучения искусственных нейронных сетей, применяемых в DSS-системах. Для этого может использоваться метод регрессии, если ищется ранее определенный сценарий из карты сценариев (обучение с учителем с задачей предсказать сценарий), или может использоваться метод ассоциации, если требуется сформировать новый сценарий (обучение без учителя с задачей выявить последовательность состояний). В любом случае алгоритм DSS-системы, основанный на предложенном подходе, можно визуализировать последовательностью функциональных блоков, представленных на рис.
Модель процесса формирования каталога сценариев для проведения испытаний высокоавтоматизированных
транспортных средств и ADS-систем с целью анализа и оценки их функциональной безопасности
A model of the process of forming a catalog of scenarios for testing highly automated vehicles and ADS systems
in order to analyze and evaluate their functional safety
В качестве развития исследований в предложенном направлении для обработки лингвистических переменных и автоматического определения набора их признаков сценариев (первые два функциональных блока на рис.) можно использовать наработки [13] и [15]. Для поиска максимального значения принадлежности состояния ADS-системы x (x ∈ X)
к сценарию из карты сценариев (
∈ S’), с заданной экспертом вероятностью осуществления этого «нечеткого» сценария, можно использовать методы машинного обучения.
Заключение
Предложенный подход и система уравнений могут стать формальной постановкой задачи при проектировании DSS-систем, анализирующих наличие сочетания условий и параметров ADS-систем, с применением наполняемых баз знаний и постоянно обучающихся искусственных нейронных сетей.
Построенные по предложенной концепции базы знаний, которые используют большие данные и искусственные нейронные сети, можно применять в современных системах принятия решений, приближая на практике эру беспилотного транспорта.
1. O realizatsii Natsional'noi tekhnologicheskoi init-siativy: Postanovlenie Pravitel'stva RF ot 18 aprelia 2016 g. № 317 [On the implementation of the National Technology Initiative: Resolution of the Government of the Russian Federation No. 317 dated April 18, 2016]. Sobranie zakonodatel'stva Rossiiskoi Federatsii. No. 17 ot 25 aprelia 2016 g. Pp. 5139-5144.
2. Ob utverzhdenii plana meropriiatii («dorozhnoi karty») po sovershenstvovaniiu zakonodatel'stva i ustraneniiu administrativnykh bar'erov v tseliakh obespecheniia realizatsii Natsional'noi tekhnologicheskoi initsiativy po napravleniiu «Avtonet»: Rasporiazhenie Pravitel'stva RF ot 29 marta 2018 g. № 535-r [On approval of the action plan (“roadmap”) to improve legis-lation and eliminate administrative barriers in order to ensure the implementation of the National Technology Initiative in the direction of “Autonet”: Decree of the Gov-ernment of the Russian Federation dated March 29, 2018 No. 535-r]. Available at: https://nti2035.ru/documents/docs/NDK_autonet_21.pdf (accessed: 11.01.2024).
3. Kisulenko B. V., Bocharov A. V. Intellektual'nye avtomobili kak ob"ekt tekhnicheskogo normirovaniia [Intelligent cars as an object of technical regulation]. Standarty i kachestvo, 2016, no. 12, pp. 24-28.
4. Gaevskii V. V., Alekseenkov M. I. Metodika primeneniia programmno-apparatnogo kompleksa dlia ispytanii vysokoavtomatizirovannykh kolesnykh transportnykh sredstv [The methodology of using a hardware and software complex for testing highly automated wheeled vehicles]. Avtomobil'. Doroga. Infrastruktura, 2023, no. 2 (36). Available at: https://www.elibrary.ru/download/elibrary_54110984_39651772.pdf (accessed: 11.01.2024).
5. Davis R. Interactive Transfer of expertise: Acqui-sition of inference rules. 5th International Joint Conference on Artificial Intelligence. Boston, MIT, 1977. Pp. 321-328.
6. Shevelev A. A. Baiesovskii podkhod k otsenke vliianiia vneshnikh shokov na makroekonomicheskie pokazateli Rossii [Bayesian approach to assessing the impact of external shocks on Russia's macroeconomic indicators]. Mir ekonomiki i menedzhmenta, 2017, vol. 17, no. 1, pp. 26-40.
7. Rezchikov A. F., Kushnikov V. A., Iandybaeva N. V., Ivashchenko V. A., Bogomolov A. S., Filimoniuk L. Iu. Mo-del' dlia otsenki sostoianiia natsional'noi bezopas-nosti Rossii na osnove teorii sistemnoi dinamiki [A model for assessing the state of Russia's national security based on the theory of system dynamics]. Prikladnaia informatika, 2017, vol. 12, no. 2 (68), pp. 106-117.
8. Gorodetskii A. E., Kurbanov V. G., Tarasova I. L. Ekspertnaia sistema analiza i prognozirovaniia avariinykh situatsii na elektrostantsiiakh [Expert system for the analysis and forecasting of emergency situations at power plants]. Informatsionno-upravliaiushchie sistemy, 2012, no. 4, pp. 59-63.
9. Zade L. A. Poniatie lingvisticheskoi peremennoi i ego primenenie k priniatiiu priblizhennykh reshenii [The concept of a linguistic variable and its application to making approximate decisions]. Moscow, Mir Publ., 1976. 165 p.
10. Fomin I. N. Primenenie instrumentov ontolog-icheskogo analiza dlia formirovaniia raschetnykh modelei elektrosnabzheniia [The use of ontological analysis tools for the formation of computational models of power supply]. Ontologiia proektirovaniia. Samara, 2020. Vol. 10, no. 4 (38). Pp. 477-488.
11. Cherniakhovskaia L. R., Malakhova A. I. Formiro-vanie pravil priniatiia reshenii v upravlenii proektami po re-zul'tatam ontologicheskogo analiza [Formation of deci-sion-making rules in project management based on the results of ontological analysis]. Problemy upravleniia i modelirovaniia v slozhnykh sistemakh: trudy XV Mezhdunarodnoi konferentsii (Samara, 25–28 iiunia 2013 g.). Samara, Izd-vo SamNTs RAN, 2013. Pp. 343-350.
12. Smirnov S. V. Ontologicheskii analiz predmetnykh oblastei modelirovaniia [Ontological analysis of modeling subject areas]. Izvestiia Samarskogo nauchnogo tsentra RAN, 2001, vol. 3, no. 1, pp. 62-70.
13. Rutkovskii L. Metody i tekhnologii iskusstvennogo intellekta [Methods and technologies of artificial intelli-gence]. Moscow, Goriachaia liniia–Telekom Publ., 2010. 520 p.
14. Melikhov A. N., Bershtein L. S., Korovin S. Ia. Situatsionnye sovetuiushchie sistemy s nechetkoi logikoi [Situational advising systems with fuzzy logic]. Moscow, Nauka Publ., 1990. 272 p.
15. Pegat A. Nechetkoe modelirovanie i upravlenie [Fuzzy modeling and control]. Moscow, Binom, Laboratoriia znanii Publ., 2013. 798 p.
