Russian Federation
Russian Federation
Russian Federation
The article considers determining the stability assessment of the structural and brightness properties of raster images. The stability assessment refers to the ability of preserving the image properties due to the original image processing by filtering. Halftone versions of the full-color images presented in the RGB color space are accepted as original images. The grayscale images are filtered using the Gaussian, Wiener, and median filtration algorithms. The next step is to use one of the variants of the SSIM algorithm to obtain the structural similarity index between the control halftone image and the filtered image. In order to create a relative and dimensionless metric there has been calculated the area of the polygon S set by the values of the similarity indices relative to the control grayscale image, and the area of the rectangle Sp that contains the area of the polygon S. Images from the international image database TID2008 (image database 2008), TID2013 (image database 2013) were taken as test bitmaps. The official coats of arms of the Russian Federation entities – territories, regions, republics, etc. - were also considered. The resulting stability score is determined either as the geometric mean of the four calculated values, or as their arithmetic mean. The results of testing the groups of bitmap images that are united by a common theme or purpose are presented. From each group of images, the maximum and minimum values of the estimates of the image stability to structural and brightness changes are determined in accordance with the developed heuristic algorithm. The results obtained can be used for comparative evaluation of competing images in order to select the most resistant to structural and brightness changes.
filtering, image processing, structural and brightness properties of the image, stability assessment, structural similarity index
Введение В настоящее время цифровая обработка изображений занимает значительное место среди различных научных направлений и входит во многие учебные дисциплины, по которым издаются дополнительные учебные пособия [1–7]. Одним из важных разделов обработки изображений является оценка их качества [7–20]. Среди методов оценки качества изображений выделяют объективные и субъективные методы, референсные и нереференсные методы [8–16, 19, 20]. Алгоритм SSIM (structure similarity) относится к группе референсных методов и алгоритмов. Несмотря на то, что он подвергается определенной критике, алгоритм SSIM [21] достаточно широко применяется. В предлагаемой работе алгоритм SSIM используется для сравнения изображений, которые прошли фильтрацию с помощью таких методов, как метод Гаусса, метод Винера и метод медианной фильтрации [1–4, 22]. Результат каждой фильтрации сравнивается с контрольным образцом, полутоновым изображением. Для выбранного алгоритма SSIM величина индекса структурного сходства принадлежит отрезку [0; 1], что позволяет привести другие величины к этому отрезку. Условно каждый результат фильтрации с последующим вычислением индекса структурного сходства можно отложить в прямоугольной системе координат по оси абсцисс (оригинал и фильтры), а сам результат – по оси ординат. Пример изменения индекса структурного сходства в результате проведенной фильтрации тестового изображения показан на рис. 1. Рис. 1. Изменение индекса структурного сходства Точка «Оригинал» соответствует контрольному изображению. Точка «Фильтр 1» соответствует гауссовой фильтрации, «Фильтр 2» – винеровской фильтрации, «Фильтр 3» – медианной фильтрации. Результаты фильтрации с последующим вычислением индекса структурного сходства с помощью SSIM можно рассматривать в виде многоугольника относительно оси абсцисс на координатной плоскости (рис. 1). Обозначим площадь такого многоугольника через S. Неизменность индекса структурного сходства будет отображаться прямоугольником площади Sp с высотой, равной единице. Видно, что площадь S составляет только часть площади Sp такого прямоугольника. При этом для структурно-устойчивых изображений пунктирная линия на рис. 1 будет практически параллельна оси абсцисс на уровне единицы. Сравниваемые изображения будут эквивалентны. Материалы и методы Для исследования приняты доступные растровые изображения, в частности, pristine из международных баз тестовых изображений TID2008, TID2013, официальные гербы городов, краев, республик, автономных округов, автономной области Российской федерации. Группы тестовых изображений сведены в табл. 1. Таблица 1 Группы тестовых изображений Группа Количество изображений Формат графических файлов Гербы городов федерального значения РФ (Москва, Санкт-Петербург, Севастополь) 3 .png Гербы областей РФ 46 .png Гербы краев РФ 10 .png Гербы республик РФ 22 .png Гербы автономных округов 4 .png Герб автономной области 1 .png pristine 90 .jpeg, .bmp Отметим, что названия графических файлов в pristine нумеруются от 01 до 90. В качестве среды цифрового анализа изображений принята система MATLAB [22], где имеется функция ssim для определения индекса структурного сходства двух изображений, фильтры imgaussfilt (G), wiener2 (W), medfilt2 (M). Имеются также функции чтения изображений из файла (imread), преобразования матрицы изображения к вещественному типу double (im2double) и rgb2gray для преобразования полноцветного изображения модели RGB к полутоновому изображению (grayscale – Gr). Следует отметить, что подобные функции существуют и в других системах, например OpenCV [23]. Предлагаемая схема определения метрики оценки устойчивости структурно-яркостных свойств одного изображения приведена на рис. 2. Рис. 2. Схема определения метрики оценки устойчивости структурно-яркостных свойств изображения В результате применения классического алгоритма SSIM [20] оценка структурного сходства принадлежит отрезку [–1; 1]. Здесь мы используем преобразования для каждого отфильтрованного (гауссовским, винеровским, медианным фильтрами) изображения, когда индекс структурного сходства приводится к отрезку [0; 1]: Gs = (ssim(G, Gr) + 1)/2; Ws = (ssim(W, Gr) + 1)/2; Ms = (ssim(M, Gr) + 1)/2, при этом значение 1 соответствует полному структурному сходству, в частности, когда изображение не было подвержено преобразованиям. Для отображения результатов на координатной плоскости результаты Gs, Ws, Ms сортируются по убыванию, после чего вычисляется площадь (S) и определяется ее отношение (Ksp) к площади прямоугольника Sp, при этом выполняется очевидное условие Sp S: Ksp = S/Sp (рис. 3). Рис. 3. Отношение S к Sp с учетом данных оригинала и фильтров После вычисления величин Gs, Ws, Ms, Ksp определяется метрика Metrics оценки устойчивости структурно-яркостных свойств изображения. При этом метрика определяется через среднее геометрическое значение, если величины Gs, Ws, Ms, Ksp больше нуля, в противном случае (когда есть одно из нулевых значений) расчет метрики выполняется через среднее арифметическое, т. е. (1) (2) В случае неизменности структурно-яркостных свойств изображения метрика Metrics будет стремиться к единице на введенном авторами графике типа рис. 3. Это, в свою очередь, будет означать, что изображение практически не подвергается искажениям в результате проведенной над ним поэтапной фильтрации. Такое изображение устойчиво к изменению своих структурно-яркостных свойств в результате возможных непредвиденных внешних воздействий. В противном случае изображение следует считать менее устойчивым к сохранению структурно-яркостных свойств. Таким образом, авторами предлагается эвристическое предположение о поэтапной фильтрации исследуемого изображения с последующим применением модифицированного алгоритма SSIM, подтверждаемое многочисленными экспериментами, которое связано с проведением эксперимента в соответствии со схемой рис. 2, а также формулами (1) и (2). Результаты исследования В соответствии с заявленными группами изображений и предложенным алгоритмом были получены результаты, которые сведены в табл. 2, где отражены более и менее устойчивые к структурно-яркостным изменениям изображения. Имена тестовых изображений приводятся в своем оригинале. Таблица 2 Результаты оценки устойчивости структурно-яркостных свойств изображений Имя тестовой группы Имя объекта Метрика* / Metrics Гербы городов федерального значения РФ COA_of_Sevastopol.svg 0,987357 Coat_of_Arms_of_Saint_Petersburg_(2003) 0,958037 Гербы областей РФ 121px-Coat_of_arms_of_Irkutsk_Oblast 0,991764 150px-Coat_of_arms_of_Vladimiri_Oblast 0,907005 Гербы краев РФ 120px-Coat_of_Arms_of_Kamchatka_Krai 0,987181 123px-Coat_of_arms_of_Krasnoyarsk_Krai 0,882960 Гербы республик РФ 122px-Coat_of_Arms_of_Buryatia 0,987416 150px-Coat_of_Arms_of_Altai_Republic 0,911687 Гербы автономных округов 114px-Coat_of_arms_of_Nenets_Autonomous_Okrug 0.959723 110px-Coat_of_Arms_of_Yamal_Nenetsia.svg 0,942475 pristine 01.jpg 0,997543 80.jpg 0,928472 *Величина метрики оценки устойчивости структурно-яркостных свойств герба Еврейской автономной области: 0,978383 Характер изменения индекса структурного сходства для изображений 01.jpg и 80.jpg из международной базы pristine приведен на рис. 4 (a, б). а Рис. 4. Результаты анализа изображений 01.jpg (а) и графики изменений их индексов структурного сходства б Рис. 4 (окончание). Результаты анализа изображений 80.jpg (б) и графики изменений их индексов структурного сходства В соответствии с полученными результатами отмечаем, что изображение 01.jpg является более устойчивым из базы pristine, изображение 80.jpg – менее устойчивое из той же базы. Заключение Предложенная методика оценки устойчивости структурно-яркостных свойств растровых изображений позволяет из группы родственных изображений выделить наиболее устойчивое и наименее устойчивое изображения. Соответственно, можно провести ранжирование изображений по предложенной метрике оценки устойчивости структурно-яркостных свойств изображений. Это, в свою очередь, позволяет выполнить сравнительную оценку конкурирующих изображений, чтобы выбрать одно из них. В то же время авторы готовы принять любые замечания специалистов в области цифровой обработки изображений.
1. Aleksandrov E. E., Savkina A. V. Komp'yuternaya grafika: ucheb. posobie. Saransk: Izd-vo Mordov. un-ta, 2005. 88 s.
2. Demin A. Yu. Osnovy komp'yuternoy grafiki: ucheb. posobie. Tomsk: Izd-vo Tomskogo politehn. un-ta, 2011. 191 s.
3. Gonsales R., Vuds R. Cifrovaya obrabotka izobrazheniy. M.: Tehnosfera, 2012. 1104 s.
4. Nushtaeva A. V., Savkina A. V. Laboratornyy praktikum po komp'yuternoy grafike: ucheb. posobie. Saransk: Izd-vo Mordov. un-ta, 2018. 132 s.
5. Nikulin E. A. Komp'yuternaya grafika. Modeli i algoritmy: ucheb. posobie. SPb.: Lan', 2018. 708 c.
6. Averin V. N. Komp'yuternaya inzhenernaya grafika: ucheb. posobie. M.: Academia, 2019. 208 c.
7. Matveev D. V., Sedov A. G. i dr. Ocenka kachestva cifrovyh izobrazheniy i videodannyh: ucheb.-metod. posobie. Yaroslavl': Izd-vo YarGU, 2018. 76 s.
8. Erofeev V. T., Afonin V. V., Kasimkina M. M. Vliyanie plastifikatorov na izmenenie cvetnosti LKM pod vozdeystviem agressivnyh sred // Lakokrasochnye materialy i ih primenenie. 2011. № 6. S. 38-41.
9. Cherushova N. V., Mitina E. A., Kasimkina M. M., Afonin V. V., Erofeev V. T. Ocenka izmeneniya dekorativnyh svoystv lakokrasochnyh materialov pod vozdeystviem ekspluatacionnyh faktorov // Vestn. Mordov. un-ta. 2008. № 4. S. 124-127.
10. Afonin V. V., Erofeeva I. V., Zotkina M. M., Emel'yanov D. V., Podzhivotov N. Yu. Etalonnaya ocenka kachestva izobrazheniy kompozicionnyh materialov, podverzhennyh vozdeystviyu polozhitel'nyh i otricatel'nyh temperatur // Vestn. MGSU. 2019. T. 14. Vyp. 1. S. 83-93. DOI:https://doi.org/10.22227/1997-0935.2019.1.83-93.
11. Babkin P. S., Pavlov Yu. N. Analiz i sravnenie ob'ektivnyh metodov ocenki kachestva izobrazheniy // Nauka i obrazovanie: nauch. izd. MGTU im. N. E. Baumana. 2014. № 9. S. 203-215.
12. Sidorov D. V. K voprosu ocenki kachestva mnozhestva vosstanovlennyh izobrazheniy // Prikladnaya informatika. 2008. № 4 (16). S. 92-95.
13. Yeganeh H., Wang Z. Objective quality assessment of tone-mapped images // IEEE Transactions on Image Processing. 2013. V. 22. Iss. 2. Pp. 657-667. DOI:https://doi.org/10.1109/tip.2012.2221725.
14. Gu K., Zhou J., Zhai G., Lin W., Bovik A. C. No-reference quality assessment of screen content pictures // IEEE Transactions on Image Processing. 2017. V. 26. N. 8. P. 4005-4017.
15. Pambrun J. F., Noumeir R. Limitations of the SSIM quality metric in the context of diagnostic imaging // Proc. of the IEEE International Conference on Image Processing, 2015. Pp. 2960-2963.
16. Starovoytov V. V., Starovoytov F. V. Sravnitel'nyy analiz bezetalonnyh mer ocenki kache-stva cifrovyh izobrazheniy // Sistemnyy analiz i prikladnaya informatika. 2017. № 1 (13). S. 24-32.
17. Starovoytov V. V. Utochnenie indeksa SSIM strukturnogo shodstva izobrazheniy // Informatika. 2018. T. 15. № 3. S. 41-55.
18. Ma J., Fan X., Yang S. X., Zhang X., Zhu X. Contrast Limited Adaptive His-togram Equalization Based Fusion for Underwater Image Enhancement // International Journal of Pattern Recognition and Artificial Intelligence. December 2017. N. 32 (07). DOI:https://doi.org/10.20944/preprints201703.0086.v1.
19. Wang Z., Bovik A. C. Modern image quality assessment // Synthesis Lectures on Image, Video, and Multimedia Processing. 2006. V. 2. N. 1. P. 1-156.
20. Zhou W., Bovik A. C., Sheikh H. R., Simoncelli E. P. Image Qualifty Assessment: From Error Visibility to Structural Similarity // IEEE Transactions on Image Processing. 2004. V. 13. Iss. 4. P. 600-612.
21. Starovoytov V. V. Indeks SSIM ne yavlyaetsya metrikoy i ploho ocenivaet shodstvo izobrazheniy // Sistemnyy analiz i prikladnaya informatika. 2019. № 2. S. 12-17.
22. Gonsales R., Vuds R., Eddins S. Cifrovaya obrabotka izobrazheniy v srede MATLAB. M.: Tehnosfera, 2006. 616 s.
23. Shapiro L., Stokman Dzh. Komp'yuternoe zrenie. M.: BINOM. Laboratoriya znaniy, 2013. 752 s.
