Россия
Россия
Россия
Предлагается определять оценку устойчивости структурных и яркостных свойств растровых изображений. Под оценкой устойчивости понимается возможность сохранения свойств изображения в результате обработки оригинала методами фильтрации. В качестве оригинальных изображений принимаются полутоновые варианты полноцветных изображений, представленных в цветовом пространстве RGB. К полутоновым изображениям применяется фильтрация посредством алгоритмов Гаусса, Винера и медианной фильтрации. Следующий шаг заключается в применении алгоритма SSIM для получения индекса структурного сходства между контрольным полутоновым изображением и отфильтрованным изображением. Для определения метрики оценки качества изображений рассчитывается площадь S многоугольника, заданного индексами сходства относительного контрольного изображения, и площадь Sp прямоугольника, в который вписывается многоугольник площадью S. В качестве испытуемых растровых изображений были приняты изображения из международной базы изображений TID2008 (imagedatabase 2008), TID2013 (imagedatabase 2013). Также были рассмотрены изображения официальных гербов субъектов Российской Федерации – краев, областей, республик и т. д. Результирующая оценка устойчивости определяется либо в виде среднего геометрического значения от четырех рассчитанных величин, либо в виде их среднего арифметического значения. Приведены результаты тестирования ряда групп растровых изображений, которые объединены общей тематикой или назначением. Из каждой группы изображений определяются максимальные и минимальные значения оценок устойчивости изображений к структурным и яркостным изменениям в соответствии с разработанным эвристическим алгоритмом. Полученные результаты могут быть использованы для сравнительной оценки конкурирующих изображений с целью выбора наиболее устойчивого к структурным и яркостным изменениям.
фильтрация, обработка изображений, структурно-яркостные свойства изображения, оценка устойчивости, индекс структурного сходства
Введение В настоящее время цифровая обработка изображений занимает значительное место среди различных научных направлений и входит во многие учебные дисциплины, по которым издаются дополнительные учебные пособия [1–7]. Одним из важных разделов обработки изображений является оценка их качества [7–20]. Среди методов оценки качества изображений выделяют объективные и субъективные методы, референсные и нереференсные методы [8–16, 19, 20]. Алгоритм SSIM (structure similarity) относится к группе референсных методов и алгоритмов. Несмотря на то, что он подвергается определенной критике, алгоритм SSIM [21] достаточно широко применяется. В предлагаемой работе алгоритм SSIM используется для сравнения изображений, которые прошли фильтрацию с помощью таких методов, как метод Гаусса, метод Винера и метод медианной фильтрации [1–4, 22]. Результат каждой фильтрации сравнивается с контрольным образцом, полутоновым изображением. Для выбранного алгоритма SSIM величина индекса структурного сходства принадлежит отрезку [0; 1], что позволяет привести другие величины к этому отрезку. Условно каждый результат фильтрации с последующим вычислением индекса структурного сходства можно отложить в прямоугольной системе координат по оси абсцисс (оригинал и фильтры), а сам результат – по оси ординат. Пример изменения индекса структурного сходства в результате проведенной фильтрации тестового изображения показан на рис. 1. Рис. 1. Изменение индекса структурного сходства Точка «Оригинал» соответствует контрольному изображению. Точка «Фильтр 1» соответствует гауссовой фильтрации, «Фильтр 2» – винеровской фильтрации, «Фильтр 3» – медианной фильтрации. Результаты фильтрации с последующим вычислением индекса структурного сходства с помощью SSIM можно рассматривать в виде многоугольника относительно оси абсцисс на координатной плоскости (рис. 1). Обозначим площадь такого многоугольника через S. Неизменность индекса структурного сходства будет отображаться прямоугольником площади Sp с высотой, равной единице. Видно, что площадь S составляет только часть площади Sp такого прямоугольника. При этом для структурно-устойчивых изображений пунктирная линия на рис. 1 будет практически параллельна оси абсцисс на уровне единицы. Сравниваемые изображения будут эквивалентны. Материалы и методы Для исследования приняты доступные растровые изображения, в частности, pristine из международных баз тестовых изображений TID2008, TID2013, официальные гербы городов, краев, республик, автономных округов, автономной области Российской федерации. Группы тестовых изображений сведены в табл. 1. Таблица 1 Группы тестовых изображений Группа Количество изображений Формат графических файлов Гербы городов федерального значения РФ (Москва, Санкт-Петербург, Севастополь) 3 .png Гербы областей РФ 46 .png Гербы краев РФ 10 .png Гербы республик РФ 22 .png Гербы автономных округов 4 .png Герб автономной области 1 .png pristine 90 .jpeg, .bmp Отметим, что названия графических файлов в pristine нумеруются от 01 до 90. В качестве среды цифрового анализа изображений принята система MATLAB [22], где имеется функция ssim для определения индекса структурного сходства двух изображений, фильтры imgaussfilt (G), wiener2 (W), medfilt2 (M). Имеются также функции чтения изображений из файла (imread), преобразования матрицы изображения к вещественному типу double (im2double) и rgb2gray для преобразования полноцветного изображения модели RGB к полутоновому изображению (grayscale – Gr). Следует отметить, что подобные функции существуют и в других системах, например OpenCV [23]. Предлагаемая схема определения метрики оценки устойчивости структурно-яркостных свойств одного изображения приведена на рис. 2. Рис. 2. Схема определения метрики оценки устойчивости структурно-яркостных свойств изображения В результате применения классического алгоритма SSIM [20] оценка структурного сходства принадлежит отрезку [–1; 1]. Здесь мы используем преобразования для каждого отфильтрованного (гауссовским, винеровским, медианным фильтрами) изображения, когда индекс структурного сходства приводится к отрезку [0; 1]: Gs = (ssim(G, Gr) + 1)/2; Ws = (ssim(W, Gr) + 1)/2; Ms = (ssim(M, Gr) + 1)/2, при этом значение 1 соответствует полному структурному сходству, в частности, когда изображение не было подвержено преобразованиям. Для отображения результатов на координатной плоскости результаты Gs, Ws, Ms сортируются по убыванию, после чего вычисляется площадь (S) и определяется ее отношение (Ksp) к площади прямоугольника Sp, при этом выполняется очевидное условие Sp S: Ksp = S/Sp (рис. 3). Рис. 3. Отношение S к Sp с учетом данных оригинала и фильтров После вычисления величин Gs, Ws, Ms, Ksp определяется метрика Metrics оценки устойчивости структурно-яркостных свойств изображения. При этом метрика определяется через среднее геометрическое значение, если величины Gs, Ws, Ms, Ksp больше нуля, в противном случае (когда есть одно из нулевых значений) расчет метрики выполняется через среднее арифметическое, т. е. (1) (2) В случае неизменности структурно-яркостных свойств изображения метрика Metrics будет стремиться к единице на введенном авторами графике типа рис. 3. Это, в свою очередь, будет означать, что изображение практически не подвергается искажениям в результате проведенной над ним поэтапной фильтрации. Такое изображение устойчиво к изменению своих структурно-яркостных свойств в результате возможных непредвиденных внешних воздействий. В противном случае изображение следует считать менее устойчивым к сохранению структурно-яркостных свойств. Таким образом, авторами предлагается эвристическое предположение о поэтапной фильтрации исследуемого изображения с последующим применением модифицированного алгоритма SSIM, подтверждаемое многочисленными экспериментами, которое связано с проведением эксперимента в соответствии со схемой рис. 2, а также формулами (1) и (2). Результаты исследования В соответствии с заявленными группами изображений и предложенным алгоритмом были получены результаты, которые сведены в табл. 2, где отражены более и менее устойчивые к структурно-яркостным изменениям изображения. Имена тестовых изображений приводятся в своем оригинале. Таблица 2 Результаты оценки устойчивости структурно-яркостных свойств изображений Имя тестовой группы Имя объекта Метрика* / Metrics Гербы городов федерального значения РФ COA_of_Sevastopol.svg 0,987357 Coat_of_Arms_of_Saint_Petersburg_(2003) 0,958037 Гербы областей РФ 121px-Coat_of_arms_of_Irkutsk_Oblast 0,991764 150px-Coat_of_arms_of_Vladimiri_Oblast 0,907005 Гербы краев РФ 120px-Coat_of_Arms_of_Kamchatka_Krai 0,987181 123px-Coat_of_arms_of_Krasnoyarsk_Krai 0,882960 Гербы республик РФ 122px-Coat_of_Arms_of_Buryatia 0,987416 150px-Coat_of_Arms_of_Altai_Republic 0,911687 Гербы автономных округов 114px-Coat_of_arms_of_Nenets_Autonomous_Okrug 0.959723 110px-Coat_of_Arms_of_Yamal_Nenetsia.svg 0,942475 pristine 01.jpg 0,997543 80.jpg 0,928472 *Величина метрики оценки устойчивости структурно-яркостных свойств герба Еврейской автономной области: 0,978383 Характер изменения индекса структурного сходства для изображений 01.jpg и 80.jpg из международной базы pristine приведен на рис. 4 (a, б). а Рис. 4. Результаты анализа изображений 01.jpg (а) и графики изменений их индексов структурного сходства б Рис. 4 (окончание). Результаты анализа изображений 80.jpg (б) и графики изменений их индексов структурного сходства В соответствии с полученными результатами отмечаем, что изображение 01.jpg является более устойчивым из базы pristine, изображение 80.jpg – менее устойчивое из той же базы. Заключение Предложенная методика оценки устойчивости структурно-яркостных свойств растровых изображений позволяет из группы родственных изображений выделить наиболее устойчивое и наименее устойчивое изображения. Соответственно, можно провести ранжирование изображений по предложенной метрике оценки устойчивости структурно-яркостных свойств изображений. Это, в свою очередь, позволяет выполнить сравнительную оценку конкурирующих изображений, чтобы выбрать одно из них. В то же время авторы готовы принять любые замечания специалистов в области цифровой обработки изображений.
1. Александров Э. Э., Савкина А. В. Компьютерная графика: учеб. пособие. Саранск: Изд-во Мордов. ун-та, 2005. 88 с.
2. Дёмин А. Ю. Основы компьютерной графики: учеб. пособие. Томск: Изд-во Томского политехн. ун-та, 2011. 191 с.
3. Гонсалес Р., Вудс Р. Цифровая обработка изображений. М.: Техносфера, 2012. 1104 с.
4. Нуштаева А. В., Савкина А. В. Лабораторный практикум по компьютерной графике: учеб. пособие. Саранск: Изд-во Мордов. ун-та, 2018. 132 с.
5. Никулин Е. А. Компьютерная графика. Модели и алгоритмы: учеб. пособие. СПб.: Лань, 2018. 708 c.
6. Аверин В. Н. Компьютерная инженерная графика: учеб. пособие. М.: Academia, 2019. 208 c.
7. Матвеев Д. В., Седов А. Г. и др. Оценка качества цифровых изображений и видеоданных: учеб.-метод. пособие. Ярославль: Изд-во ЯрГУ, 2018. 76 с.
8. Ерофеев В. Т., Афонин В. В., Касимкина М. М. Влияние пластификаторов на изменение цветности ЛКМ под воздействием агрессивных сред // Лакокрасочные материалы и их применение. 2011. № 6. С. 38-41.
9. Черушова Н. В., Митина Е. А., Касимкина М. М., Афонин В. В., Ерофеев В. Т. Оценка изменения декоративных свойств лакокрасочных материалов под воздействием эксплуатационных факторов // Вестн. Мордов. ун-та. 2008. № 4. С. 124-127.
10. Афонин В. В., Ерофеева И. В., Зоткина М. М., Емельянов Д. В., Подживотов Н. Ю. Эталонная оценка качества изображений композиционных материалов, подверженных воздействию положительных и отрицательных температур // Вестн. МГСУ. 2019. Т. 14. Вып. 1. С. 83-93. DOI:https://doi.org/10.22227/1997-0935.2019.1.83-93.
11. Бабкин П. С., Павлов Ю. Н. Анализ и сравнение объективных методов оценки качества изображений // Наука и образование: науч. изд. МГТУ им. Н. Э. Баумана. 2014. № 9. С. 203-215.
12. Сидоров Д. В. К вопросу оценки качества множества восстановленных изображений // Прикладная информатика. 2008. № 4 (16). С. 92-95.
13. Yeganeh H., Wang Z. Objective quality assessment of tone-mapped images // IEEE Transactions on Image Processing. 2013. V. 22. Iss. 2. Pp. 657-667. DOI:https://doi.org/10.1109/tip.2012.2221725.
14. Gu K., Zhou J., Zhai G., Lin W., Bovik A. C. No-reference quality assessment of screen content pictures // IEEE Transactions on Image Processing. 2017. V. 26. N. 8. P. 4005-4017.
15. Pambrun J. F., Noumeir R. Limitations of the SSIM quality metric in the context of diagnostic imaging // Proc. of the IEEE International Conference on Image Processing, 2015. Pp. 2960-2963.
16. Старовойтов В. В., Старовойтов Ф. В. Сравнительный анализ безэталонных мер оценки каче-ства цифровых изображений // Системный анализ и прикладная информатика. 2017. № 1 (13). С. 24-32.
17. Старовойтов В. В. Уточнение индекса SSIM структурного сходства изображений // Информатика. 2018. Т. 15. № 3. С. 41-55.
18. Ma J., Fan X., Yang S. X., Zhang X., Zhu X. Contrast Limited Adaptive His-togram Equalization Based Fusion for Underwater Image Enhancement // International Journal of Pattern Recognition and Artificial Intelligence. December 2017. N. 32 (07). DOI:https://doi.org/10.20944/preprints201703.0086.v1.
19. Wang Z., Bovik A. C. Modern image quality assessment // Synthesis Lectures on Image, Video, and Multimedia Processing. 2006. V. 2. N. 1. P. 1-156.
20. Zhou W., Bovik A. C., Sheikh H. R., Simoncelli E. P. Image Qualifty Assessment: From Error Visibility to Structural Similarity // IEEE Transactions on Image Processing. 2004. V. 13. Iss. 4. P. 600-612.
21. Старовойтов В. В. Индекс SSIM не является метрикой и плохо оценивает сходство изображений // Системный анализ и прикладная информатика. 2019. № 2. С. 12-17.
22. Гонсалес Р., Вудс Р., Эддинс С. Цифровая обработка изображений в среде MATLAB. М.: Техносфера, 2006. 616 с.
23. Шапиро Л., Стокман Дж. Компьютерное зрение. М.: БИНОМ. Лаборатория знаний, 2013. 752 с.
