APPROACHES TO THE IDENTIFICATION OF THE STATE OF 3D-SURFACE BY 2D-OBJECTS IMAGES AND THEIR MASS NUMBER
Authors:
1.
Kuban State Technological University
Type:
Article
Pages:
from 55
to 64
Status:
Published
Received:
05.10.2016
Accepted:
25.10.2016
Published:
25.10.2016
Subject area:
VAC 05.12.2013 Системы, сети и устройства телекоммуникаций
VAC 05.13.01 Системный анализ, управление и обработка информации (по отраслям)
VAC 05.13.06 Автоматизация и управление технологическими процессами и производствами (по отраслям)
VAC 05.13.10 Управление в социальных и экономических системах
VAC 05.13.18 Математическое моделирование, численные методы и комплексы программ
VAC 05.13.19 Методы и системы защиты информации, информационная безопасность
UDK 004.9
GRNTI 20.01 Общие вопросы информатики
GRNTI 28.01 Общие вопросы кибернетики
GRNTI 49.01 Общие вопросы связи
GRNTI 50.01 Общие вопросы автоматики и вычислительной техники
GRNTI 82.01 Общие вопросы организации и управления
VAC 05.13.01 Системный анализ, управление и обработка информации (по отраслям)
VAC 05.13.06 Автоматизация и управление технологическими процессами и производствами (по отраслям)
VAC 05.13.10 Управление в социальных и экономических системах
VAC 05.13.18 Математическое моделирование, численные методы и комплексы программ
VAC 05.13.19 Методы и системы защиты информации, информационная безопасность
UDK 004.9
GRNTI 20.01 Общие вопросы информатики
GRNTI 28.01 Общие вопросы кибернетики
GRNTI 49.01 Общие вопросы связи
GRNTI 50.01 Общие вопросы автоматики и вычислительной техники
GRNTI 82.01 Общие вопросы организации и управления
Language:
Russian
Keywords:
algorithms for computer vision systems, 3D-surface status, disparity map, statuses identification
Abstract (English):
The development of the decision support systems in the technological process control, quality control of products, photo separation etc., needs to provide additional to computer vision recognition systems for the type and kinds of objects (of natural origin and their mass quantity with high variability within the classes and the vicinity of the classes themselves) functionality of identification and detailed quantitative assessment of the state of the surface. The possibilities of refinement of 2D-identification of the 3D-object state (the curvature of the surface and invisible sides) by the set k = 2, 3, ... of different angle shots in case of using not only one, but several cameras. To make up for the loss of information about the invisible on the 2D-image parts of the surface of the 3D-object, the algorithm for the computer vision system, providing additional to recognition of the types and kinds of objects functionality of identification and quantitative assessment of their condition, sensitive to the details of the surface, is presented. The proposed algorithm of control of information on the missing parts of the object surface is more effective, fast and stable in comparison with the algorithm, based on the restoration of 3D-image.
The development of the decision support systems in the technological process control, quality control of products, photo separation etc., needs to provide additional to computer vision recognition systems for the type and kinds of objects (of natural origin and their mass quantity with high variability within the classes and the vicinity of the classes themselves) functionality of identification and detailed quantitative assessment of the state of the surface. The possibilities of refinement of 2D-identification of the 3D-object state (the curvature of the surface and invisible sides) by the set k = 2, 3, ... of different angle shots in case of using not only one, but several cameras. To make up for the loss of information about the invisible on the 2D-image parts of the surface of the 3D-object, the algorithm for the computer vision system, providing additional to recognition of the types and kinds of objects functionality of identification and quantitative assessment of their condition, sensitive to the details of the surface, is presented. The proposed algorithm of control of information on the missing parts of the object surface is more effective, fast and stable in comparison with the algorithm, based on the restoration of 3D-image.
Keywords:
algorithms for computer vision systems, 3D-surface status, disparity map, statuses identification
algorithms for computer vision systems, 3D-surface status, disparity map, statuses identification
Введение В настоящее время управление технологическими процессами, контроль качества продукции и т. д. требуют развития систем поддержки принятия решений (СППР), включающих всё новую функциональность систем компьютерного зрения (СКЗ) [1-4]. К распознаванию типов и видов объектов (природного происхождения и их массового количества, с высокой вариабельностью внутри классов и близостью самих классов), необходимо добавление такой функциональности, как идентификация и детальная количественная оценка состояния их поверхности. В работах [2-5] для решения данной задачи учитывается только информация с мгновенных плоских снимков объектов. Однако это может служить источником значительных погрешностей, т. к. для получения информации о детальном состоянии всего объекта необходимо учесть информацию, полученную с разных камер. Алгоритмы, применяемые к мгновенным 2D-изображениям СКЗ, не учитывают информацию об изображении 3D-объекта (о кривизне поверхности и о невидимых сторонах) из набора ракурсных снимков (в случае не одной, а нескольких видеокамер). Общая структура блока СППР, работающего с набором k разноракурсных снимков СКЗ, показана на рис. 1. Задача идентификации и оценки состояния 3D-поверхности отдельных объектов и их массового количества сводится к следующим подзадачам: восстановление информации о 3D-поверхности по набору 2D-изображений разного ракурса; бинаризация «фон-объект»; выделение единичных объектов из общей массы; распознавание типов и видов единичных объектов; сегментация каждого объекта и статистический анализ каждого сегмента. Подзадача классификации объектов может быть решена по 2D-изображениям [5]. По подзадачам бинаризации и сегментации алгоритмы предложены в [6, 7] - как для плоского, так и для 3D-случая. Алгоритмы по восстановлению информации о 3D-поверхности известны [8-12]. На этой основе ниже рассматриваются возможности уточнения 2D-идентификации состояния 3D-объекта - о кривизне поверхности и о невидимых сторонах - по набору k = 2, 3; … разноракурсных снимков, в случае не одной, а нескольких видеокамер. Для восполнения потерь информации о частях поверхности 3D-объекта, невидимых на 2D-изображении, предложен алгоритм для СКЗ, обеспечивающий дополнительную к распознаванию типов и видов объектов функциональность идентификации и количественной оценки их состояния, чувствительную к деталям их поверхности. Рис. 1. Общая блок-схема блока СППР, работающего с набором k разноракурсных снимков СКЗ Восстановление 3D-поверхности по 2D-изображениям от нескольких камер, сегментация и количественная оценка состояния Выполнение детального анализа поверхности 3D-объектов на основании одного 2D-снимка ведёт к значительным погрешностям. Это можно продемонстрировать на примере расчета доли площади пятна на плоском и трёхмерном объекте. Обозначим: R - радиус единичного объекта; ϰ - кривизна его поверхности, Rкр ≈ 1/ ϰ - радиус кривизны; h - высота сектора поверхности. Потери информации при работе с 2D-изображением (по сравнению с ракурсными изображениями 3D-объекта) можно разделить на 2 вида: 1. Потеря информации о кривизне поверхности единичных объектов. Если оценивать площадь объекта, то при совпадении радиуса кривизны 1/ ϰ с радиусом объекта R площадь видимого на 2D круга будет меньше площади 3D-объекта в данном случае в 4 раза, т. е. ошибка в среднем 400 %. Сравним доли площади секторов на 3D- и 2D-изображениях объекта. На 2D-изображении доля составляет ; на поверхности 3D-объекта доля сектора порядка , где при h << R. Видно, что погрешность в данном случае составляет те же ≈ 400 %. 2. Потеря информации о невидимых сторонах каждого единичного объекта: со всех ракурсов происходит сбор информации о разных сторонах объекта. Мы добавляем к одному 2D-снимку информацию о состоянии поверхности, видимой только на 2D-снимке другого ракурса. Если предположить, что пятна симметричны на разных ракурсах, то ошибка, очевидно, составит 200 %. На рис. 2 представлены два варианта алгоритма восстановления информации о 3D-поверхности по набору 2D-изображений разного ракурса. Известен алгоритм восстановления 3D-поверхности по набору k разноракурсных снимков (рис. 2, а). Вариант на рис. 2, а призван устранить как потери информации о невидимых сторонах каждого единичного объекта (со всех ракурсов происходит сбор информации о разных сторонах объекта: мы добавляем к одному 2D-снимку информацию о состоянии поверхности, видимой только на 2D-снимке другого ракурса), так и о кривизне поверхности единичных объектов. Построение карты диспарантности осуществляется по алгоритму на основе сравнения графов [12]. Восстановление 3D-изображения происходит по алгоритму [9], методом восстановления 3D-поверхности по карте можно получить координаты точек - «пикселей» - на поверхности объекта. Бинаризация «фон-объект» осуществляется по алгоритму [6]. «Нарезка» общего изображения на многогранники с единичными 3D-объектами происходит по алгоритму ELSD. Вариант на рис. 2, а способен производить уточнение сегментов на 3D-изображении по сравнению с его проекцией на плоскость камеры. а б Рис. 2. Блок-схема восстановления информации о 3D-поверхности по набору 2D-изображений разного ракурса: а - получение точек поверхности объекта; б - получение данных о разных сторонах 3D-объекта Результаты экспериментов показали нестабильность работы (и, как следствие, неэффективность), сравнительно низкую скорость из-за вычислительной сложности. Если осуществлять съёмку двумя камерами под большим углом друг к другу, алгоритмы стереозрения дают сбой (рис. 3). а б В Рис. 3. Пример получения пикселей «невидимой» стороны объекта алгоритмом стереозрения (3D-поверхность лимона): а - левое изображение; б - правое изображение; в - правое изображение с недостающими пикселями Отдельно следует рассмотреть встречающийся на практике случай двух камер, расположенных с разных сторон объектов (т. е. под углом 180º). В данном случае никаких трудностей решение задачи не представляет, т. к. не строится карта диспарантности, очевидно сопоставление единичных объектов, а информация с одного 2D-снимка целиком добавляется к информации о состоянии поверхности, видимой на 2D-снимке с противоположной стороны. Восстановление информации о невидимых частях 3D-поверхности по набору 2D-изображений объекта разного ракурса, без учёта кривизны Для уточнения информации о невидимых сторонах объекта предлагается использовать алгоритм, представленный на рис. 2, б, т. к. он более стабильный и имеет большую скорость работы по сравнению с вариантом на рис. 2, а. Вариант на рис. 2, б призван устранить только потери информации о «невидимых» сторонах каждого единичного объекта, без учёта кривизны. Получив изображения с двух разных камер, необходимо сделать бинаризацию и выделение единичных объектов [6] для каждого изображения и получить центры каждого объекта. Для выполнения сопоставления объектов на двух изображениях необходимо осуществить поиск соответствующих точек [12]. В случае, когда соответствующие точки находятся внутри объекта, сопоставить объекты можно по этим точкам. Однако возможен случай, когда внутри части объектов нет соответствующих точек. Тогда необходимо сопоставлять объекты по алгоритму, основанному на близости найденных соответствующих точек к центрам объектов. В примере на рис. 4 предполагается, что в цепочке ракурсных снимков левые участки объектов на снимках слева не могут быть самыми правыми на снимках справа. а б в г д Рис. 4. Пример результата варианта на рис. 2, б (3D-поверхность яблока): а - левое изображение; б - среднее изображение; в - правое изображение; г - пиксели из б, невидимые на а; д - пиксели из в, невидимые на б Результат дальнейшего анализа по алгоритму, описанному в [6, 7], показан на рис. 5. Рис. 5. Сегментация и анализ поверхности объекта по алгоритму [6, 7] а б в Рис. 6. Пример сопоставления единичных объектов на наборе k = 3 снимков разного ракурса: а - левое изображение с общими точками на левом и среднем изображении; б - среднее изображение с общими точками на среднем и правом изображении; в - правое изображение с общими точками на левом и правом изображении Уточним шаг сопоставления единичных объектов на наборе k разноракурсных снимков (рис. 6). Пусть m - число соответствующих точек, n - число объектов. В случае, когда внутри части объектов нет соответствующих точек, необходимо сопоставлять объекты по следующему алгоритму: 1. Подать на вход изображения с левой и правой камеры. 2. Вычислить единичные объекты на каждом изображении. 3. Цикл по соответствующим точкам двух изображений. 3.1. Цикл по объектам двух изображений 3.1.1. Вычислить расстояния от точки до объекта и сохранить это значение. После выполнения цикла 3 будут получены 2 матрицы: и (1) Необходимо рассматривать минимальные расстояния от каждой точки до центра соответствующего объекта, остальные расстояния в матрице M установить в значение -1. Все данные, необходимые для сопоставления объектов, записываются в матрицу, имеющую размерность n × n. Перед выполнением циклов матрица Т должна быть нулевой. Далее необходимо выполнить следующие операции: 1. Цикл по объектам левого изображения. 1.1. Цикл по объектам правого изображения. 1.1.1. Цикл по точкам. 1.1.2. Если рассматриваемая точка находится ближе всего к объекту k на левом изображении и ближе всего к объекту s на правом изображении, то увеличиваем значение на 1. Если минимальное расстояние определить невозможно (например, присутствует несколько объектов), имеющих одинаковое расстояние от точки до нескольких объектов, то нужно установить . 2. Выполнить преобразование Tp = T/m - поэлементное деление на число соответствующих точек. В матрице Tp содержатся вероятности сопоставления объектов. 3. Определить максимальные значения матрицы Tp. 4. Максимальные значения будут идентифицировать соответствующие объекты. Количественная оценка состояния 3D-поверхности по карте диспарантности Блок-схемы алгоритмов блока СППР, работающего с набором k разноракурсных снимков СКЗ, показаны на рис. 7. Внутренним циклом рабочего режима является распознавание состояния каждого сегмента изображения каждого из единичных объектов на 2D-кадре (например, объекта на рис. 4 и 5). Проверка гипотезы о принадлежности неизвестного сегмента к определённому из базы данных для оценки состояния поверхности объектов производится с использованием критерия согласия Пирсона χ2: , (2) где pijt и pijtT - вероятности попадания цветовых характеристик пикселя неизвестного сегмента и сегмента из обучающей выборки в заданные диапазоны (Ri, Gj, Bt), на которые разбиты интервалы [0; 255] цветовых RGB-шкал координат пикселей (здесь I = J = K = 255 в интервалах [0; 255] RGB-шкал). Критическое значение χ2кр = G для (2) устанавливается эмпирически: если χ2 > G, то для данного класса изображений сегмент устанавливается как «неопределённый». Для класса изображений на рис. 3 и 4 было установлено, что G = 120: из 103 сегментов, представленных для тестирования системой, более 95 %, удовлетворяющих данному условию, являлись примесью, т. е. система на них не обучалась (их не было в обучающей выборке). а Рис. 7. Блок-схемы алгоритмов: а - режим обучения системы. БД - база данных б в Рис. 7. Продолжение. Блок-схемы алгоритмов: б - рабочий режим системы; в - идентификация сегмента системой После идентификации сегмента (см. рис. 5) производится количественная оценка каждого единичного объекта, %. Например, площадь различных пятен на поверхности единичных объектов, можно оценить как число пикселей от общего числа пикселей восстановленной поверхности объекта. Например, по восстановленной поверхности изображения на рис. 5 можно сделать вывод, что блик составляет 3 %, тёмная часть - 6 %, красная часть - 17 %, зелёная часть - 74 %. Заключение Таким образом, в ходе исследований: - рассмотрены возможности уточнения по ракурсным изображениям (в случае нескольких видеокамер, по сравнению с одиночным мгновенным плоским снимком от одной камеры) решения задачи идентификации системой компьютерного зрения с детальной оценкой состояния поверхности объектов природного происхождения и их массового количества, с высокой вариабельностью внутри классов и близостью самих классов, при контроле качества продукции и фотосепарации, а также принятия решений в ходе управления технологическим процессом; - экспериментально проверен способ, основанный на известном алгоритме восстановления 3D-поверхности, который позволяет снизить погрешности как при помощи учёта кривизны поверхности объектов, так и с помощью информации о её разных сторонах. Результаты экспериментов показали нестабильность работы способа (и, как следствие, неэффективность) и сравнительно низкую скорость из-за сложности вычислений. Доработка способа является задачей дальнейших исследований; - для ликвидации погрешности потери информации о частях поверхности 3D-объекта, невидимых на 2D-изображении, предложен алгоритм СКЗ, обеспечивающий дополнительную к распознаванию типов и видов объектов функциональность СКЗ, состоящую в идентификации и количественной оценке их состояния по набору k = 2, 3; … разноракурсных снимков, чувствительную к деталям поверхности. Предложенный алгоритм учёта информации о недостающих участках поверхности объектов является более эффективным, быстрым и стабильным по сравнению с алгоритмом, основанным на восстановлении 3D-изображения.
1. Computer Vision Technology for Food Quality Evaluation. Ed. by Da-Wen Sun, Published by Elsevier Academic Press, San Diego, CA, USA. 2011. 600 p.
2. Ziyatdinova V. A., Shazzo A. Yu., Usatikov S. V., Pogorelova I. I. Ocenka kachestva risa s ispol'zovaniem sovremennyh metodov analiza cvetovyh harakteristik edinichnyh zeren // Izv. vuzov. Pischevaya tehnologiya. 2015. № 2-3. S. 100-104.
3. Ziyatdinova V. A., Shazzo A. Yu., Usatikov S. V., Pogorelova I. I. Operativnyy ekspress-kontrol' isporchennyh zeren risa s ispol'zovaniem sistem komp'yuternogo zreniya // Izv. vuzov. Pischevaya tehnologiya. 2015. № 4. S. 100-104.
4. Ziyatdinova V. A., Shazzo A. Yu., Usatikov S. V., Pogorelova I. I. Ob'ektivnyy metod raspoznavaniya i ocenki nedozrelogo i krasnozernogo risa // Izv. vuzov. Pischevaya tehnologiya. 2016. № 1. S. 92-96.
5. Goronkov K. A., Rudenko O. V., Usatikov C. V. Baza dannyh obuchayuschey vyborki dlya vysokotochnogo raspoznavaniya ploskih izobrazheniy sortov zlakovyh i maslichnyh kul'tur // Fundamental'nye issledovaniya. 2011. Vyp. 8, ch. 2. S. 342-346.
6. Ostapov D. S. Vliyanie na korrektnost' binarizacii «fon-ob'ekt» predobrabotki sglazhivaniem svetloty ploskogo izobrazheniya // Nauka Kubani. 2016. № 1. S. 64-69.
7. Ostapov D. S. Adaptivnyy algoritm k-means segmentacii izobrazheniy ob'ektov prirodnogo proishozhdeniya // VII nauch.-tehn. konf. «Tehnicheskoe zrenie v sistemah upravleniya - 2016» (Moskva, IKI RAN, 15-17 marta 2016 g.). M., 2016. S. 70-71.
8. Arhipov O. P., Sorokin A. I. Algoritm poiska identichnyh tochek na segmentirovannyh stereoskopicheskih izobrazheniyah // Sb. tr. VI Mezhdunar. nauch.-tehn. konf. «Informacionnye tehnologii v nauke, obrazovanii i proizvodstve» (22-23 maya 2014 g.). Orel, 2014. S. 1-8.
9. Tupicyn I. V. Rekonstrukciya trehmernoy modeli ob'ekta na osnove stereopary pri reshenii zadach 3D-modelirovaniya // Vestn. Sibir. gos. aerokosm. un-ta im. akad. M. F. Reshetneva. 2011. № 3 (36). S. 88-92.
10. Sun J., Shum H., Zheng N. Stereo matching using belief propagation. In: ECCV, 2002. P. 510-524.
11. Yan Liu, Lo S. H., Zhen-Qun Guan, Hong-Wu Zhang. Boundary recovery for 3D Delaunay triangulation // Finite Elements in Analysis and Design. 2014. Vol. 84. P. 32-43.
12. Agarkov A. V. Postroenie karty disparantnosti na osnove sravneniya grafov // Iskusstvennyy intellekt. 2003. № 1. S. 126-136.
