ПОДХОДЫ К ИДЕНТИФИКАЦИИ СОСТОЯНИЯ 3D-ПОВЕРХНОСТИ ПО 2D-ИЗОБРАЖЕНИЯМ ЕДИНИЧНЫХ ОБЪЕКТОВ И ИХ МАССОВОГО КОЛИЧЕСТВА
Авторы:
1.
Кубанский государственный технологический университет
Тип:
Статья
Страницы:
с 55
по 64
Статус:
Опубликован
Получено:
05.10.2016
Одобрено:
25.10.2016
Опубликовано:
25.10.2016
Классификаторы:
ВАК 05.12.2013 Системы, сети и устройства телекоммуникаций
ВАК 05.13.01 Системный анализ, управление и обработка информации (по отраслям)
ВАК 05.13.06 Автоматизация и управление технологическими процессами и производствами (по отраслям)
ВАК 05.13.10 Управление в социальных и экономических системах
ВАК 05.13.18 Математическое моделирование, численные методы и комплексы программ
ВАК 05.13.19 Методы и системы защиты информации, информационная безопасность
УДК 004.9
ГРНТИ 20.01 Общие вопросы информатики
ГРНТИ 28.01 Общие вопросы кибернетики
ГРНТИ 49.01 Общие вопросы связи
ГРНТИ 50.01 Общие вопросы автоматики и вычислительной техники
ГРНТИ 82.01 Общие вопросы организации и управления
ВАК 05.13.01 Системный анализ, управление и обработка информации (по отраслям)
ВАК 05.13.06 Автоматизация и управление технологическими процессами и производствами (по отраслям)
ВАК 05.13.10 Управление в социальных и экономических системах
ВАК 05.13.18 Математическое моделирование, численные методы и комплексы программ
ВАК 05.13.19 Методы и системы защиты информации, информационная безопасность
УДК 004.9
ГРНТИ 20.01 Общие вопросы информатики
ГРНТИ 28.01 Общие вопросы кибернетики
ГРНТИ 49.01 Общие вопросы связи
ГРНТИ 50.01 Общие вопросы автоматики и вычислительной техники
ГРНТИ 82.01 Общие вопросы организации и управления
Язык материала:
русский
Ключевые слова:
алгоритмы систем компьютерного зрения, состояние поверхности 3D-объектов, карта диспарантности, идентификация состояний
Аннотация (русский):
Разработка систем поддержки принятия решений в ходе управления технологическим процессом, при контроле качества продукции, фотосепарации и т. д. требует обеспечения дополнительной к распознаванию системами компьютерного зрения типов и видов объектов (природного происхождения и их массового количества, с высокой вариабельностью внутри классов и близостью самих классов) функциональности идентификации и детальной количественной оценки состояния их поверхности. Рассмотрены возможности уточнения 2D-идентификации состояния 3D-объекта (о кривизне поверхности и о невидимых сторонах) по набору k = 2, 3, … разноракурсных снимков в случае не одной, а нескольких видеокамер. Для восполнения потерь информации о частях поверхности 3D-объекта, невидимых на 2D-изображении, предложен алгоритм для систем компьютерного зрения, обеспечивающий дополнительную к распознаванию типов и видов объектов функциональность идентификации и количественной оценки их состояния, чувствительную к деталям их поверхности. Предложенный алгоритм учёта информации о недостающих участках поверхности объектов является более эффективным, быстрым и стабильным по сравнению с алгоритмом, основанным на восстановлении 3D-изображения.
Разработка систем поддержки принятия решений в ходе управления технологическим процессом, при контроле качества продукции, фотосепарации и т. д. требует обеспечения дополнительной к распознаванию системами компьютерного зрения типов и видов объектов (природного происхождения и их массового количества, с высокой вариабельностью внутри классов и близостью самих классов) функциональности идентификации и детальной количественной оценки состояния их поверхности. Рассмотрены возможности уточнения 2D-идентификации состояния 3D-объекта (о кривизне поверхности и о невидимых сторонах) по набору k = 2, 3, … разноракурсных снимков в случае не одной, а нескольких видеокамер. Для восполнения потерь информации о частях поверхности 3D-объекта, невидимых на 2D-изображении, предложен алгоритм для систем компьютерного зрения, обеспечивающий дополнительную к распознаванию типов и видов объектов функциональность идентификации и количественной оценки их состояния, чувствительную к деталям их поверхности. Предложенный алгоритм учёта информации о недостающих участках поверхности объектов является более эффективным, быстрым и стабильным по сравнению с алгоритмом, основанным на восстановлении 3D-изображения.
Ключевые слова:
алгоритмы систем компьютерного зрения, состояние поверхности 3D-объектов, карта диспарантности, идентификация состояний
алгоритмы систем компьютерного зрения, состояние поверхности 3D-объектов, карта диспарантности, идентификация состояний
Введение В настоящее время управление технологическими процессами, контроль качества продукции и т. д. требуют развития систем поддержки принятия решений (СППР), включающих всё новую функциональность систем компьютерного зрения (СКЗ) [1-4]. К распознаванию типов и видов объектов (природного происхождения и их массового количества, с высокой вариабельностью внутри классов и близостью самих классов), необходимо добавление такой функциональности, как идентификация и детальная количественная оценка состояния их поверхности. В работах [2-5] для решения данной задачи учитывается только информация с мгновенных плоских снимков объектов. Однако это может служить источником значительных погрешностей, т. к. для получения информации о детальном состоянии всего объекта необходимо учесть информацию, полученную с разных камер. Алгоритмы, применяемые к мгновенным 2D-изображениям СКЗ, не учитывают информацию об изображении 3D-объекта (о кривизне поверхности и о невидимых сторонах) из набора ракурсных снимков (в случае не одной, а нескольких видеокамер). Общая структура блока СППР, работающего с набором k разноракурсных снимков СКЗ, показана на рис. 1. Задача идентификации и оценки состояния 3D-поверхности отдельных объектов и их массового количества сводится к следующим подзадачам: восстановление информации о 3D-поверхности по набору 2D-изображений разного ракурса; бинаризация «фон-объект»; выделение единичных объектов из общей массы; распознавание типов и видов единичных объектов; сегментация каждого объекта и статистический анализ каждого сегмента. Подзадача классификации объектов может быть решена по 2D-изображениям [5]. По подзадачам бинаризации и сегментации алгоритмы предложены в [6, 7] - как для плоского, так и для 3D-случая. Алгоритмы по восстановлению информации о 3D-поверхности известны [8-12]. На этой основе ниже рассматриваются возможности уточнения 2D-идентификации состояния 3D-объекта - о кривизне поверхности и о невидимых сторонах - по набору k = 2, 3; … разноракурсных снимков, в случае не одной, а нескольких видеокамер. Для восполнения потерь информации о частях поверхности 3D-объекта, невидимых на 2D-изображении, предложен алгоритм для СКЗ, обеспечивающий дополнительную к распознаванию типов и видов объектов функциональность идентификации и количественной оценки их состояния, чувствительную к деталям их поверхности. Рис. 1. Общая блок-схема блока СППР, работающего с набором k разноракурсных снимков СКЗ Восстановление 3D-поверхности по 2D-изображениям от нескольких камер, сегментация и количественная оценка состояния Выполнение детального анализа поверхности 3D-объектов на основании одного 2D-снимка ведёт к значительным погрешностям. Это можно продемонстрировать на примере расчета доли площади пятна на плоском и трёхмерном объекте. Обозначим: R - радиус единичного объекта; ϰ - кривизна его поверхности, Rкр ≈ 1/ ϰ - радиус кривизны; h - высота сектора поверхности. Потери информации при работе с 2D-изображением (по сравнению с ракурсными изображениями 3D-объекта) можно разделить на 2 вида: 1. Потеря информации о кривизне поверхности единичных объектов. Если оценивать площадь объекта, то при совпадении радиуса кривизны 1/ ϰ с радиусом объекта R площадь видимого на 2D круга будет меньше площади 3D-объекта в данном случае в 4 раза, т. е. ошибка в среднем 400 %. Сравним доли площади секторов на 3D- и 2D-изображениях объекта. На 2D-изображении доля составляет ; на поверхности 3D-объекта доля сектора порядка , где при h << R. Видно, что погрешность в данном случае составляет те же ≈ 400 %. 2. Потеря информации о невидимых сторонах каждого единичного объекта: со всех ракурсов происходит сбор информации о разных сторонах объекта. Мы добавляем к одному 2D-снимку информацию о состоянии поверхности, видимой только на 2D-снимке другого ракурса. Если предположить, что пятна симметричны на разных ракурсах, то ошибка, очевидно, составит 200 %. На рис. 2 представлены два варианта алгоритма восстановления информации о 3D-поверхности по набору 2D-изображений разного ракурса. Известен алгоритм восстановления 3D-поверхности по набору k разноракурсных снимков (рис. 2, а). Вариант на рис. 2, а призван устранить как потери информации о невидимых сторонах каждого единичного объекта (со всех ракурсов происходит сбор информации о разных сторонах объекта: мы добавляем к одному 2D-снимку информацию о состоянии поверхности, видимой только на 2D-снимке другого ракурса), так и о кривизне поверхности единичных объектов. Построение карты диспарантности осуществляется по алгоритму на основе сравнения графов [12]. Восстановление 3D-изображения происходит по алгоритму [9], методом восстановления 3D-поверхности по карте можно получить координаты точек - «пикселей» - на поверхности объекта. Бинаризация «фон-объект» осуществляется по алгоритму [6]. «Нарезка» общего изображения на многогранники с единичными 3D-объектами происходит по алгоритму ELSD. Вариант на рис. 2, а способен производить уточнение сегментов на 3D-изображении по сравнению с его проекцией на плоскость камеры. а б Рис. 2. Блок-схема восстановления информации о 3D-поверхности по набору 2D-изображений разного ракурса: а - получение точек поверхности объекта; б - получение данных о разных сторонах 3D-объекта Результаты экспериментов показали нестабильность работы (и, как следствие, неэффективность), сравнительно низкую скорость из-за вычислительной сложности. Если осуществлять съёмку двумя камерами под большим углом друг к другу, алгоритмы стереозрения дают сбой (рис. 3). а б В Рис. 3. Пример получения пикселей «невидимой» стороны объекта алгоритмом стереозрения (3D-поверхность лимона): а - левое изображение; б - правое изображение; в - правое изображение с недостающими пикселями Отдельно следует рассмотреть встречающийся на практике случай двух камер, расположенных с разных сторон объектов (т. е. под углом 180º). В данном случае никаких трудностей решение задачи не представляет, т. к. не строится карта диспарантности, очевидно сопоставление единичных объектов, а информация с одного 2D-снимка целиком добавляется к информации о состоянии поверхности, видимой на 2D-снимке с противоположной стороны. Восстановление информации о невидимых частях 3D-поверхности по набору 2D-изображений объекта разного ракурса, без учёта кривизны Для уточнения информации о невидимых сторонах объекта предлагается использовать алгоритм, представленный на рис. 2, б, т. к. он более стабильный и имеет большую скорость работы по сравнению с вариантом на рис. 2, а. Вариант на рис. 2, б призван устранить только потери информации о «невидимых» сторонах каждого единичного объекта, без учёта кривизны. Получив изображения с двух разных камер, необходимо сделать бинаризацию и выделение единичных объектов [6] для каждого изображения и получить центры каждого объекта. Для выполнения сопоставления объектов на двух изображениях необходимо осуществить поиск соответствующих точек [12]. В случае, когда соответствующие точки находятся внутри объекта, сопоставить объекты можно по этим точкам. Однако возможен случай, когда внутри части объектов нет соответствующих точек. Тогда необходимо сопоставлять объекты по алгоритму, основанному на близости найденных соответствующих точек к центрам объектов. В примере на рис. 4 предполагается, что в цепочке ракурсных снимков левые участки объектов на снимках слева не могут быть самыми правыми на снимках справа. а б в г д Рис. 4. Пример результата варианта на рис. 2, б (3D-поверхность яблока): а - левое изображение; б - среднее изображение; в - правое изображение; г - пиксели из б, невидимые на а; д - пиксели из в, невидимые на б Результат дальнейшего анализа по алгоритму, описанному в [6, 7], показан на рис. 5. Рис. 5. Сегментация и анализ поверхности объекта по алгоритму [6, 7] а б в Рис. 6. Пример сопоставления единичных объектов на наборе k = 3 снимков разного ракурса: а - левое изображение с общими точками на левом и среднем изображении; б - среднее изображение с общими точками на среднем и правом изображении; в - правое изображение с общими точками на левом и правом изображении Уточним шаг сопоставления единичных объектов на наборе k разноракурсных снимков (рис. 6). Пусть m - число соответствующих точек, n - число объектов. В случае, когда внутри части объектов нет соответствующих точек, необходимо сопоставлять объекты по следующему алгоритму: 1. Подать на вход изображения с левой и правой камеры. 2. Вычислить единичные объекты на каждом изображении. 3. Цикл по соответствующим точкам двух изображений. 3.1. Цикл по объектам двух изображений 3.1.1. Вычислить расстояния от точки до объекта и сохранить это значение. После выполнения цикла 3 будут получены 2 матрицы: и (1) Необходимо рассматривать минимальные расстояния от каждой точки до центра соответствующего объекта, остальные расстояния в матрице M установить в значение -1. Все данные, необходимые для сопоставления объектов, записываются в матрицу, имеющую размерность n × n. Перед выполнением циклов матрица Т должна быть нулевой. Далее необходимо выполнить следующие операции: 1. Цикл по объектам левого изображения. 1.1. Цикл по объектам правого изображения. 1.1.1. Цикл по точкам. 1.1.2. Если рассматриваемая точка находится ближе всего к объекту k на левом изображении и ближе всего к объекту s на правом изображении, то увеличиваем значение на 1. Если минимальное расстояние определить невозможно (например, присутствует несколько объектов), имеющих одинаковое расстояние от точки до нескольких объектов, то нужно установить . 2. Выполнить преобразование Tp = T/m - поэлементное деление на число соответствующих точек. В матрице Tp содержатся вероятности сопоставления объектов. 3. Определить максимальные значения матрицы Tp. 4. Максимальные значения будут идентифицировать соответствующие объекты. Количественная оценка состояния 3D-поверхности по карте диспарантности Блок-схемы алгоритмов блока СППР, работающего с набором k разноракурсных снимков СКЗ, показаны на рис. 7. Внутренним циклом рабочего режима является распознавание состояния каждого сегмента изображения каждого из единичных объектов на 2D-кадре (например, объекта на рис. 4 и 5). Проверка гипотезы о принадлежности неизвестного сегмента к определённому из базы данных для оценки состояния поверхности объектов производится с использованием критерия согласия Пирсона χ2: , (2) где pijt и pijtT - вероятности попадания цветовых характеристик пикселя неизвестного сегмента и сегмента из обучающей выборки в заданные диапазоны (Ri, Gj, Bt), на которые разбиты интервалы [0; 255] цветовых RGB-шкал координат пикселей (здесь I = J = K = 255 в интервалах [0; 255] RGB-шкал). Критическое значение χ2кр = G для (2) устанавливается эмпирически: если χ2 > G, то для данного класса изображений сегмент устанавливается как «неопределённый». Для класса изображений на рис. 3 и 4 было установлено, что G = 120: из 103 сегментов, представленных для тестирования системой, более 95 %, удовлетворяющих данному условию, являлись примесью, т. е. система на них не обучалась (их не было в обучающей выборке). а Рис. 7. Блок-схемы алгоритмов: а - режим обучения системы. БД - база данных б в Рис. 7. Продолжение. Блок-схемы алгоритмов: б - рабочий режим системы; в - идентификация сегмента системой После идентификации сегмента (см. рис. 5) производится количественная оценка каждого единичного объекта, %. Например, площадь различных пятен на поверхности единичных объектов, можно оценить как число пикселей от общего числа пикселей восстановленной поверхности объекта. Например, по восстановленной поверхности изображения на рис. 5 можно сделать вывод, что блик составляет 3 %, тёмная часть - 6 %, красная часть - 17 %, зелёная часть - 74 %. Заключение Таким образом, в ходе исследований: - рассмотрены возможности уточнения по ракурсным изображениям (в случае нескольких видеокамер, по сравнению с одиночным мгновенным плоским снимком от одной камеры) решения задачи идентификации системой компьютерного зрения с детальной оценкой состояния поверхности объектов природного происхождения и их массового количества, с высокой вариабельностью внутри классов и близостью самих классов, при контроле качества продукции и фотосепарации, а также принятия решений в ходе управления технологическим процессом; - экспериментально проверен способ, основанный на известном алгоритме восстановления 3D-поверхности, который позволяет снизить погрешности как при помощи учёта кривизны поверхности объектов, так и с помощью информации о её разных сторонах. Результаты экспериментов показали нестабильность работы способа (и, как следствие, неэффективность) и сравнительно низкую скорость из-за сложности вычислений. Доработка способа является задачей дальнейших исследований; - для ликвидации погрешности потери информации о частях поверхности 3D-объекта, невидимых на 2D-изображении, предложен алгоритм СКЗ, обеспечивающий дополнительную к распознаванию типов и видов объектов функциональность СКЗ, состоящую в идентификации и количественной оценке их состояния по набору k = 2, 3; … разноракурсных снимков, чувствительную к деталям поверхности. Предложенный алгоритм учёта информации о недостающих участках поверхности объектов является более эффективным, быстрым и стабильным по сравнению с алгоритмом, основанным на восстановлении 3D-изображения.
1. Computer Vision Technology for Food Quality Evaluation. Ed. by Da-Wen Sun, Published by Elsevier Academic Press, San Diego, CA, USA. 2011. 600 p.
2. Зиятдинова В. А., Шаззо А. Ю., Усатиков С. В., Погорелова И. И. Оценка качества риса с использованием современных методов анализа цветовых характеристик единичных зерен // Изв. вузов. Пищевая технология. 2015. № 2-3. С. 100-104.
3. Зиятдинова В. А., Шаззо А. Ю., Усатиков С. В., Погорелова И. И. Оперативный экспресс-контроль испорченных зерен риса с использованием систем компьютерного зрения // Изв. вузов. Пищевая технология. 2015. № 4. С. 100-104.
4. Зиятдинова В. А., Шаззо А. Ю., Усатиков С. В., Погорелова И. И. Объективный метод распознавания и оценки недозрелого и краснозёрного риса // Изв. вузов. Пищевая технология. 2016. № 1. С. 92-96.
5. Горонков К. А., Руденко О. В., Усатиков C. В. База данных обучающей выборки для высокоточного распознавания плоских изображений сортов злаковых и масличных культур // Фундаментальные исследования. 2011. Вып. 8, ч. 2. С. 342-346.
6. Остапов Д. С. Влияние на корректность бинаризации «фон-объект» предобработки сглаживанием светлоты плоского изображения // Наука Кубани. 2016. № 1. С. 64-69.
7. Остапов Д. С. Адаптивный алгоритм k-means сегментации изображений объектов природного происхождения // VII науч.-техн. конф. «Техническое зрение в системах управления - 2016» (Москва, ИКИ РАН, 15-17 марта 2016 г.). М., 2016. С. 70-71.
8. Архипов О. П., Сорокин А. И. Алгоритм поиска идентичных точек на сегментированных стереоскопических изображениях // Сб. тр. VI Междунар. науч.-техн. конф. «Информационные технологии в науке, образовании и производстве» (22-23 мая 2014 г.). Орел, 2014. С. 1-8.
9. Тупицын И. В. Реконструкция трехмерной модели объекта на основе стереопары при решении задач 3D-моделирования // Вестн. Сибир. гос. аэрокосм. ун-та им. акад. М. Ф. Решетнева. 2011. № 3 (36). С. 88-92.
10. Sun J., Shum H., Zheng N. Stereo matching using belief propagation. In: ECCV, 2002. P. 510-524.
11. Yan Liu, Lo S. H., Zhen-Qun Guan, Hong-Wu Zhang. Boundary recovery for 3D Delaunay triangulation // Finite Elements in Analysis and Design. 2014. Vol. 84. P. 32-43.
12. Агарков А. В. Построение карты диспарантности на основе сравнения графов // Искусственный интеллект. 2003. № 1. С. 126-136.
