COMPUTER FACE DETECTION APPLIANCE BASED ON USING TEMPLATE MATCHING METHOD
Authors:
1.
Astrakhan State University
2.
Astrakhan State University
Type:
Article
Pages:
from 72
to 80
Status:
Published
Received:
05.10.2015
Accepted:
25.10.2015
Published:
25.10.2015
Subject area:
VAC 05.12.2013 Системы, сети и устройства телекоммуникаций
VAC 05.13.01 Системный анализ, управление и обработка информации (по отраслям)
VAC 05.13.06 Автоматизация и управление технологическими процессами и производствами (по отраслям)
VAC 05.13.10 Управление в социальных и экономических системах
VAC 05.13.18 Математическое моделирование, численные методы и комплексы программ
VAC 05.13.19 Методы и системы защиты информации, информационная безопасность
UDK 004.932:004.4
GRNTI 20.01 Общие вопросы информатики
GRNTI 28.01 Общие вопросы кибернетики
GRNTI 49.01 Общие вопросы связи
GRNTI 50.01 Общие вопросы автоматики и вычислительной техники
GRNTI 82.01 Общие вопросы организации и управления
VAC 05.13.01 Системный анализ, управление и обработка информации (по отраслям)
VAC 05.13.06 Автоматизация и управление технологическими процессами и производствами (по отраслям)
VAC 05.13.10 Управление в социальных и экономических системах
VAC 05.13.18 Математическое моделирование, численные методы и комплексы программ
VAC 05.13.19 Методы и системы защиты информации, информационная безопасность
UDK 004.932:004.4
GRNTI 20.01 Общие вопросы информатики
GRNTI 28.01 Общие вопросы кибернетики
GRNTI 49.01 Общие вопросы связи
GRNTI 50.01 Общие вопросы автоматики и вычислительной техники
GRNTI 82.01 Общие вопросы организации и управления
Language:
Russian
Keywords:
appliance, face detection, color spaces, template matching, connected component, correlation coefficient
Abstract (English):
Among the various methods of recognizing a person's face and its details one of the most promising method is the correlation of the template with an image, which, however, is not without a number of drawbacks. In order to eliminate these drawbacks, it is proposed to use the appliance for the detection of the face area in the image. The complex is a high-resolution camera, combined with a control unit, which makes photos and outputs a bunch of "face - photo". The software part for detection uses a modification of the method of face detection based on a combination of the color segmentation and pattern matching algorithms. The advantage of the proposed solution compared to the peers is that its implementation allows you to record multiple faces falling within the range of the camera, and the algorithm, used in the software part of the complex, helps minimize Type I and Type II errors: it is experimentally proved that the application of the proposed approach can detect up to 95.64 % of those in the noisy and distorted images.
Among the various methods of recognizing a person's face and its details one of the most promising method is the correlation of the template with an image, which, however, is not without a number of drawbacks. In order to eliminate these drawbacks, it is proposed to use the appliance for the detection of the face area in the image. The complex is a high-resolution camera, combined with a control unit, which makes photos and outputs a bunch of "face - photo". The software part for detection uses a modification of the method of face detection based on a combination of the color segmentation and pattern matching algorithms. The advantage of the proposed solution compared to the peers is that its implementation allows you to record multiple faces falling within the range of the camera, and the algorithm, used in the software part of the complex, helps minimize Type I and Type II errors: it is experimentally proved that the application of the proposed approach can detect up to 95.64 % of those in the noisy and distorted images.
Keywords:
appliance, face detection, color spaces, template matching, connected component, correlation coefficient
appliance, face detection, color spaces, template matching, connected component, correlation coefficient
Введение Задача обнаружения лица на изображении является простой для человеческого зрения, однако при построении реальной автоматической системы обнаружения лиц необходимо учесть следующее [1]: - сильно варьирующийся размер области лица, в сочетании с большим количеством лиц на одном изображении, в значительной степени осложняет возможность распознавания; - ориентация лиц на изображении не всегда строго вертикальная - в большинстве случаев они повернуты под неизвестным углом, что вносит дополнительные погрешности при распознавании лиц; - различные условия освещенности (тип, количество и направление источников света, их цвет и яркость, наличие теней, цветовой баланс камеры, искажение изображения, привносимое оптической системой и пр.) в значительной степени влияют на получающееся изображение лица; - возможное присутствие индивидуальных особенностей (усы, борода, очки, морщины и т. д.) существенно осложняет автоматическое распознавание; - изменение выражения лица может сильно сказаться на том, как лицо выглядит на изображении; - часть лица может быть невидимой (закрыта другими предметами); - фон (фиксированный, контрастный однотонный, слабоконтрастный, зашумленный и т. п.) может вносить погрешности в работу алгоритмов распознавания лиц. Существуют различные подходы к решению задачи по распознаванию лица человека и его деталей. Один из них заключается в поиске на изображении заданных шаблонов лиц или их отдельных частей [2]. Для поиска соответствия шаблона участкам изображения могут использоваться различные методы, например простое вычитание изображений [3-5]. Одним из наиболее перспективных методов такого поиска является корреляция шаблона с изображением [6, 7]. В рамках традиционного подхода выделяют процесс распознавания лиц на изображении и получение самого изображения (фотосъемку). Кроме того, существующие алгоритмы распознавания лиц рассчитаны на то, что лицо человека располагается на изображении строго фронтально (анфас), и это затрудняет их использование в реальной жизни при большом потоке людей, проходящих мимо камеры. С учетом вышеизложенного актуальной является задача создания программно-аппаратного комплекса, который в автоматическом режиме позволял бы выделять лица проходящих мимо него людей и передавать для дальнейшей обработки не просто фотоизображение, а связку «лицо - фото». Модель программно-аппаратного комплекса обнаружения лиц Программно-аппаратный комплекс состоит из камеры высокого разрешения и блока управления, в состав которого входят различные программные модули (рис. 1). 1. Модуль обнаружения статичного изображения (МоСИ), предназначенный для получения с камеры потока статических изображений через заданные промежутки времени. Промежутки времени могут изменяться оператором комплекса в зависимости от задач исследования. Выходными данными модуля являются изображения и параметры съемки (яркость, контрастность, цветность и т. п.), этот модуль может быть реализован в виде программируемой логической интегральной схемы (ПЛИС). 2. Модуль обнаружения лиц (МоЛ), предназначенный для выделения лиц на изображениях, полученных от МоСИ. Рис. 1. Блок-схема программно-аппаратного комплекса В результате обработки выходными данными МоЛ являются фрагменты изображения, содержащие лица. Для повышения качества обнаружения лиц на изображении в МоЛ предлагается использовать гибридный алгоритм обнаружения лица человека, который объединяет алгоритм сравнения с шаблоном лица и модифицированный алгоритм обнаружения кожи лица (рис. 2). Обнаружение кожи по цвету. Существует несколько цветовых пространств, которые могут быть использованы для выделения на изображении областей, содержащих кожу человека. К группе априорных относятся методы, которые в качестве модели цвета кожи используют явно заданный многогранник в заданном цветовом пространстве, т. е. заранее задается некоторый жесткий набор правил. Для обнаружения кожи в рамках нашего исследования использовались цветовые модели с выделением нескольких блоков изображения. Это цветовые модели HSV и YIQ, для которых, в свою очередь, экспериментально установлены граничные условия для отнесения пикселов к цвету кожи. Например, пиксели изображения относятся к коже, если выполняется следующее условие: (20 ≤ I ≤ 90) из YIQ и (0,20 ≤ S ≤ 0,75), (V > 0,35), (0 ≤ H ≤ 25) из YSV, (1) где I - синфазная цветоразность (цветовая модель YIQ); H - цветовой тон; S - насыщенность; V - значение цвета (цветовая модель HSV). Стандартным для большинства изображений является использование цветовой модели RGB (R, G, B - соответственно значения красной, зеленой и синей составляющих яркости пикселя). Компоненты HSV получаются из тройки RGB с помощью следующего преобразования [8, 9]: (2) Конверсия в RGB из YIQ и обратно осуществляется по следующим формулам [10]: . (3) Чтобы ускорить работу алгоритма, предлагается разделять изображение на блоки, каждый размерами 3 × 3 пикселя (рис. 3). Затем производится тестирование центрального пикселя. Если этот пиксель удовлетворяет условиям (1), то блок пикселей рассматривают как содержащий изображение кожи, в противном случае данный блок маркируется как не содержащий изображения кожи. Математическая морфология. Математическая морфология используется для извлечения некоторых свойств изображения, полезных для его представления и описания (контуры, остовы и т. п.). Интерес представляют и морфологические методы, применяемые на этапах предварительной и итоговой обработки изображений, например морфологическая фильтрация, утолщение или утоньшение. В рамках нашего исследования предлагается использовать морфологическое сужение (эрозию) и морфологическое расширение (дилатацию). Эрозия заключается в удалении точек вдоль границ в бинарном изображении (т. е. в изображении, переведенном в двухцветную (черно-белую) цветовую схему). Дилатация заключается в добавлении точек вдоль границ бинарного изображения. Такая операция вызывает рост светлых областей на изображении и тем самым способствует объединению областей изображения (рис. 4). а б в Рис. 4. Объединение областей обнаружения: а - исходное изображение; б - обнаружение кожи; в - морфологические операции В результате устраняются случайные помехи внутри ранее обнаруженных областей, которые определяются как кожа. Связанные компоненты. После морфологической обработки дальнейший анализ бинарного изображения может быть произведён посредством выделения связанных компонентов на изображении. Два пиксела называются связанными, если они расположены в соседних ячейках. При этом вводится понятие 4- и 8-связанности. По вертикали и горизонтали соседствуют 4-связанные пиксели, 8-связанные пиксели соседствуют по горизонтали, вертикали и диагонали. Исключение фрагментов, не относящихся к области лица. Для исключения фрагментов, которые были получены на предыдущих этапах и которые не относятся к области лица, можно использовать правила, предложенные в [11]. 1. Исключаем из рассмотрения фрагменты, размер которых меньше чем 1/600 общего размера изображения в пикселях. 2. Соотношение между шириной и высотой фрагмента, содержащего лицо, должно удовлетворять следующим условиям: (2) или (3) Экспериментальные исследования показали, что для фильтрации фрагментов изображения, полученных на предыдущих этапах, с целью исключения фрагментов, не содержащих изображение лица, лучшие результаты дает комбинация правил (2) и (3): , и исключение фрагментов, размер которых меньше 400 пикселей. Для обнаружения границ лица в полученных фрагментах используется детектор пикселей границы на основе оператора Собеля [12]. Сравнение с шаблоном лица. Недостаток метода обнаружения кожи - сложность распознавания границ области лица, связанная с тем, что данный метод основан только на классификации пикселов изображения с целью обнаружения областей, содержащих кожу. Именно поэтому для обнаружения более точных границ лица и исключения «не-лиц» предлагается использовать метод сравнения с шаблонами. Преимущество метода сравнения с шаблонами состоит в том, что его просто реализовать для определения расположения лица и отдельных фрагментов (нос, глаза, рот и т. д.). Метод заключается в выделении областей лица на изображении и последующем сравнении этих областей для различных изображений. Для тестирования был выбран готовый шаблон. Шаблон представляет собой изображение центральной части лица, содержащее его основные элементы: глаза, брови, нос и рот (рис. 5). Использование в качестве шаблона только центральной части лица позволяет устранить влияние наиболее непостоянных частей головы человека (верхних и нижних), содержащих прическу и (или) бороду. Обнаружение лица с помощью шаблона заключается в проверке каждой из областей изображения на соответствие заданному шаблону. Рис. 5. Шаблон, используемый для обнаружения лиц Шаблон масштабируется согласно высоте и ширине проверяемой области. Отнесение части изображения к области, содержащей лицо, производится путем расчета корреляции между исследуемой частью изображения и шаблоном. Для этого используется коэффициент корреляции r: . Экспериментально установлено, что лучшие результаты получаются, когда коэффициент корреляции r > 0,6. Таким образом, программная часть МоЛ реализует следующий алгоритм: 1. Производится цветовая сегментация кожи на изображении. 2. Выполняется преобразование полученных областей с помощью операций математической морфологии. 3. Проводится анализ связанных компонент для выделения областей цвета кожи. 4. Из получившегося набора областей, потенциально содержащих лица, исключаются области, для которых не выполняется условие или которые содержат меньше 400 пикселей. 5. На получившемся после фильтрации (шаг 4) наборе областей производится обнаружение границ лиц. 6. Проводится дополнительная обработка с целью исключения неверно определенных лиц на базе метода сравнения с шаблоном. Результаты экспериментов На основе предлагаемого подхода был создан прототип программно-аппаратного комплекса обнаружения лиц. Для проведения апробации МоЛ было использовано 175 цветных изображений из базы данных, суммарно содержащей 252 лица. На рис. 6 представлены примеры изображений из этой базы, на которых с помощью тестируемых алгоритмов были выделены лица, на рис. 7 - пример результата работы алгоритма обнаружения лиц для людей с черным цветом кожи. Для количественной оценки результатов работы предлагаемых алгоритмов используем понятие «точность обнаружения» [13]: , где ТР (true positive - верные обнаружения) - число объектов, присутствующих на изображении и обнаруженных алгоритмом; FN (false negative - ложноотрицательные срабатывания) - число объектов, присутствующих на изображении, но не обнаруженных предложенным алгоритмом. По нижеприведенной формуле можно провести итоговую оценку эффективности работы алгоритма, т. е. определить степень достоверности, %: Степень достоверности = 100 - (ΔFN % + ΔFP %), где (FP (false positive - ложноположительные срабатывания) - число объектов, обнаруженных алгоритмом при их отсутствии на изображении). Описанный алгоритм позволяет с высокой степенью достоверности обнаруживать несколько лиц на одном изображении. Итоговые результаты обнаружения лиц представлены в таблице. Результаты работы алгоритма обнаружения лиц Количество лиц Точность обнаружения ΔFN* ΔFP* Степень достоверности, % 252 95,64 * Над чертой - количество лиц; под чертой - в %. Согласно данным таблицы, степень достоверности обнаружения лиц составляет 95,64 %, что подтверждает преимущество предлагаемого решения по сравнению с аналогами. Заключение Таким образом, по результатам исследований предложена модель программно-аппаратного комплекса обнаружения лиц на изображении и описан новый алгоритм выделения области лица на изображениях в режиме реального времени, основанный на комбинации алгоритмов обнаружения кожи и сравнения с шаблонами. Описанный программно-аппаратный комплекс позволяет обнаруживать приблизительно 95,64 % лиц, представленных на тестовом наборе.
1. Yang M. Detecting Faces in Images: A Survey / M. Yang, D. Kriegman, N. Ahuja // Pattern Analysis and Machine Intelligence, IEEE Trans. 2002.Vol. 24, no. 1. P. 34-58.
2. Smita T. Face Detection using Combined Skin Color Detector and Template Matching Method / T. Smita, S. Varsha, S. Sanjeev // International Journal of Computer Applications. 2011. Vol. 26, no. 7. P. 5-8.
3. Strub L. Automated Facial Conformation for Model-Based Videophone Coding / L. Strub, J. Robinson // IEEE Int. Conf. on Image Processing - Washington D. C. 1995. Vol. 2. P. 587-590.
4. Brown L. A survey of image registration techniques / L. Brown // ACM Computing Surveys. 1992. Vol. 24, no. 1. P. 325-376.
5. Nazil P. An Overview on Template Matching Methodologies and its Applications / P. Nazil, K. Darshan, B. Ishan // International Journal of Research in Computer and Communication Technology. 2013. Vol. 2, no. 10. P. 988-995.
6. Hennecke M. Using deformable templates to infer visual speech dynamics / M. Hennecke, K. Prasad, D. Stork // In Proceedings of the 28th Annual Asilomar Conference on Signals, Systems, and Computers (Pacific Grove, CA). November 1994. P. 578-582.
7. Lam K. A Study on Similarity Computations in Template Matching Technique for Identity Verification / K. Lam, Y. Yeong, T. Yew, S. Chai, A. Suandi // International Journal on Computer Science and Engineering. 2010. Vol. 2, no. 8. P. 2659-2665.
8. Tarek Abd El-Hafeez. A new system for extracting and detecting skin color regions from pdf documents/ Tarek Abd El-Hafeez // International Journal on Computer Science and Engineering (IJCSE). 2010. Vol. 2, no. 9. P. 2838-2846.
9. Vezhnevets V. A survey on Pixel- Based Skin Color Detection Techniques / V. Vezhnevets, V. Sazonov, A. Andreeva // In Proceedings Graphicon ’03, Moscow, Russia, 2003. P. 85-92.
10. Duan L. Adult image detection method base-on skin color model and support vector machine / L. Duan, G. Cui, W. Gao, H. Zhang // In Asian Conference on computer Vision, Melbourne, Australia. 2002. P. 797-800.
11. Zhengming L. Face Detection in Complex Background Based on Skin Color Features and Improved AdaBoost Algorithms / L. Zhengming, L. Xue, F. Tan // IEEE International Conference on Progress in Informatics and Computing - PIC, 2010. P. 723-727.
12. Duda R., Hart P. Pattern Classification and Scene Analysis / R. Duda, P. Hart. John Wiley and Sons, New York, 1973. P. 271-272.
13. Omaima N. A. Review of face detection systems based artificial neural networks algorithms/ N. A. Omaima // The International Journal of Multimedia & Its Applications. 2014. Vol. 6. P. 448-455.
