Аннотация и ключевые слова
Аннотация (русский):
Разработан алгоритм ранжирования команд участников, применяемый в процессе командообразования в целях разработки архитектуры системы поддержки принятия решений для повышения эффективности подбора кандидатов в команду. Алгоритм включает в себя три метода по отбору кандидатов, основанные на применении коэффициента корреляции Пирсона и ранговой корреляции Спирмена. В ходе эксперимента рассматривается подбор IT-специалистов в команду сервисной службы поддержки клиентов. Для оценки навыков используются компетенции из модели максимальной эффективности работы Л. М. Спенсера. Данные, используемые в эксперименте, являются результатом расчета оценки 10 компетенций 50 кандидатов. При разработке методов учитывались такие понятия, как «компетентность команды», «личная компетентность участника», «обязанности и позиция участника в команде». В результате использования данного алгоритма планируется сократить время классификации компетенций кандидатов, но при этом увеличится время для исследования требований, процессов и порядка подбора кандидатов в каждой организации. Освещены основные понятия в данной области, проблемы реализации алгоритма и способы их решения, представлены математические модели методов расчета компетенций кандидатов. Проведены экспериментальные исследования по использованию разработанных методов для подбора команды на основе оценки компетенций кандидатов в различных ситуациях и обстоятельствах. Предлагаемый подход значительно расширяет функциональные возможности существующих информационных HR-систем при подборе персонала. Полученные результаты создают необходимую основу по практической реализации предложенных методов в системе поддержки принятия решений и совершенствованию процесса командообразования в IT-индустрии.

Ключевые слова:
командообразование, компетенция, компетентность, классификации, корреляция, коэффициент Пирсона, коэффициент Спирмена
Текст
Введение В последнее время подбор в команду специалистов из IT-индустрии осуществляется с учетом множества потребностей организации. Однако поиск для компании новых сотрудников с различными навыками и опытом работы является сложной задачей для эксперта, которым может быть HR-специалист или рекрутер. Эксперт должен оценить компетентность каждого кандидата для выбора потенциального участника при подборе в команду или полностью собрать команду квалифицированных специалистов по определенным характеристикам. Результаты оценки компетентности каждого кандидата используются непосредственно в процессе командообразования как основной критерий отбора. Для эффективного управления процессом командообразования необходимо вначале правильно сформировать команды участников для каждого проекта - в этом выражается сложность командообразования. Сложностью данного процесса объясняется также отсутствие коммерческих программных продуктов - в большинстве доступных систем применяется обычный поиск ключевых слов и методы фильтрации посредством стандартных запросов к базе данных, что впоследствии не приводит к ожидаемым результатам. Цель наших исследований - использование информационных технологий вместе с разработанным алгоритмом подбора приоритетной команды, который включает в себя три метода по отбору кандидатов и рассматривает такие понятия, как «компетентность команды», «личная компетентность участника», «обязанности и позиция участника в команде». В результате использования данного алгоритма планируется сократить время классификации компетенций кандидатов. Следует, однако, отметить, что при этом увеличится время, необходимое для исследования требований, процессов и порядка подбора кандидатов в каждой организации. Поставленная цель достигается решением основной задачи - это разработка алгоритма подбора кандидатов в команду с помощью математических моделей методов по обработке оценок компетенций кандидатов. В результате будут получены методы выбора команд для различных ситуаций и обстоятельств, требующие тот или иной алгоритм отбора с целью определения лучшей команды для работы в организации. Описание исследования Компетентность является индивидуальной характеристикой кандидата, которую он может использовать, чтобы продемонстрировать свои возможности и тем самым мотивировать работодателя. Существуют различные методы для оценки персонала, использующиеся HR-специалистами, с целью найма кандидата на работу в компании [1]. Задачей многих исследователей было развитие модели компетенций для их классификации. Например, F. Nirschl et al. [2] разработали модель компетенций по формированию команды для изучения рисков в авиационной области. Подобные команды могут создаваться на основе данной модели с учетом различных требований, например количества участников команды. Исследованиями работы HR-специалистов при рассмотрении компетенций человеческих ресурсов занимался также C. Sang Long [3]. C. Sang Long показал, что HR-специалисты должны обладать инициативностью, которая позволит им быстро принимать стратегические решения в различных условиях, способностью к быстрой адаптации, а также обладать знаниями, необходимыми для процесса подбора. C. Hao Thi и F. William Swierczek [4] разработали концептуальную основу для определения структуры HR-компетенций и показали, что использование HR-компетенций во время подбора персонала положительно влияет на работу проекта. Исследование K. G. Grunert и L. Hildebrandt [5] о факторах успеха, конкурентном преимуществе и развитии компетенций показало, что все эти аспекты в совокупности влияют на принятие стратегических решений и в целом - на успех в бизнесе. Вопросами автоматизации процесса командообразования занимались многие другие ученые: в области оценки компетенций - H. Tsai, H. Moskowitz, L. Lee, в области разработки моделей электронного рекрутмента - Manfred Fuchs, Jurgen Dorn, в области разработки алгоритмов по объединению персонала в группы - J. L. Herlocker, J. A. Konstan, A. Borchers, J. Riedl. Исследования вышеперечисленных авторов привели к созданию ряда методов анализа процесса командообразования, позволяющих обрабатывать неструктурированную информацию при формировании команды. Однако в рамках этих методов невозможна проверка сходства компетентности кандидата с компетентностью прототипа, которым является сотрудник компании. Предлагаемый нами алгоритм подбора кандидатов позволяет осуществить такую проверку. Алгоритм включает в себя три метода, основанные на применении коэффициента корреляции Пирсона и ранговой корреляции Спирмена [6]: - сравнение с прототипом - сотрудником организации; - сравнение на основе максимального уровня компетентности персонала организации; - сравнение на основе среднего уровня компетентности персонала организации. Связь, которая существует между случайными величинами разной природы, например между величиной Х и величиной Y, не обязательно является следствием прямой зависимости одной величины от другой (так называемая функциональная связь). В некоторых случаях обе величины зависят от целой совокупности разных факторов, общих для обеих величин, в результате чего и формируются связанные друг с другом закономерности [7, 8]. Рассмотрим методы, входящие в состав предлагаемого нами алгоритма. Сравнение с прототипом - сотрудником организации Данный метод основан на сходстве компетентности потенциального кандидата с компетентностью прототипа - сотрудника компании. Метод позволяет отбирать кандидатов с уровнем компетентности близким к уровню компетентности прототипа, которые высокоэффективны на практике. Для сравнения сходства компетентности прототипа и реального кандидата применяется коэффициент корреляции Пирсона. Коэффициент корреляции - это математическая мера корреляции двух величин. В том случае, когда изменение одной из величин не приводит к закономерному изменению другой величины, можно говорить об отсутствии корреляции между этими величинами. Коэффициенты корреляции могут быть положительными и отрицательными. Если при увеличении значения одной величины происходит уменьшение значений другой величины, то коэффициент их корреляции отрицательный. В случае, когда увеличение значений первого объекта наблюдения приводит к увеличениям значения второго объекта, можно говорить о положительном коэффициенте [6]. Шаг 1. Требуется вычислить коэффициент корреляции Пирсона, который используется для указания релевантности и определяет, соответствует ли данный кандидат требованиям конкретной позиции в команде или нет. В ходе эксперимента будет рассматриваться подбор IT-специалистов в команду сервисной службы поддержки клиентов. Для этого выберем 10 компетенций из модели максимальной эффективности работы Л. М. Спенсера (оригинальная модель включает в себя 18 компетенций) [1]: - ориентация на достижение результата - ОДР; - аналитическое мышление - АМ; - концептуальное мышление - КМ; - ориентация на обслуживание клиента - ООК; - развитие других - РД; - воздействие и оказание влияния - ВОВ; - поиск информации - ПИ; - навыки лидера - НЛ; - командная работа и сотрудничество - КРС; - уверенность в себе - УС. В табл. 1 представлены результаты расчета коэффициента корреляции трех кандидатов по компетенциям ОДР, АМ и КМ по шкале от 0 до 5. Таблица 1 Сравнение личной компетенции персонала и модели компетенций на основе корреляции Пирсона Участник Компетенции Компетенция команды ОДР АМ КМ Кандидат № 1 2,66 1,33 5 4 Кандидат № 2 3 4 4 3 Кандидат № 3 4,66 3 3 3 Шаг 2. Чтобы сформировать подходящую команду, значение корреляции Пирсона должно удовлетворять одному из двух условий: - подбор в команде осуществляется на основе сходства со значением корреляции между индивидуальной компетентностью кандидата и компетентностью прототипа - сотрудника организации. Значение корреляции близкое к 1 указывает на сходство характеристик кандидатов с лучшими характеристиками прототипа, затем требуемое количество кандидатов отбирают сортировкой по убыванию; - подбор в команде осуществляется на основе сходства со значением корреляции между индивидуальной компетентностью и компетентностью прототипа. Значение корреляции близкое к 1 указывает на сходство характеристик кандидатов с лучшими характеристиками прототипа, затем отбирают тех участников, которые имеют хорошие связи или были приглашены по рекомендации лучших членов команды. В табл. 2 приведены результаты сравнения и подбора кандидатов в команду. Таблица 2 Результат подбора кандидатов на основе корреляции Пирсона (статистическая значимость) Участник Компетенции ОДР АМ КМ Кандидат № 6 3,66 2,5 4 Кандидат № 8 3,32 3 2 Кандидат № 10 2 3 2 Сравнение на основе максимального уровня компетентности персонала организации В рамках данного метода используется коэффициент ранговой корреляции Спирмена для сравнения максимального значения производительности команды персонала и команды с максимальным значением уровня компетентности. Для расчета коэффициента ранговой корреляции Спирмена необходимо сделать следующее [6]: - для каждого рассчитать его ранг в вариационном ряду, построенном по выборке; - для каждого рассчитать его ранг в вариационном ряду, построенном также по выборке; - для набора из пар вычислить линейный коэффициент ранговой корреляции. Рассмотрим пошагово метод расчета данного коэффициента. Шаг 1. Выполнить сортировку компетенций по убыванию таким образом, чтобы ранг определялся исходя из компетенций персонала (принимается как максимальный) для создания основной команды. В качестве примера приведены данные табл. 3-5. Таблица 3 Оценки компетенций персонала Участник Компетенции ОДР АМ КМ … УС Участник № 1 2,66 1,33 5 … 4 Участник № 2 3 4 4 … 3 Участник № 3 4,66 3 3 … 4 Участник № 4 3,66 2,5 4 … 3,66 Участник № 5 3,32 3 2 … 4 Участник № 6 2 3 2 … 3 Таблица 4 Ранжирование компетенций персонала с помощью корреляции Спирмена Ранг Компетенции ОДР АМ КМ … УС 1 Участник № 8 Участник № 24 Участник № 1 … Участник № 15 2 Участник № 17 Участник № 43 Участник № 4 … Участник № 18 3 Участник № 24 - Участник № 12 … Участник № 24 4 - - Участник № 31 … Участник № 31 5 - - Участник № 32 … Участник № 32 6 - - Участник № 36 … - Таблица 5 Подбор кандидатов в команду на основе результатов ранжирования Кандидат Компетенции ОДР АМ КМ ООК РД ВОВ ПИ НЛ КРС УС Кандидат A 5 5 3.66 3 3 2,66 4 3 4 5 Кандидат B 2,33 2,66 5 5 3 2 5 3 2 2 Кандидат C 2 3 4 3 5 4 4 5 4 2 Шаг 2. Произвести подбор в команду кандидатов с наивысшим уровнем каждой компетенции. Шаг 3. Сравнить набор связанных компетенций с наивысшим значением уровня компетентности организации, что позволит определить компетентность команды как максимум исходя из максимального значения уровня компетентности персонала в команде. Коэффициент корреляции Спирмена используется для сравнения максимального значения производительности команды персонала и команды, определенной как команда с максимальным значением уровня компетентности. Это устанавливается по максимальному значению корреляции команды и означает, что уровень компетентности команды удовлетворяет требованиям организации к персоналу. Для определения соответствия уровня компетенции используется формула расчета рангового коэффициента корреляции Спирмена [6]: где rS - ранговый коэффициент Спирмена; di - разность соответствующих рангов величин X и Y; n - количество кандидатов. Коэффициент корреляции Спирмена обладает следующими свойствами: - коэффициент корреляции может принимать значения от -1 до 1, причем при = 1 имеет место строго прямая связь, а при = -1 - строго обратная связь; - если коэффициент корреляции отрицательный, то имеет место обратная связь, если положительный - прямая связь; - если коэффициент корреляции равен нулю, то связь между величинами практически отсутствует; - чем ближе модуль коэффициента корреляции к единице, тем более сильной является связь между измеряемыми величинами. Таким образом, коэффициент корреляции показывает, как отличается сумма квадратов разностей между рангами, полученная при наблюдении, от случая отсутствия связи. Сравнение на основе среднего уровня компетентности персонала организации Данный метод основан на применении уровня компетентности персонала в организации, который определяется путем расчета среднего значения каждой компетентности и затем служит для сравнения с помощью коэффициентов корреляции Пирсона и Спирмена. В результате в процессе командообразования будет установлен средний уровень компетентности персонала, на основе которого будет создана команда с уровнем компетентности близким к установленному уровню. Рассмотрим данный метод пошагово. Шаг 1. Выполнить поиск средних значений компетенций, чтобы определить общую компетентность персонала с помощью измерения средней компетенции всех участников каждой группы, значение которой на следующем шаге будет использоваться как эталонное. Шаг 2. Сравнить средние значения компетенций участников с установленным значением компетентности персонала организации, затем передать средние значения компетенций для расчета коэффициента корреляции Спирмена. Ранжирование компетенций участников выполняется начиная с наиболее коррелируемых: так, значение корреляции близкое к 1 означает наиболее близкое сходство с установленным значением. Если коэффициент корреляции равен 0 или имеет отрицательное значение, то это означает отсутствие связи и сходства компетенций, после чего 2 группы участников выбывают из подбора. Результаты расчета среднего значения каждой компетенции представлены в табл. 6. Таблица 6 Расчет среднего (эталонного) значения компетенции Участник Компетенции ОДР АМ КМ … УС Участник № 1 2,66 1,33 5 … 4 Участник № 2 3 4 5 … 3,66 Участник № 3 2,66 2 3 … 4 Сумма 8,32 7,33 13 … 11,66 Среднее значение 2,773333 2,443333 4,333333 … 3.886667 Результаты ранжирования на основе сравнения компетенции участников со средним значением компетенции персонала организации с помощью корреляции Спирмена представлены в табл. 7. Таблица 7 Результаты ранжирования (корреляция Спирмена) Ранг Участник Коэффициент Спирмена 1 Участник № 1 0,85 2 Участник № 2 0,79 3 Участник № 3 0,74 … … … 37 Участник № 37 0,005 38 Участник № 38 0 39 Участник № 39 -0,02 40 Участник № 40 -0,04 Шаг 3. Создать команду участников на основе результатов ранжирования из предыдущего шага. Результаты прототипирования команд представлены в табл. 8. Таблица 8 Результаты прототипирования команд Команда Участник Компетенции ОДР АМ КМ … УС 1 Участник A 2,66 1,33 5 … 4 Участник B 3 4 5 … 3,66 Участник C 2,66 2 3 … 4 Сумма 8,32 7,33 13 … 11,66 Среднее значение 2,773333 2,443333 4,333333 … 3,886667 2 Участник D 3 3 5 … 4 Участник E 3.66 4 4 … 2 Участник F 2,66 2 3 … 2 Сумма 9.32 9 12 … 8 Среднее значение 3,106667 3 4 … 2,666667 3 Участник G 4 2 4 … 3 Участник H 2 3 3 … 4 Участник I 4,5 3 3 … 3 Сумма 10,5 8 10 … 10 Среднее значение 3,5 2,666667 3,333333 … 3,333333 Шаг 4. Сравнить оценки компетенций выбранной команды со средним уровнем компетентности каждой команды, корреляция Пирсона будет использоваться для расчета корреляции с установленным уровнем компетентности персонала организации. Сходство по коэффициенту Пирсона считается существенным при оценке 0,05, поэтому каждая команда должна иметь значение около 1 и не ниже, чем 0,75. Результаты экспериментального исследования Данные, полученные в ходе эксперимента, являются результатом расчета оценки 10-ти компетенций 50-ти кандидатов в качестве основных компетенций в рамках требований данного исследования (как уже упоминалось выше, оригинальная модель Спенсера включает в себя 18 компетенций [1]). Экспериментальные результаты метода по сравнению с прототипом - сотрудником организации. В качестве входных данных использовались два набора данных для тестирования данного алгоритма: набор данных по компетенциям в сервисной службе поддержки клиентов и набор данных с индивидуальной оценкой компетентности каждого из 50-ти кандидатов. По результатам эксперимента с использованием статистических методов сравнения компетентности кандидатов и компетентности персонала сервисной службы поддержки клиентов выяснилось, что алгоритм позволяет выбрать трех кандидатов, которые смогут работать в команде. Это кандидаты с номерами 20, 10 и 7 со значениями корреляции 0,740; 0,726 и 0,666 соответственно, что имеет большое значение при уровне 0,05, как показано в табл. 9. Таблица 9 Результаты поиска кандидатов, удовлетворяющие прототипу Участник Участники Прототип … Кандидат № 7 … Кандидат № 9 Кандидат № 10 … Кандидат № 16 … Кандидат № 23 … Кандидат № 30 … Кандидат № 50 Прототип 1 … 0,666 … 0,526 0,726 … 0,423 … 0,601 … 0,530 … 0,055 Кандидат № 20 0,740* … 0,629 … 0,395 0,516 … 0,640 … 0,432 … 0,666 … -0,035 Кандидат № 10 0,726* … 0,679 … 0,577 1 … 0,628 … 0,304 … 0,239 … 0,632 Кандидат № 7 0,666* … 1 … 0,645 0,679 … 0,270 … 0,726 … 0,566 … 0,408 * Корреляция существенна при уровне 0,05. По результатам подбора команды было установлено, что есть только одна команда, состоящая из кандидатов с номерами 20, 10 и 7 со значениями корреляции 0,740; 0,726 и 0,666 соответственно. Однако результат подбора кандидатов можно представить и в виде 3 команд, где есть лидер команды и 2 дополнительных кандидата. В этом случае в первую команду входили бы лидер команды № 20, а также кандидаты с номерами 16 и 30; во вторую команду входили бы лидер команды № 10 и кандидат № 7; третья команда включала бы кандидата № 7 и дополнительно 3 кандидатов с номерами 9, 10 и 23. Таким образом, кандидат № 7 - наиболее подходящий вариант, который может работать с другими участниками команды, хотя значение корреляции в этом случае меньше, чем значения корреляции прототипа - сотрудника организации и лидеров с номерами 20 и 10. Экспериментальные результаты метода по сравнению на основе максимального уровня компетентности персонала организации. Данным методом можно воспользоваться для решения серьезных проблем в организации и там, где требуется сформировать специальную команду для решения различного рода проблем. На входе имеем три набора данных, которые были получены по результатам оценки каждой компетенции. Первый набор содержит индивидуальные компетенции кандидатов; второй набор включает информацию по максимальному уровню компетенции, который уникален для каждой команды; последний набор данных содержит требования к компетенциям, которые организация считает необходимыми для решения поставленных задач. Корреляция в статистических методах будет использоваться для сравнения компетенций кандидатов и критических условий, которые требуются в командах для решения проблем организации. Поиск показал, что соответствующей требованиям можно считать только команду 4, которая больше всего подходит по уровню корреляции - 0,738 (табл. 10). Таблица 10 Результаты поиска кандидатов на основе корреляции Спирмена Корреляция Кандидаты Max Max 1 0,311 0,498 0,502 0,738* 0,311 1 0,005 -0,177 0,049 0,498 0,005 1 0,600 0,694* 0,502 -0,177 0.600 1 0,564 0,738* 0,049 0,694* 0,564 1 * Корреляция существенна при уровне 0,05. По результатам данного эксперимента можно сделать вывод, что командой, подходящей для организации со значением корреляции равным 0,694, является команда № 4, участники которой - кандидаты 3, 41 и 43. Отметим, что команда № 4 коррелирует с командой № 2, т. е. эти 2 команды могут работать вместе. Экспериментальные результаты метода по сравнению на основе среднего уровня компетентности персонала организации. При тестировании данного метода использовались данные 36 кандидатов для сравнения среднего значения личной компетентности со значением средней компетентности прототипа (табл. 11). Таблица 11 Результаты поиска кандидатов на основе корреляции Спирмена Участник Участники Среднее Кандидат № 1 Кандидат № 2 Кандидат № 3 … Кандидат № 50 Кандидат № 9 0,787* 0,389 -0,238 0,180 … -0,359 Кандидат № 28 0,737* 0,173 -0,669 -0,154 … -0,133 Кандидат № 7 0,701* 0,335 -0,737 0,445 … -0,202 Кандидат № 10 0,597 -0,179 -0,532 0,210 … -0,197 Кандидат № 22 0,579 0,366 -0,463 -0,004 … -0,072 … … … … … … … Кандидат № 49 0,019 0,076 -0,402 -0,223 … 0,340 * Корреляция существенна при уровне 0,05. При выборе приоритетной команды, с условием, что компетентность кандидата должна быть близка к компетентности прототипа, было решено, что если в каждой команде должно быть по 3 участника, то из 36 участников необходимо сформировать 12 команд. Результаты показали, что компетентности команд 2, 3, 5 и 6 больше всего соответствуют уровню компетентности прототипа организации (табл. 12). Таблица 12 Результаты выбора приоритетной команды на основе корреляции Пирсона Участник Участники Среднее Команда № 1 Команда № 2 Команда № 3 … Команда № 12 Среднее 1 0,548 0,762* 0,640* … 0,367 Команда № 1 0,548 1 0,389 0,009 … -0,094 Команда № 2 0,762* 0,389 1 0,548 … 0,545 Команда № 3 0,640* 0,009 0,548 1 … 0,466 Команда № 4 0,536 -0,018 0,512 0,483 … -0,084 Команда № 5 0,735* 0,396 0,317 0,580 … 0,359 Команда № 6 0,693* 0,277 0,510 0,372 … 0,597 Команда № 11 … … … … … … Команда № 12 0,367 -0,094 0,545 0,466 … 1 * Корреляция существенна при уровне 0,05. Метод по сравнению на основе среднего уровня компетентности персонала организации позволяет подобрать команду с учетом среднего уровня компетентности организации. Такая команда может быть организована персоналом, имеющим согласованность между компетентностями и удовлетворяющим среднему уровню компетентности организации. Заключение В настоящее время определение уровня компетентности кандидатов, претендующих на место в команде, является тенденцией при подборе кадров для командной работы. Существует много методов, которые используют оценку уровня компетентности кандидатов, однако каждая организация имеет индивидуальный формат приема на работу, что не позволяет определить, какой из методов является лучшим в каждом конкретном случае. Нами описаны три метода с пятью наборами данных. Экспериментальные исследования показали, что эти методы полностью подходят для подбора лучшей команды для специализированной работы в организации на основе оценки компетентности кандидатов в различных ситуациях и обстоятельствах. Полученные результаты создают необходимую основу для практической реализации предложенных методов в системе поддержки принятия решений и совершенствования процесса командообразования в IT-индустрии.
Список литературы

1. Spencer L. M. Competence at Work - Models for Superior Performance / L. M. Spencer, S. M. Spencer. Wiley, New York, 1993.

2. Nirschl F. A Quantitative Competence Model for e-Recruiting and Team Building in Safety Critical Domains / F. Nirschl, M. Fuchs, J. Dorn // 14th International Conference on Concurrent Enterprising Costa da Caparica (Lisboa, Portugal, 23-35 June, 2008). Lisboa, 2008.

3. Sang Long C. Examining Human Resource Competencies and Their Relationship to the Success Factors of HR Profession / C. Sang Long // J. Serv. Sci. & Management. 2008. N 1. P. 259-265.

4. Hao Thi C. The Effect of human resource competencies on project performance in Vietnamese infrastructure projects / C. Hao Thi, F. W. Swierczek // Science & Technology Development. 2007. Vol. 10, no. 8. P. 5-14.

5. Grunert K. G. Success factors, competitive advantage and competence development / K. G. Grunert, L. Hildebrandt // Journal of Business Research. 2004. 57. P. 459-461.

6. Гмурман В. Е. Руководство к решению задач по теории вероятностей и математической статистике / В. Е. Гмурман. М.: Высш. шк., 2004. 404 с.

7. Jokinen K. Quality of service and communicative competence in NLG evaluation / K. Jokinen // Proceedings of the 11th European Workshop on Natural Language Generation (ENLG 07), 17-20 June, 2007. Schloss Dagstuhl, Germany, 2007, pp. 1-4.

8. Hinkle D. E. Applied statistics for the behavioral sciences / D. E. Hinkle, W. Wiersma, S. G. Jurs. Boston: Houghton Mifflin, 2003.