МЕТОД ПРОЕКТИРОВАНИЯ ИНФОРМАЦИОННОЙ СИСТЕМЫ ИДЕНТИФИКАЦИИ НЕСООТВЕТСТВИЙ В ПРОЦЕДУРАХ УПРАВЛЕНИЯ КОРРЕКТИРУЮЩИМИ И ПРЕВЕНТИВНЫМИ ДЕЙСТВИЯМИ
Авторы:
1.
Ереванский научно-исследовательский институт средств связи
2.
Ереванский государственный университет
3.
Алматинский университет энергетики и связи
Тип:
Статья
Страницы:
с 71
по 80
Статус:
Опубликован
Получено:
05.04.2018
Одобрено:
25.04.2018
Опубликовано:
25.04.2018
Классификаторы:
ВАК 05.12.2013 Системы, сети и устройства телекоммуникаций
ВАК 05.13.01 Системный анализ, управление и обработка информации (по отраслям)
ВАК 05.13.06 Автоматизация и управление технологическими процессами и производствами (по отраслям)
ВАК 05.13.10 Управление в социальных и экономических системах
ВАК 05.13.18 Математическое моделирование, численные методы и комплексы программ
ВАК 05.13.19 Методы и системы защиты информации, информационная безопасность
УДК 004.942
ГРНТИ 20.01 Общие вопросы информатики
ГРНТИ 28.01 Общие вопросы кибернетики
ГРНТИ 49.01 Общие вопросы связи
ГРНТИ 50.01 Общие вопросы автоматики и вычислительной техники
ГРНТИ 82.01 Общие вопросы организации и управления
ВАК 05.13.01 Системный анализ, управление и обработка информации (по отраслям)
ВАК 05.13.06 Автоматизация и управление технологическими процессами и производствами (по отраслям)
ВАК 05.13.10 Управление в социальных и экономических системах
ВАК 05.13.18 Математическое моделирование, численные методы и комплексы программ
ВАК 05.13.19 Методы и системы защиты информации, информационная безопасность
УДК 004.942
ГРНТИ 20.01 Общие вопросы информатики
ГРНТИ 28.01 Общие вопросы кибернетики
ГРНТИ 49.01 Общие вопросы связи
ГРНТИ 50.01 Общие вопросы автоматики и вычислительной техники
ГРНТИ 82.01 Общие вопросы организации и управления
Язык материала:
русский
Ключевые слова:
нарушение стабильности, ключевой показатель, процедуры CAPA, корректирующие и превентивные действия, самоорганизующаяся система, идентификация несоответствий
Аннотация (русский):
Управление процедурами корректирующих и превентивных действий (CAPA, Corrective and Preventive Actions) является одной из основных задач для предприятий в таких областях, как биотехнология, производство пищевой и фармацевтической продукции. На практике процесс обнаружения и идентификации несоответствий сопряжен с рядом сложностей из-за случайного характера их возникновения и длительности процесса определения источников, порождающих эти несоответствия. На основе анализа и формального описания процедур CAPA представлен пошаговый процесс обнаружения и идентификации несоответствий. Предложен метод классификации сообщений о несоответствиях, поступающих от различных источников, и машинного определения ключевых параметров контроля стабильности процессов. Реализован принцип саморазвития компьютерной системы, позволяющий на основе эмпирических данных и формируемых скоринговых контекстно-зависимых таблиц динамически обновлять ключевые параметры и рассчитывать их эталонные значения. В качестве таких параметров рассмотрены, в частности, показатели гранулярности данных (среди которых «частота» и «количество регистраций»); представлен практический пример с пошаговым описанием расчета их значений. Предложен подход к автоматизации вычислительных процессов путем дополнительного учета агрегированных переменных, представляющих собой критерии оценки ключевых параметров. Практическое использование рассмотренного метода позволяет в реальном времени идентифицировать несоответствия и оперативно проводить корректирующие и превентивные действия для устранения обнаруженных несоответствий.
Управление процедурами корректирующих и превентивных действий (CAPA, Corrective and Preventive Actions) является одной из основных задач для предприятий в таких областях, как биотехнология, производство пищевой и фармацевтической продукции. На практике процесс обнаружения и идентификации несоответствий сопряжен с рядом сложностей из-за случайного характера их возникновения и длительности процесса определения источников, порождающих эти несоответствия. На основе анализа и формального описания процедур CAPA представлен пошаговый процесс обнаружения и идентификации несоответствий. Предложен метод классификации сообщений о несоответствиях, поступающих от различных источников, и машинного определения ключевых параметров контроля стабильности процессов. Реализован принцип саморазвития компьютерной системы, позволяющий на основе эмпирических данных и формируемых скоринговых контекстно-зависимых таблиц динамически обновлять ключевые параметры и рассчитывать их эталонные значения. В качестве таких параметров рассмотрены, в частности, показатели гранулярности данных (среди которых «частота» и «количество регистраций»); представлен практический пример с пошаговым описанием расчета их значений. Предложен подход к автоматизации вычислительных процессов путем дополнительного учета агрегированных переменных, представляющих собой критерии оценки ключевых параметров. Практическое использование рассмотренного метода позволяет в реальном времени идентифицировать несоответствия и оперативно проводить корректирующие и превентивные действия для устранения обнаруженных несоответствий.
Ключевые слова:
нарушение стабильности, ключевой показатель, процедуры CAPA, корректирующие и превентивные действия, самоорганизующаяся система, идентификация несоответствий
нарушение стабильности, ключевой показатель, процедуры CAPA, корректирующие и превентивные действия, самоорганизующаяся система, идентификация несоответствий
Введение Основным требованием Corrective and Preventive Action (CAPA) является соблюдение ряда стандартов [1-7] путем своевременного обнаружения несоответствий ключевых показателей заданным нормативным значениям, а также путем планирования и проведения корректирующих и превентивных действий, направленных на устранение причин, вызвавших несоответствия. Завершающим этапом процедур CAPA является оценка степени влияния на валидированные процедуры, оборудование, процессы и системы. В настоящее время реализация процедур CAPA сопряжена с рядом сложностей, обусловленных, с одной стороны, неэффективностью и трудоемкостью ручной обработки сообщений о несоответствиях, поступающих от различных источников, и сложностями выбора оптимального метода определения ключевых параметров контроля и идентификации несоответствий. При этом данные, поступающие вместе с сообщениями о несоответствиях, большей частью носят гетерогенный и неструктурированный характер. Современные исследования в области обработки данных широко используют методы статистического анализа и оценки ключевых параметров сложных систем. Среди этих методов - контрольные карты средних, среднеквадратичных и экстремальных значений, карты экстремальных разбросов и стандартных отклонений меридианов [8-12]. Однако на практике специалисты часто сталкиваются с проблемой выбора конкретных методов в зависимости от характера обрабатываемой информации и сущности изучаемых процессов, поэтому актуальной задачей является машинное определение методов и ключевых параметров, соответствующих определенной группе входных данных и необходимых для идентификации несоответствий, входящих в рассматриваемую группу. В настоящее время благодаря достижениям в области технологий методы сбора данных чаще ограничиваются представлением исследователя, а не технологическими возможностями. Поэтому алгоритмы контроля ключевых показателей и их машинная обработка должны реализовывать методы динамической оптимизации параметров конфигурирования и обладать свойством саморазвития. Преодоление вышеприведенных сложностей возможно путем проектирования и внедрения технологических инструментов, обеспечивающих автоматическую выборку метода, ключевых параметров и эталонных значений для обнаружения и идентификации несоответствий согласно процедурам CAPA. Предложенный в данной статье метод машинного обнаружения и идентификации несоответствий применен при проектировании информационной системы управления цепочкой процедур от контроля и регистрации значений ключевых параметров до анализа их показателей и идентификации несоответствий в динамических процессах. Под нарушением стабильности будем понимать отклонение ключевых показателей от заданных нормативных (эталонных) значений. Метод идентификации несоответствия Рассматриваемый метод представляет собой процесс поэтапного исследования и идентификации несоответствий с целью контроля стабильности. Первым шагом в процессе реализации процедур CAPA является детальное описание возникшей проблемы [13-15] и классификация наблюдаемого несоответствия. Информация о несоответствиях может поступать из различных источников, как внешних, так и внутренних. Примерами источников сообщений о наблюдаемых несоответствиях могут быть запрос на обслуживание от персонала или потребителя; внутренний/внешний аудит; жалоба потребителя; контроль качества; наблюдение персонала; датчики оборудования, устройств и систем; данные о тенденциях; оценка рисков; лабораторный анализ ингредиентов и упаковочных материалов. Возможны и другие источники, зависящие от конкретных обстоятельств. Условно вышеперечисленные источники можно разделить на две группы: - источники в запланированных процессах мониторинга (анализ режимов функционирования, контроль производительности процесса, данные о тенденциях, контроль/аудит качества); - источники случайного обнаружения несоответствий, инцидентов и отклонений (запрос на обслуживание, жалоба потребителя, наблюдение персонала, сбой в производственном процессе). Следующим шагом является определение ключевых показателей и диапазона допустимых значений, характеризующих наблюдаемое несоответствие, с последующим измерением их значений для доказательства/опровержения существования проблемы. Для критически важных количественных показателей необходимо также задать допустимое число последовательно превышающих/недостающих (но в пределах заданной нормы) значений по отношению к нормативному (эталонному) показателю. Наличие подобного показателя свидетельствует о возможно имеющейся тенденции к нарушению стабильности. Для последующей идентификации несоответствий необходимо формирование входных данных путем выполнения следующих 4-х шагов. Шаг 1. Для каждой компоненты по каждому характеристическому параметру с количественными показателями должны быть заданы допустимые значения или диапазон допустимых значений. Например, на рис. 1 приведена гистограмма (контрольная карта) для компоненты «Машина дозировки и упаковки» (группа «Оборудование»), в которой по горизонтали представлено количество производственных процессов, а по вертикали - показатель давления воздуха; UCL; LCL - верхние и нижние допустимые пределы значений параметра соответственно. Рис. 1. Контрольная карта «Машина дозировки и упаковки» Шаг 2. Необходимо определить множество сочетаний значений нескольких параметров, при котором можно утверждать об имеющихся несоответствиях и отклонениях. Шаг 3. Для определения тенденций необходимо для каждой компоненты задать признаки нарушения стабильности (управляемости) показателей. Например, можно установить предельное число N как количество допустимых точек, подряд находящихся по одну сторону от средней линии (CL). Превышение этого количества для заданной компоненты свидетельствует о тенденции к возможному нарушению стабильности в будущем. Шаг 4. Необходимо задать для каждого контролируемого параметра период и способ проведения мониторинга и таким образом определить степень гранулярности данных. Формальное описание процесса обнаружения и идентификации несоответствий Моделирование процесса идентификации несоответствий основано на разработке и внедрении инструментов, объединяющих методы определения и измерения многопараметрических ключевых показателей, алгоритмы повышения точности эмпирических результатов и статистических расчетов, технологии автоматического конфигурирования взаимозависимости переменных и объединения их в домены, интеллектуальный анализ и визуализацию данных [16, 17]. Потоки данных в процессах рассматриваемых систем носят большей частью неструктурированный характер и генерируются различными источниками. Актуальными являются исследование и обработка данных, описываемых гетерогенной и фрагментарной информацией, с учетом возможных погрешностей в переменных оценки значений ключевых параметров [18]. Формальное описание всего процесса обнаружения и идентификации несоответствий предполагает реализацию следующих процедур. Формирование структуры исходных данных: - определение компонент системы и их классификация по идентичным признакам; - определение ключевых параметров для каждой компоненты; - назначение диапазона допустимых значений параметров и периодов мониторинга; - определение условий нарушения стабильности системы. Сбор данных и регистрация источников сообщений о несоответствии: - идентификация источников информации; - регистрация показателей ключевых параметров; - анализ данных и классификация сообщений. Идентификация несоответствий: - сопоставление регистрируемых и допустимых значений; - протоколирование информации о несоответствии и нарушениях стабильности, источнике сообщения, даты наблюдения. Идентификация тенденций: - сопоставление регистрируемых и допустимых значений; - протоколирование информации о возможных тенденциях к нарушению стабильности, источнике сообщения, даты наблюдения. На рис. 2 представлена структурно-функциональная схема системы регистрации показателей ключевых параметров и идентификации несоответствий. Информационная система, моделирующая процесс обнаружения и идентификации несоответствий, должна быть самоорганизующейся, способной обрабатывать гетерогенные данные, анализировать ключевые параметры с прогнозированием ожидаемых результатов [19, 20]. Поскольку эти модели описывают машинную обработку данных и будут генерироваться компьютерными системами, необходимо «заставить» их развиваться вместе с процессами, которые создают эти данные. Таким образом, основное внимание должно быть уделено компьютерному прогнозированию и принятию решений на основе этих прогнозов. Реализовав вышесказанное, можно обеспечить полноценный автоматизированный процесс обнаружения и идентификации несоответствий. Например, если для заданного сообщения о несоответствии автоматически определен метод контрольных карт (диаграмм Шухарта), то должны быть заданы диапазоны (верхние и нижние границы: UCL, LCL) допустимых значений для ключевых показателей, эталонные значения (CL), зарегистрированные фактические значения и методы статистического анализа для определения степени отклонения от допустимых значений. Рис. 2. Структурно-функциональная схема обнаружения и идентификации несоответствий Значения CL, UCL и LCL рассчитываются следующим образом [12]: (1) (2) (3) где μ - эталонное значение (математическое ожидание); σ - стандартное значение допуска (дисперсия). Карта размаха (R-карта) рассчитывается следующим образом: (4) (5) (6) где d2, D2 и D1 - коэффициенты для вычисления эталонной линии, верхней и нижней границы значений размаха. Если задать величину среднего скользящего размаха Rср, можно рассчитать величину уменьшенного допуска (7) Одной из основных проблем для точного обнаружения несоответствий и/или тенденций к возможным нарушениям стабильности является необходимость определения для каждого ключевого показателя и последующих статистических расчетов параметров гранулярности: - частоты (периода) наблюдений и регистрации значений W (шаг диагональной оси карты Шухарта); - числа наблюдений Q (количества точек в диаграмме Шухарта). То есть для каждого параметра необходимо определить, после какого количества наблюдений и регистраций значений (и с какой частотой их проведения) можно считать, что расчеты приведенных выше показателей достоверно могут указать на имеющиеся несоответствия или тенденции к несоответствию. Решение данной проблемы возможно путем ввода дополнительных показателей (критериев), взаимосвязанных с заданным параметром, расчета их значений и построения соответствующих контрольных списков (чек-листов). На основе этих расчетов и проведения анализа значений можно окончательно рассчитать частоту и количество регистраций. Введем следующее теоретико-множественное описание. Пусть - множество заданных ключевых параметров. Зададим для A множество элементами которого являются совокупность показателей для параметра , регистрируемых в определенные периоды времени T; tj - порядковый номер наблюдения (заданный период наблюдения) в цепочке регистрации значений; j - количество наблюдений. Введем понятие количественных характеристических критериев, связанных с параметром и обозначим их в виде следующего множества: где m - число характеристических критериев для параметра ai. Для каждого параметра ai будет рассчитываться значение коэффициента V(ai) как среднего значения от множества значений характеристических критериев: (8) где l - коэффициент нормализации (обычно он равен максимальному значению, которое может принимать параметр Ck(ai)). Заметим, что автоматизация процедур сбора, хранения, обработки, анализа данных, отчетности и визуализации приводит к тому, что границы между этими областями становятся все более размытыми. Преодоление данных проблем возможно путем организации контекстно-зависимых вычислений на основе скоринговых таблиц. Поэтому для определения значений характеристических параметров Ck(ai), наряду с машинной выборкой входных данных, поступающих от различных источников, дополнительно используется динамически генерируемый контрольный список (чек-лист), заполняемый квалифицированным специалистом. Составив таблицу ранжирования значений характеристических параметров с назначенными значениями частоты и количества наблюдений для параметра ai, можно однозначно определить необходимые данные для последующего контроля и регистрации ключевых показателей (табл. 1). Таблица 1 Заданные пределы допустимых значений, частота и количество наблюдений Нижний предел V(ai) Верхний предел V(ai) Частота наблюдений Количество наблюдений V11(ai) V21(ai) W1(ai) Q1(ai) V12(ai) V22(ai) W2(ai) Q2(ai) V13(ai) V23(ai) W3(ai) Q3(ai) V14(ai) V24(ai) W4(ai) Q4(ai) В зависимости от того, в какой заданный диапазон (нижний и верхний пределы) попадает вычисляемое значение, с соответствующей строки будут выбраны столбцы «Частота наблюдений» и «Количество наблюдений». Таким образом, четверка множеств {C, V, W, Q} задает первоначальные параметры настройки для последующего построения контрольных карт. Тройка множеств {A, R, T} представляет собой наблюдаемые и регистрируемые динамические значения ключевых параметров в определенные заданные периоды времени. На основе полученных значений можно построить контрольную карту и провести необходимые статистические расчеты. Приведем пример из практики: предположим, для параметра «Аттестация» была установлена частота проведения аттестации сотрудника: раз в месяц с диапазоном баллов UCL = 15, LCL = 20 по двадцатибалльной шкале. С данным параметром, допустим, связаны следующие показатели, средние значения которых должны быть вычислены в системе: 1. Средний возраст сотрудников. 2. Стаж сотрудников. 3. Новые проекты в текущем периоде. 4. Новые продукты и технологии в текущем периоде. 5. Рост зарплаты за текущий период. 6. Отпуска за текущий период. Пункты 1, 2, 5, 6 могут быть рассчитаны, например, на основе данных, полученных в рамках компьютерной системы «Управление кадрами», а пункты 3, 4 должны быть введены сотрудником. Ниже представлены чек-лист (контрольная таблица) для параметра «Аттестация сотрудника», включающий критерии, ответы, и таблица значений соответствующих баллов (рис. 3). Рис. 3. Чек-лист для параметра «Аттестация сотрудника» Расчет по формуле (8) с заданным коэффициентом нормирования 10 (максимально возможное значение балла) будет выглядеть следующим образом: (4 + 9 + 6 + 3 + 4) / (5·10) = 0,52. Далее по заданной таблице ключевых показателей (табл. 2) выбираем строку с диапазоном, в котором находится рассчитанный коэффициент (для рассматриваемого примера это строка № 3) и выбираются значения W и Q соответственно: частота наблюдений (10), количество наблюдений (5). Таблица 2 Ключевые показатели для контрольной карты Нижний предел V(ai) Верхний предел V(ai) Частота наблюдений Количество наблюдений UCL LCL 0 0,3 Каждые 5 дней 10 15 20 0,3 0,5 Каждые 8 дней 9 16 20 0,5 0,7 Каждые 10 дней 5 17 20 0,7 1 Каждые 20 дней 4 17 20 Таким образом, для последующего построения контрольной карты и оценки специалистов рассматриваемой группы необходимо будет провести статистические расчеты, в частности, по формулам (1)-(7) после 4-х аттестаций, проводимых через каждые две недели, при этом аттестация будет считаться успешной, если сотрудники в среднем наберут количество баллов в пределах 17-20. Таким образом, внедрение новых технологий на предприятии и аттестация уровня специалистов по степени осваивания этих технологий предполагает достаточный период (10 дней) для осваивания новых задач, высокие требования к знаниям (больше 17 баллов), выполнение статистических расчетов уже после проведения 4-х аттестаций и построения соответствующих контрольных карт. Таким образом, информационная система, построенная на представленной модели, позволит рассчитать контрольные карты и получить экспертную оценку по ключевым показателям с целью оперативного принятия решений по улучшению квалификации сотрудников, например проведения тренингов и/или привлечения новых специалистов. Для формального описания связей между ключевыми и характеристическими параметрами, а также скрытыми переменными, необходимо использовать существующие методы, например модели интеллектуального анализа данных, представленные в работе [21]. На основе формального описания процессов и анализа данных можно построить самоорганизующуюся систему прогнозирования и принятия решений, которая будет генерировать динамические параметры для составления контрольных карт и соответствующих статистических расчетов. На рис. 4 представлена структурно-функциональная схема двух основных процессов, выполняемых компьютерной системой: обнаружение и идентификация несоответствий и тенденций к отклонениям и обработка данных обратной связи для динамической настройки основных параметров управления контрольными картами и статистическими расчетами. Рис. 4. Функциональная схема компьютерного конфигурирования параметров контроля и идентификации несоответствий Заключение Автоматическое определение несоответствий или тенденций к нарушению стабильности есть первый важный шаг идентификации и оценки несоответствий для последующего оперативного и точного принятия решений о проведении корректирующих и превентивных действий. В основе предложенного метода - структурированный подход к вопросам автоматизации процессов управления изменениями. Особенностью представленного программного решения задачи обнаружения идентификации несоответствий является то, что оно легко может быть настроено под любое отраслевое решение. Кроме того, представленный метод покрывает широкий спектр возможных несоответствий, в основе которых формализованный подход к обоснованию проблемы и доказательству ее существования. Проведенные наблюдения показали, что за счет автоматизации протоколирования и электронного документирования проводимых расследований несоответствий удалось сократить длительность и трудоемкость работ (а следовательно, и текущих затрат) на 45-50 %. Кроме того, значительно сократилось время, затрачиваемое на проведение аудиторских проверок и поиск документов о проведенных исследованиях инцидентов. Дальнейшим развитием рассматриваемых методов обнаружения и идентификации несоответствий может быть исследование и оценка рисков влияния этих несоответствий на другие компоненты системы. Исследования в области интеллектуального анализа данных и применение на практике методов и технологий анализа процессов обеспечивают еще большую точность выборки входных параметров и критериев для дальнейшей их статистической обработки. Это, в свою очередь, позволит успешно решать задачи прогнозирования и своевременного принятия решений для обеспечения стабильности контролируемых процессов на практике.
1. Raj A. A review on corrective action and preventive action (CAPA) // African Journal of Pharmacy and Pharmacology. 2016. Vol. 10 (1). P. 1-6.
2. Van Trieste M. CAPA within the Pharmaceutical Quality System // ICH Q10 Conference. P9: Pharmaceutical Quality System Elements: Continual Improvement of the Process (CAPA) (October 4-6, 2011, Arlington, Virginia; November 14-16, 2011, Brussels, Belgium). URL: ucm334579.pdf (дата обращения: 12.02.2018).
3. Rodriguez J. CAPA in the Pharmaceutical and Biotech Industries. Woodhead Publishing, 2015. 248 p.
4. Chopra V., Kumar A., Aiyyer A., Trivedi P., Nagar M. Investigating Out-of-Specification Results and Development CAPA Program for Pharmaceutical Industries: An Overview // Der Pharmacia Lettre. 2011. Vol. 3 (2). P. 368-382.
5. Хамид М. А. Управление рисками в фармацевтическом производстве / пер. с англ. М.: ВИАЛЕК, 2014. 472 с.
6. Пятигорская Н. В. РАТ - основа для современных фармацевтических исследований, производства и гарантии качества. История возникновения // Разработка и регистрация ЛС. 2013. № 3 (4). С. 48-52.
7. Разработка Концепции обеспечения качества лекарственных средств в Российской Федерации: отчет о НИР. Моск. Мед. акад. им. И. М. Сеченова: науч. рук.: Береговых В. В.; исп.: Пятигорская Н. В., Сапожникова Э. А., Ушакова С. В. М., 2009.
8. Donald J. W. Advanced Topics in Statistical Process Control: The Power of Shewhart's Charts. SPC Press, 1995. 286 p.
9. Уилер Д., Чамберс Д. Статистическое управление процессами: Оптимизация бизнеса с использованием контрольных карт Шухарта. М.: Альпина Паблишер, 2016. 410 с.
10. Лапидус В. А. Система Шухарта. Н. Новгород: ООО СМЦ «Приоритет», 2004. 64 с.
11. Емельянов А. A. Пути адаптации контрольных карт Шухарта в контроллинге // Российское предпринимательство. 2011. Т. 12. № 11. С. 86-90.
12. Царев Ю. В., Тростин А. Н. Статистические методы управления качеством. Контрольные карты; учеб.-метод. пособ. Иваново: Иван. гос. хим.-технол. ун-т, 2006. 250 с.
13. Andersen B., Tom Fagerhaug T. Root Cause Analysis. Simplified tools and tecgniques. ASQ Quality Press, 2006. 240 p.
14. Williams P. Techniques for root cause analysis // PMC. 2001. Vol. 14 (2). P. 154-157.
15. Wilson P., Dell L., Anderson G. Root Cause Analysis: A Tool for Total Quality Management. Milwaukee; Wisconsin: ASQC Quality Press, 1993. 216 p.
16. Agarwal R., Dhar V. Editorial-Big data, data science, and analytics: The opportunity and challenge for IS research // Information Systems Res. 2014. No. 25 (3). P. 443-448.
17. Chen H., Chiang R., Storey V. Business intelligence and analytics: From big data to big impact // MIS Quart. 2012. No. 36 (4). P. 1165-1188.
18. Mochen Y., Gediminas A., Gordon B. Mind the Gap: Accounting for Measurement Error and Misclassification in Variables Generated via Data Mining // Information Systems Research. 2018. January. URL: http://gkmc.utah.edu/winter2016/sites/default/files/webform/abstracts/WCBI%20submission_final.pdf (дата обращения 21.02.2018).
19. Provost F., Fawcett T. Data Science for Business. O'Reilly Media, 2013. 414 p.
20. Vasant D. Data science and prediction // Communications of the ACM. 2013. Vol. 56. P. 64-73.
21. Fan L. X., Cai M. Y. Axiomatic design theory: further notes and its guideline to applications // Int. J. Materials and Product Technology. 2015. Vol. 51. No. 4. P. 359-374.
