MULTIMEDIA SOFTWARE COMPLEX FOR CREATING THE DICTIONARY OF RUSSIAN SIGN LANGUAGE
Authors:
1.
Novosibirsk State Technical University
2.
Novosibirsk State Technical University
Type:
Article
Pages:
from 105
to 114
Status:
Published
Received:
05.01.2017
Accepted:
25.01.2017
Published:
25.01.2017
Subject area:
VAC 05.12.2013 Системы, сети и устройства телекоммуникаций
VAC 05.13.01 Системный анализ, управление и обработка информации (по отраслям)
VAC 05.13.06 Автоматизация и управление технологическими процессами и производствами (по отраслям)
VAC 05.13.10 Управление в социальных и экономических системах
VAC 05.13.18 Математическое моделирование, численные методы и комплексы программ
VAC 05.13.19 Методы и системы защиты информации, информационная безопасность
UDK 004.82
GRNTI 20.01 Общие вопросы информатики
GRNTI 28.01 Общие вопросы кибернетики
GRNTI 49.01 Общие вопросы связи
GRNTI 50.01 Общие вопросы автоматики и вычислительной техники
GRNTI 82.01 Общие вопросы организации и управления
VAC 05.13.01 Системный анализ, управление и обработка информации (по отраслям)
VAC 05.13.06 Автоматизация и управление технологическими процессами и производствами (по отраслям)
VAC 05.13.10 Управление в социальных и экономических системах
VAC 05.13.18 Математическое моделирование, численные методы и комплексы программ
VAC 05.13.19 Методы и системы защиты информации, информационная безопасность
UDK 004.82
GRNTI 20.01 Общие вопросы информатики
GRNTI 28.01 Общие вопросы кибернетики
GRNTI 49.01 Общие вопросы связи
GRNTI 50.01 Общие вопросы автоматики и вычислительной техники
GRNTI 82.01 Общие вопросы организации и управления
Language:
Russian
Keywords:
sign language, Russian Sign Language, a multimedia dictionary, notation Dimskis, Unity3D, animated character, avatar, clips library
Abstract (English):
The possibility of computer Russian Sign Language interpretation, which is based on dictionary, was studied. The analysis of modern multimedia sign language dictionaries is made here in view of their further use in automatic sign language interpretation. The prospects of animated character (avatar) use for the demonstration of gestures and sign language notations for their control were substantiated. The analysis of modern notations of sign language was made. The substantiation of the use of Dimskis notation was given as promising for the development of Russian Sign Language Dictionary. The use of the modern cross-platform graphical Unity3D for the creation of animated sign language interpreter model allows to create the economical and effective system. The functionality of Unity3D is available and meets all the requirements for the work with avatar. The main characteristics of Dimskis notation and the peculiarities of the use of notation elements in the computer implementation are considered. The multi-level structure of software complex for the creation of sign language guide was described. The hierarchical structure of animation tree building allows constructing the sequence of available basic records, limiting the possibility of irreversible changes of main elaborated motions and at the same time providing the availability of all the necessary basic animations for the user. The use of Dimskis notation allows the users who know Russian sign language to enrich their term dictionary, the use of the guide is suggested for the demonstration of the dactyl and words and also compound phrases. The proposed approach gives the opportunity to create "lessons" on specific topics for training.
The possibility of computer Russian Sign Language interpretation, which is based on dictionary, was studied. The analysis of modern multimedia sign language dictionaries is made here in view of their further use in automatic sign language interpretation. The prospects of animated character (avatar) use for the demonstration of gestures and sign language notations for their control were substantiated. The analysis of modern notations of sign language was made. The substantiation of the use of Dimskis notation was given as promising for the development of Russian Sign Language Dictionary. The use of the modern cross-platform graphical Unity3D for the creation of animated sign language interpreter model allows to create the economical and effective system. The functionality of Unity3D is available and meets all the requirements for the work with avatar. The main characteristics of Dimskis notation and the peculiarities of the use of notation elements in the computer implementation are considered. The multi-level structure of software complex for the creation of sign language guide was described. The hierarchical structure of animation tree building allows constructing the sequence of available basic records, limiting the possibility of irreversible changes of main elaborated motions and at the same time providing the availability of all the necessary basic animations for the user. The use of Dimskis notation allows the users who know Russian sign language to enrich their term dictionary, the use of the guide is suggested for the demonstration of the dactyl and words and also compound phrases. The proposed approach gives the opportunity to create "lessons" on specific topics for training.
Keywords:
sign language, Russian Sign Language, a multimedia dictionary, notation Dimskis, Unity3D, animated character, avatar, clips library
sign language, Russian Sign Language, a multimedia dictionary, notation Dimskis, Unity3D, animated character, avatar, clips library
Введение Программа «Доступная среда» [1] предусматривает положительную социализацию слабослышащих людей в условиях современного общества. Для реализации сурдоперевода разрабатываются мультимедийные компьютерные системы, используются возможности сети Интернет. Универсального жестового языка, единого для глухих людей всего мира, не существует, в мире зафиксировано более 120 жестовых языков. В начале 50-х гг. 20 в. комиссией Всемирной федерации глухих был разработан международный жестовый язык жестуно (Gestuno) для облегчения общения участников международных конференций [2]. Словарь жестуно включает около 1500 жестов. Однако существенным недостатком жестуно является отсутствие грамматики. В последние годы в Европе рост взаимодействия между сообществами глухих разных стран привел к возникновению панъевропейского пиджинизированного жестового языка, но он, как и жестуно, не является родным языком какой-либо группы глухих [3]. Национальные особенности русского жестового языка (РЖЯ) отражаются в самобытной лингвистической системе, обладающей своеобразной лексикой, грамматикой и т. д. Наиболее полное описание лексики РЖЯ - 4-томный словарь «Специфические средства общения глухих» [4], содержащий более 3000 слов и составленный по принципу «от русского слова - к жесту». Жестовые языки обладают меньшей степенью стандартизации, чем звучащие языки. О недостаточной стандартизации РЖЯ свидетельствует, в частности, наличие нескольких диалектов этого языка. Так, выделяют петербургский и московский диалекты РЖЯ (по данным словарей, различия между ними могут составлять 30-40 % жестов-слов [5]). Диалекты РЖЯ используются во многих районах Российской Федерации, а также в Белоруссии, Казахстане, Украине. Соответственно, возникает проблема выбора тех диалектов, на которые будет ориентирован перевод [6]. Предлагаемое исследование является составной частью исследований по переводу звучащей речи в жестовый язык и обратно, проводимых в Новосибирском государственном техническом университете [7]. Так, например, перевод текста (звучащей речи) на РЖЯ связан с выявлением его смысла, переводом на грамматику жестового языка, с поиском слов в словаре, с представлением их в виде нотаций и отображением с помощью аватара. А один из подходов к распознаванию РЖЯ заключается в представлении жестов в виде компьютерных нотаций, в поиске слов в словаре и лингвистической обработке для представления в виде текста или голосового сообщения. Таким образом, важной составной частью этого большего проекта является запись РЖЯ в виде нотаций и создание словаря. Словари и нотации жестового языка Основой любого компьютерного сурдоперевода является словарь жестового языка. Среди существующих мультимедийных компьютерных словарей РЖЯ можно отметить следующие [8]: - мультимедийный видеословарь «Толковый словарь русского жестового языка - RuSLED». Программа является интерактивной оболочкой к видеословарю РЖЯ, записанному в 2002 г. в Межрегиональном центре реабилитации лиц с проблемами слуха (г. Павловск); - видеословарь «Тематический словарь русского жестового языка», созданный Московской городской организацией Всероссийского общества глухих (ВОГ); - мультимедийная электронная обучающая система «Русский жестовый язык. Базовый курс», созданная в 2001 г. центром «Истина» при поддержке центрального правления ВОГ; - интерактивный видеословарь «DigitGestus», созданный в г. Новосибирске в 1996-1997 гг., содержащий несколько сотен элементов; - интерактивный видеословарь проекта «Сурдосервер 2.0», содержащий те же самые видеоматериалы, что и электронная обучающая система «Русский жестовый язык. Базовый курс» 2001 г., а также оригинальный жестовый словарь по направлению «Информационные технологии»; - мультимедийный «Словарь лексики русского жестового языка», созданный в 2006 г. Однако следует отметить, что не существует такого словаря РЖЯ, который позволял бы по форме жеста находить его значение, хотя в мире создание подобных словарей жестовых языков - достаточно распространенная практика [3]. Передача столь сложной комбинации, осуществляемой в пространстве и времени, весьма затруднительна для записи. Для описания жеста по его признакам существует несколько различных систем нотации (жестовой транскрипции), позволяющих зафиксировать представление жеста в записи. Однако эти системы практически не используются в естественном общении, основными областями их применения являются образовательная сфера и лингвистические исследования. Данные системы являются фонографическими, т. е. они основаны на иконическом и символьном изображении компонентов жеста [9]. Разработка нотации, подходящей для системы автоматического перевода, представляет собой самостоятельную и очень непростую проблему [6]. Первая система транскрибирования жестов была разработана У. Стокоу [10]. Она состояла из 55 символов, образующих три группы в соответствии с тремя параметрами: 1) место выполнения жеста по отношению к телу говорящего; 2) форма кисти руки, выполняющей жест; 3) траектория движения руки. Впоследствии был введен четвертый параметр структуры жеста - ориентация рук в пространстве относительно друг друга и корпуса говорящего [11]. Нотация Стокоу позволяет записать только те значения параметров жеста, которые ее автор считал смысловыми, значительными для американского жестового языка, поэтому данная нотация не позволяет описать многие динамические параметры выполнения жеста, которые могут вносить существенный вклад в смысл жеста. Существует несколько других систем нотации жестовых языков, они обладают разной степенью подробности и иконичности и ориентированы на описание различных явлений в жестовых языках. Широко известной системой транскрипции жестовых языков является Гамбургская система нотации HamNoSys [12], которая ориентирована на очень подробное описание жеста. В ней используется около двухсот символов, обозначаются не только место выполнения жеста, форма и траектория движения руки, но и ориентация руки, немануальные жесты (мимика говорящего). При записи жеста сначала записывается форма руки (рук), затем ориентация, место выполнения жеста и характер движения. Жесты в транскрипции HamNoSys довольно сложны для визуального восприятия, однако система записи подходит для компьютерной обработки. Эта нотация используется в проекте «Информационный киоск», где демонстрацию жестов для словаря RuSLED осуществляет анимированный персонаж (аватар). Несмотря на то, что дополненная версия HamNoSys имеет знаки для отображения некоторых элементов мимики, при управлении аватаром они не используются. Для записи жестов применяется методика «захвата движений» (motion capture) демонстратора. Жесты фиксируются с помощью нескольких камер, специальных перчаток, отражателей на костюме и лице [13]. Если проводить аналогии с записью звучащей речи, нотацию Стокоу можно сравнить с фонематической транскрипцией, HamNoSys - с фонетической [2]. По иному принципу строится транскрипционная система Беркли (BTS) [14]. В основе ВТS лежит принцип выделения в жесте «значимых» элементов, ее можно сопоставить с глоссированием. Одни и те же элементы жестовой структуры могут, в зависимости от смысла жеста, получать разное содержательное наполнение. Значение компонента жестовой структуры указывается с помощью специального индекса. Жест в транскрипции представляет собой последовательность элементов, снабженных индексами: сначала записывается форма пассивной руки, потом форма активной руки, движение руки, ориентация руки. Система BTS была разработана для транскрибирования жестового дискурса и поэтому включает в себя символы для обозначения дискурсивного поведения говорящего - различных выражений лица, интенсивности выполнения жестов, пауз, ошибок в выполнении жестов и т. п. Описанные выше системы записи жестов нашли применение в лингвистических научных исследованиях [4]. В повседневном применении получила развитие транскрипция Sign writing [15]. Созданная профессиональной танцовщицей, специалистом по записи движений человеческого тела, эта транскрипция из исследовательского инструмента быстро превратилась в форму записи жестовой речи. Все большее число носителей жестовых языков пользуются системой Sign writing, считая ее письменной формой своего родного языка [16]. Но Sign writing продолжает использоваться и как система нотации в лингвистических исследованиях [17]. Sign writing базируется на принципах, предложенных У. Стоуки. В Sign writing жест не записывается как линейная последовательность символов, а изображается пиктограммой, включающей иконические изображения рук, их движений, их расположения относительно друг друга и говорящего. Транскрипция позволяет точно и наглядно отображать жесты, при этом остается простой для восприятия. Этот жестовый язык отличается большей проработанностью и однозначностью записи. Однако у него весьма велик набор знаков (свыше тысячи), что делает его малопригодным для применения в компьютерных технологиях. Запомнить и использовать на практике их трудно. Намного практичнее сократить число частных случаев конфигурации руки, описывая их как переменные. Такому требованию удовлетворяет система нотации жестов, предложенная для РЖЯ Л. Димскис [18]. В ее нотации выделяется более 30 конфигураций рук, около 50 характеристик места исполнения жеста и более 70 характеристик локализации. Использование нотации Димскис для реализации словаря РЖЯ в большей степени удовлетворяет всем рассмотренным ограничениям и условиям, необходимым для автоматизированного компьютерного сурдоперевода: - ограниченное количество нотаций; - формирование слов РЖЯ на основе нотаций, не требующее сложной аппаратуры для видеозахвата и (или) программного обеспечения для распознавания движения; - нотации Димскис - основные транскрипции РЖЯ; - возможность использования анимированного персонажа для отображения РЖЯ; - символьная запись, значительно уменьшающая объем словаря и повышающая скорость воспроизведения на мобильных устройствах. Для реализации 3D-модели сурдопереводчика (аватара) был выбран мощный графический движок Unity3D, основным преимуществом которого является кроссплатформенность и доступность. Unity3D имеет возможность сборки приложения под несколько популярных операционных систем как на мобильных устройствах, так и на персональных компьютерах. Программный комплекс для создания словаря русского жестового языка В Unity3D сложный анимационный персонаж (аватар) описывается и управляется по частям. Это предполагает древовидную структуру скелета аватара. Рука анимационного персонажа состоит из элементов: ключица, плечо, предплечье, кисть . Unity3D поддерживает связность суставов. Используется относительная полярная система координат. Описание перемещения любого элемента руки рассчитывается от конечной точки (родителя) предыдущего элемента (сустава). Для перевода элемента руки в новое положение необходимо обязательно указать параметры конечного пространственного угла (изменения углов по трем координатам) и время, требуемое для выполнения перемещения. Описание движения элементов относительно предыдущего (родительского) сустава позволяет описывать перемещение элементов независимо друг от друга и упростить составление нотации Димскис. Передвижение всегда возможно по двум направлениям: по часовой стрелке или против. Для правильного, естественного движения, присущего человеку, необходимо выбрать кратчайший путь. Для этого необходимо вычислить углы поворота как по часовой, так и против часовой стрелки и выбрать из них минимальный - именно он соответствует естественному движению аватара (человека). Положение конечной точки, таким образом, описывается 3 углами поворота и временем перехода в это положение. Разработано программное обеспечение, которое позволяет переводить созданное в Unity3D движение в текстовый формат и наоборот - текстовый формат такого описания в анимационное движение (рис. 1). Данный переход составляет основу всех анимационных движений («точка»). В среде Unity3D создаются также анимированные простейшие элементы движения других элементов руки. Элемент руки Конечное положение Время Расчетные углы поворота Х Y Z Секунда DX DY DZ Правое плечо X1 Y1 Z1 t1 X1-X0 Y1-Y0 Z1-Z0 Рис. 1. Пример текстового описания движения правого плеча Для описания естественного для человека движения элемента руки часто требуется более сложная траектория, которую необходимо описывать состоящей из нескольких промежуточных положений. Для этой цели создается более сложный сценарий («кривая»), содержащий последовательные действия (рис. 2). Элемент руки Конечное положение Время Расчетные углы поворота Х Y Z Секунда DХ DY DZ Плечо X1 Y1 Z1 t1 X1-X0 Y1-Y0 Z1-Z0 Плечо X2 Y2 Z2 t2 X2-X1 Y2-Y1 Z2-Z1 Плечо X3 Y3 Z3 t3 X3-X2 Y3-Y2 Z3-Z2 Рис. 2. Кривая - совокупность последовательного выполнения нескольких перемещений В большинстве движений таким простым способом не обойтись. Например, движение плеча (части руки до локтевого сустава) невозможно без движения ключицы (в плечевом суставе), поэтому приходится создавать наборы простейших анимаций для создания движения элементов руки. Движение плеча содержит сценарий из двух элементов - это составляет дополнительную основу простейших движений - «клип» (рис. 3). Это же можно отнести и к повороту кисти - поворот кисти невозможен без поворота предплечья. Эти действия в среде Unity3D выполняются параллельно. Нотация Димскис Элемент руки Конечное положение Время Расчетные углы поворота на уровне плеч перед собой Х Y Z Секунда DХ DY DZ Левое плечо X1 Y1 Z1 t1 X1-X0 Y1-Y0 Z1-Z0 Левое предплечье X2 Y2 Z2 t2 X2-X1 Y2-Y1 Z2-Z1 Рис. 3. «Движение левой рукой» Наиболее трудоемким описанием движений является перемещение составляющих элементов кисти (запястья, пястья и фаланг пальцев) руки (рис. 4). Нотация Димскис Элемент руки - пальцы (фаланги) Конечное положение Время Расчетные углы поворота Х Y Z Секунда DX DY DZ Ладонь раскрыта, пальцы выпрямлены Правый мизинец (проксимальная) X11 Y11 Z11 t11 X11-X01 Y11-Y01 Z11-Z01 Правый мизинец (средняя) X21 Y21 Z21 t21 X21-X11 Y21-Y11 Z21-Z11 Правый мизинец (дистальная) X31 Y31 Z31 t31 X31-X21 Y31-Y21 Z31-Z21 Правый безымянный палец (проксимальная) X12 Y12 Z12 t12 X12-X02 Y12-Y02 Z12-Z02 Правый безымянный палец (средняя) X22 Y22 Z22 t22 X22-X12 Y22-Y12 Z22-Z12 Правый безымянный палец (дистальная) X32 Y32 Z32 t32 X32-X22 Y32-Y22 Z32-Z22 … … … … … … … … Рис. 4. «Движение правыми пальцами» - проксимальная фаланга, средней и дистальной В нотации Димскис количество таких положений ограничено и составляет менее 50 случаев. Для упрощения работы пользователей при создании справочника и уроков движение пальцев также собирается в «клип». При этом выполнение движений отдельными элементами описывается «кривыми», движения выполняются последовательно, а все в совокупности элементы (пальцы) выполняют движения параллельно. Набор сформированных элементарных анимаций («клипов») составляет основу визуализированных нотаций Димскис. У каждой из этих анимаций указано время выполнения - оно недоступно пользователям. Его можно поменять только в среде Unity. «Клипы» делятся на статические и динамические. Статические описывают перевод руки аватара из начального состояния в конечное, например, положение пальцев или руки при демонстрации буквы РЖЯ. Динамические «клипы» отображают передвижения элементов руки при демонстрации символов нотации Димскис, соответствующих шевелению пальцев или движениям исполняемых жестов. В этой связи динамические «клипы» представляют собой набор статических «клипов» - например разведение и сведение пальцев. Динамические «клипы» в качестве начального состояния берут предыдущее и часто после демонстрации движения возвращаются в прежнее состояние. На основе статических и динамических «клипов» формируется составной «клип», который после отладки может быть занесен в справочник готовых слов и букв РЖЯ (соответствует значению «знак»). Если новое слово справочника РЖЯ можно получить на основе «знака», то в этом случае более рационально подключать динамический «клип» к уже готовому знаку. Например, из буквы М можно получить слово МАРТ, добавив динамический «клип» («обратимое, горизонтальное»). По окончании выполнения записи в нотации Димскис отрабатывается заключительный «клип» - «возврат в начальное состояние». В нотации Димскис все слова и буквы в основном начинаются с 5-символьного описания положения руки и пальцев. Нотация состоит из следующих символов: - первый элемент - характер исполнения жеста (одноручный, двуручный); - второй элемент - положение пальцев; - третий элемент - направление ладони; - четвертый элемент - направление пальцев; - пятый элемент структуры - место расположения жеста. Например, запись в нотации Димскис буквы А представлена на рис. 5: - первый знак (буква П) указывает на то, что жест выполняется правой рукой; - второй знак иконографически указывает форму руки - сжатые пальцы; - третий символ схематически изображает разворот ладони - она направлена от себя, от корпуса говорящего; - четвертый знак указывает на ориентацию ладони - пальцами вверх; - последний символ означает, что жест исполняется на уровне плеча человека. Рис. 5. Пример записи жеста-буквы А в нотации Димскис Символы нотации Димскис предназначены для наглядности демонстрации жестов человеком, поэтому они имеют некоторую избыточность и повторяемость. При компьютерной реализации это соответствует тому, что несколько символов нотации преобразуются в один «клип» и библиотека символов нотации Димскис имеет не прямой зависимости символ - «клип» (рис. 6). Создаются 3 библиотеки «клипов» - для правой и левой рук и на их основе - для двуручных жестов. Нотация Димскис «Клип» Х Х Х Запись жеста - поднять правую руку до уровня плеча Движение правой рукой вверх до плеча Х Х Х Запись жеста - указательный и средний пальцы выпрямлены, остальные прижаты к ладони Движение указательным и средним пальцами правой руки (эквивалентно), как для буквы М Х Х Запись жеста - пальцы вверх, ладонь направлена от себя Поворот правого предплечья ладонью к себе Рис. 6. Примеры простого статического «клипа» для цифры 2 и избыточности описания нотации Димскис для выбора «клипа» При запуске приложения загружается файл описания сцены с аватаром, находящимся в исходном положении. В режиме «Разработчик» доступны для отображения все созданные анимационные файлы, включая «элементарные». Разработчик имеет возможность создавать сценарии, используя всю иерархию библиотеки - от «точки» до «знаков» и «последовательностей». При необходимости может перейти в оболочку Unity3D и исправить или создать новый элемент анимации (рис. 7). Рис. 7. Внешний вид программного модуля и редактирования в Unity3D Созданный «клип» записывается в библиотеку символов нотаций Димскис, при этом ему ставятся в соответствие подходящие элементы. На основе полученных «клипов» производится разработка справочника РЖЯ (библиотека «знаков») за счет сборки составных «клипов» или применения уже готовых «знаков» (рис. 8). Рис. 8. Пример формирования слова МАРТ либо из готового «знака» М, либо непосредственно по нотациям Димскис В режиме «Пользователь» набирается необходимая запись в нотации Димскис, которая в соответствии со структурой библиотеки отбирает необходимые «клипы» для реализации слова. Сформированные записи могут быть занесены в справочник РЖЯ (библиотека «знаков») и в дальнейшем использоваться для составления новых слов и более сложных сценариев. В этом режиме пользователю доступна возможность изменения времени исполнения жестов за счет введения «множителя скорости». Заключение Использование нотации Димскис позволяет пользователям, знакомым с РЖЯ, самостоятельно пополнять словарь терминов, что является несомненным достоинством предлагаемого подхода. Иерархическая структура построения дерева анимаций («точка», «кривая», «клип», «знак») позволяет структурировать последовательность доступности элементарных записей для применения, ограничить возможности необратимых изменений основных разработанных движений и в то же время обеспечить простую доступность всех необходимых элементарных анимаций пользователю. Для дальнейшего использования предоставляется возможность создания на основе «клипов» и «знаков» сценариев любой сложности для последовательного выполнения («последовательностей»), при этом можно регулировать время выполнения каждого входящего «клипа» и «знака» за счет введения множителя скорости выполнения. Использование в качестве исходной информации символов нотации Димскис позволяет реализовать поиск нужного символа по знакам нотации. Применение текстовых файлов для описания словаря существенно сокращает объем словарной базы и ускоряет время воспроизведения анимации на мобильных устройствах. В дальнейшем использование «Справочника» предполагается для демонстрации дактилем и слов РЖЯ, а также составных словосочетаний. Предложенный подход на основе нотации Димскис предоставляет возможность создания «уроков» по определенным темам для обучения РЖЯ [19].
1. Gosudarstvennaya programma Rossiyskoy Federacii «Dostupnaya sreda» na 2011-2020 gody. URL: http://www.rosmintrud.ru/docs/government/170 (data obrascheniya: 9.11.2016).
2. Komarova A. A. Razvitie issledovaniy po istorii gluhih // Materialy Pervogo Mosk. simpoz. po istorii gluhih. M.: Zagrey, 1997. S. 16-25.
3. Prozorova E. V. Rossiyskiy zhestovyy yazyk kak predmet lingvisticheskogo issledovaniya // Voprosy yazykoznaniya. 2007. № 1. S. 44-61.
4. Geyl'man I. F. Specificheskie sredstva obscheniya gluhih. Daktilologiya i mimika. Ch. 1-4 [Slovar']. L.: LVC VOG, 1975-1979.
5. Grenoble L. An Overview of Russian Sign Language // Sign Language Studies. Maryland: Linstok Press, 1992. Vol. 21 (77). P. 321-338.
6. Grif M. G., Timofeeva M. K. Problema avtomatizacii surdoperevoda s pozicii prikladnoy lingvistiki // Sibir. filolog. zhurnal. 2012. № 1. S. 211-219.
7. Manueva Yu. S., Grif M. G., Kozlov A. N. Postroenie sistemy komp'yuternogo surdoperevoda russkogo yazyka // Tr. SPIIRAN. 2014. № 6 (37). S. 170-187.
8. Karpov A. A., Kagirov I. A. Formalizaciya leksikona sistemy komp'yuternogo sinteza yazyka zhestov // Tr. SPIIRAN. 2011. Vyp. 1 (16). S. 123-140.
9. Van der Hulst H., Channon R. Notation systems. Brentari D. (ed.). Sign languages. New York: Cambridge University Press, 2010. P. 151-172.
10. Stokoe W. Sign Language Structure: An Outline of the Visual Communication Systems of the American Deaf. New York: University of Buffalo, 1960. 78 p.
11. Battinson R. Lexical Borrowing in American Sign Language. Silver Spring: Linstok Press, 1978. 240 p.
12. Prillwitz S., Leven R., Zienert H., Hanke T., Henning J. HamNoSys. Version 2.0; Hamburg Notation System for sign languages: An introductory guide // International Studies on Sign Language and Communication of the Deaf. Vol. 5. Hamburg: Signum Press, 1989. P. 225-231.
13. Voskresenskiy A. L., Il'in S. N., Zelezny M. O raspoznavanii zhestov yazyka gluhih // Komp'yuternaya lingvistika i intellektual'nye tehnologii: Po materialam ezhegodnoy Mezhdunarodnoy konferencii «Dialog» (Bekasovo, 26-30 maya 2010 g.). Vyp. 9 (16). M.: RGGU, 2010. S. 76-81.
14. Hoiting N., Slobin D. Transcription as a tool for understanding: The Berkeley transcription system for sign language research (BTS). G. Morgan, B. Woll (eds.). Directions in sign language acquisition. Amsterdam: Philadelphia, 2002. P. 55-75. URL: http://ihd.berkeley.edu/btsforsignlanguage.pdf (data obrascheniya: 9.11.2016).
15. Sutton V. Lessons in SignWriting: textbook and workbook. La Jolla: Deaf action committee for sign writing, 1999.
16. Martin J. A linguistic comparison. Two notation systems for signed languages. Stokoe Notation and Sutton sign writing. Sign writing web site. La Jolla (CA) (Deaf action committee for sign writing). 2000. http://www.signwriting.org/archive/docsl/sw0032-Stokoc-Sutton.pdf (data obrascheniya: 9.11.2016).
17. Clark K., Clark-Gunsauls D. Research related to classifiers at Salk Institute uses sign writing // Sign writer newsletter. La Jolla. CA: Deaf action committee for sign writing, 1997.
18. Dimskis L. S. Izuchaem zhestovyy yazyk: ucheb. posobie. M.: Akademiya, 2002. 128 s.
19. Grif M. G., Manueva Yu. S. Razrabotka algoritma semanticheskogo analiza rechi (teksta) dlya perevoda na russkiy zhestovyy yazyk // Nauch. vestn. NGTU. 2016. № 1 (62). S. 106-119.
