Russian Federation
Russian Federation
Russian Federation
Russian Federation
The article highlights the progress of information and telecommunication technologies as a basis for studying modern medical diagnostics, where digital technologies are widely used. Digital medical images can be easily analyzed, stored, and transmitted over telecommunica-tions channels. Most manufacturers support the DICOM medical standard which contains complete, but in many cases redundant, information. There is considered the process of developing a cross-platform telecommunications converter of medical images for the system of visualization and navigation in low-invasive medical manipulations. The popular medical image format DICOM is considered in detail. An algorithm for converting data from the DICOM format into standard graphic files has been developed. The results of the converter operation are analyzed in the case of such characteristics as compression, signal-to-noise level and compression rate.
medical image, format, compression, telecommunication converter, image processing, visualization systems, low-invasive medical manipulations
Введение Современные информационные и телекоммуникационные технологии позволяют применять математический аппарат при анализе и обработке медицинских изображений, а также при компьютерном моделировании и визуализации для малоинвазивных медицинских манипуляций. Изображения создаются и анализируются при проведении компьютерной томографии (КТ), магнитно-резонансной томографии (МРТ), маммографии, рентгенографии, ультразвукового исследования и других диагностических методов [1]. Термин «медицинское изображение» включает совокупность методических, методологических, понятийных и технологических процессов и описывает структурно-функциональный образ органов человека, предназначенный для диагностики заболеваний и изучения анатомо-физиологической картины организма. Необработанное трехмерное изображение, будь то изобр-жение КТ, МРТ или микроскопии, представляет собой трехмерный массив вокселей или пикселей. Каждый воксель имеет диапазон оттенков серого от 0 до 65535 в случае 16-битного пикселя или от 0 до 255 в случае 8-битного пикселя. Большинство медицинских систем визуализации генерируют изображения с использованием 16-битного диапазона шкалы серого. Трехмерное изображение обычно имеет большое количество пикселей и требует больших вычислительных ресурсов для обработки, такой как сегментация и распознавание образов. С другой стороны, сегментированное изображение обеспечивает гораздо более простое описание объектов, что позволяет создавать трехмерные модели поверхности или отображать объемные данные. Медицинские изображения могут быть представлены как в специализированных форматах от фирм-разработчиков медицинского оборудования, так и в стандартных (jpg, bmp, tiff и т. д.). Исходные изображения в специализированных форматах занимают большой объем памяти, поэтому для ускорения их передачи по каналам связи и для более рационального хранения в памяти компьютера их сжимают или конвертируют в более экономичные. При этом важным параметром является сохранение качества изображения [2]. На сегодняшний день не существует программных продуктов, позволяющих конвертировать медицинские изображения пакетами, с возможностью автоматической сортировки по ориентации и положению изображения, а также его масштабирования. Несомненным преимуществом разработанного нами конвертера является возможность генерации сортированного облака точек исследуемого объекта. Анализ и обработка медицинских изображений позволяет получить трехмерные модели объектов, что является ключевым моментом при проведении малоинвазивных медицинских манипуляций и использовании роботизированных установок с техническим зрением и автоматической навигацией. Эффективным методом восстановления формы 3D-объектов из наборов данных 2D DICOM является обработка данных на основе методов обработки цифровых изображений для получения трехмерного облака точек. Этот шаг включает в себя извлечение функций, границы формы, удаление зашумленных данных и вставку новых пикселей для получения обычного набора данных для каждого среза DICOM. На следующем этапе выполнятся реконструкция трехмерного объекта на основе алгоритмов триангуляции Делоне или Marching Cubes трехмерного облака точек, а далее – рендеринг и визуализация объектов трехмерных медицинских изображений. Анализ и описание работы конвертера Практически любое оборудование для цифровой лучевой диагностики помимо своего стандарта на изображения поддерживает стандарт DICOM. Он охватывает файлы, созданные с целью переноса и просмотра медицинских снимков в стандартизированном формате. Изображения МРТ, а также другие медицинские снимки хранятся в этом формате вместе с данными о пациенте и другой связанной с этим информацией. Формат DICOM обеспечивает сохранение масштаба полученных снимков, что позволяет проводить точные измерения тех или иных анатомических структур. Однако основные программы просмотра снимков в данном формате имеют ограниченный функционал, не позволяющий производить целый ряд усложненных измерений, зачастую необходимых для качественного анализа снимка [3]. В некотором смысле определение объектов DICOM аналогично объектно-ориентированному программированию. Детализируя определения информационных объектов (IOD), DICOM детализирует определения информационных объектов (IOD), позволяя обмениваться виртуальными объектами, определяемыми аналогично ориентированному программированию между различными приложениями [4]. Информационная модель стандарта DICOM для DICOM-файла состоит из 4-х ступеней (рис. 1). Рис. 1. Упрощенное представление модели данных DICOM По результатам каждого исследования формируется файл, который содержит данные пациента, наименование и параметры оборудования, наименование медицинской организации, данные медицинского персонала и т. д. DICOM-файл является объектно-ориентированным файлом с теговой разметкой. Каждый элемент имеет тег, тип данных с именем VR, длину и значение. Более подробно структура формата описана в [3]. Исходя из вышесказанного, считаем целесообразной разработку конвертера, который осуществлял бы преобразование всех файлов формата *.dcm, содержащихся в выбранном каталоге, в графический файл необходимого формата, текстовый файл с медицинскими данными и файл облака точек. В качестве базовой платформы для разработки предлагаемого конвертера была выбрана кроссплатформенная система Eclipse и язык Java. Конвертер состоит из 7 классов (рис. 2): – DcmConverter – основной класс конвертера, который содержит в себе описания полей (тегов), параметры и типы фалов и т. д.; – DcmDeconverter – класс для считывания тегов из DICOM файла; – DcmDict – класс, содержащий в себе описание тегов (словарь); – FileRead – класс для чтения данных из медицинских файлов (используется классом DcmConverter); – FileOpen – класс открытия файлов медицинских изображений; – ByteVector – вспомогательный класс для работы с массивами; – FileInform – класс чтения атрибутов медицинского файла (высота, ширина изображения, типы сжатия и цветовые пространства изображений и т. д.). Рис. 2. Диаграмма классов конвертера Алгоритм работы конвертера представлен на рис. 3. В качестве входящего параметра принимается строка, которая содержит в себе адрес каталога с DICOM-файлами. Затем определяется количество DICOM-файлов и выделяется память под массивы позиционирования и масштабирования (по осям координат). Далее, в зависимости от входящих параметров, выполняется преобразование DICOM-файла в тип Mat, в массивы позиционирования и масштабирования записываются соответствующие параметры. Далее, в зависимости от входящих параметров, выполняется преобразование DICOM-файла либо в тип Mat, с одновременной записью в массивы позиционирования и масштабирования соответствующих параметров, либо в графические файлы соответствующего (заданного) типа. Массив изображений типа Mat передается в систему визуализации и обработки. Рис. 3. Схема работы конвертера Изначально, как было сказано выше, DICOM-файл содержит в тегах избыточную текстовую информацию, которая не требуется после конвертации. Как правило, данная информация содержит в себе сведения об оборудовании, учреждении, данные о пациенте и т. д. В процессе конвертации отбираются следующие поля: толщина слоя, расстояние между слоями, позиция и положение пациента, ориентация слоя, цветовое пространство, ширина, высота, разрядность, расстояние между пикселями изображения. Конвертер выполняет преобразование всех файлов формата *.dcm, которые содержатся в выбранном каталоге (и вложенных каталогах). По окончании процесса конвертации в текущем каталоге создается графический файл соответствующего формата (JPEG, TIFF и т. д.), а также текстовый файл с медицинскими данными. Так как в одном каталоге находятся, как правило, результаты одного потокового сканирования, полная текстовая информация находится в первом (в алфавитном порядке) файле, а в остальных файлах – только изменяющиеся параметры. Дополнительно в текущем каталоге создается файл облака точек. Данный файл содержит в себе координаты точек последовательности изображений, при этом в качестве координат х и у выступают координаты пикселей изображения. Координата z вычисляется на основании данных Position of Patient и Orientation of image slice. Цвет точки совпадет с цветом пикселя. В процессе анализа существующего программного обеспечения по обработке и визуализации медицинских данных (MultiVox DICOM Viewer, MeVisLab, 3D-Doctor и т. д.) были выявлены как его достоинства, так и недостатки. В качестве основных недостатков таких систем можно выделить следующие: – отсутствует пакетное сжатие (когда результаты диагностики представляют собой вложенные папки с медицинскими файлами); – отсутствует сжатие однотипных текстовых данных; – не создается файл облака точек для создания трехмерных тел. В разрабатываемом программном комплексе предлагается сжимать текстовые данные за счет отсеивания постоянно повторяющейся информации для потокового сканирования, а также предлагается возможность выбора для сохранения в конвертируемом файле требуемых полей. В табл. 1–3 приведены результаты конвертации телекоммуникационным конвертером различных медицинских изображений формата DICOM (КР/ЦР, УЗИ, КТ/МРТ и т. д.) с разрядностью пикселей 8, 16, 24 бит в различные форматы графических изображений (JPG, BMP, TIFF и т. д.). В таблицах для конвертированных медицинских изображений первым значением указывается размер после конвертации, вторым – величина PSNR. В последнем столбце указывается размер отфильтрованной текстовой информации из DICOM-файла. Таблица 1 Размер изображений после конвертации (24 бит) и PSNR (уровень сигнал/шум) Процедура DICOM JPG BMP TIFF PNG JP2 TXT Кб КР/ЦР 549 67/50 258/∞ 181/∞ 152/∞ 107/200 4 УЗИ 549 58/49 253/∞ 208/∞ 131/∞ 109/220 4 Эндоскопия 549 59/54 207/∞ 223/∞ 154/∞ 99/210 4 МГ 549 52/49 185/∞ 196/∞ 133/∞ 105/230 4 МРИ 549 50/49 168/∞ 163/∞ 126/∞ 94/221 4 КТ/МРТ 549 56/48 196/∞ 156/∞ 142/∞ 100/227 4 Таблица 2 Размер изображений после конвертации (16 бит) и PSNR (уровень сигнал/шум) Процедура DICOM JPG BMP TIFF PNG JP2 TXT Кб КР/ЦР 241 29/48 113/∞ 79/∞ 67/∞ 47/230 5 УЗИ 241 30/50 105/∞ 93/∞ 56/∞ 51/210 5 Эндоскопия 241 34/52 93/∞ 105/∞ 48/∞ 47/215 5 МГ 241 31/47 109/∞ 101/∞ 46/∞ 48/226 5 МРИ 241 34/52 104/∞ 115/∞ 54/∞ 45/228 5 КТ/МРТ 241 33/53 89/∞ 110/∞ 45/∞ 45/235 5 Таблица 3 Размер изображений после конвертации (8 бит) и PSNR (уровень сигнал/шум) Процедура DICOM JPG BMP TIFF PNG JP2 TXT Кб КР/ЦР 90 11/45 42/∞ 30/∞ 25/∞ 18/200 3 УЗИ 90 9/50 37/∞ 31/∞ 22/∞ 18/230 3 Эндоскопия 90 9/51 37/∞ 31/∞ 20/∞ 18/180 3 МГ 90 10/49 32/∞ 31/∞ 17/∞ 22/160 3 МРИ 90 12/53 36/∞ 36/∞ 18/∞ 26/252 3 КТ/МРТ 90 12/55 38/∞ 42/∞ 22/∞ 24/250 3 Для сравнения исходного и полученного изображений можно использовать метрики: – PSNR (peak signal-to-noise ratio) – отношение сигнал/шум; – SSIM (structural similarity index measure) – индекс структурного сходства. В конвертере предлагается использовать метрику PSNR, т. к. SSIM является более избыточной с точки зрения сложности определения различности изображений: где n – битность изображения; M, N – размеры изображений; I1, I2 – матрицы пикселей исходно-го и результирующего (конвертируемого) изображения. Размер полученного конвертированного изображения также является важной характеристикой, т. к., например, при компьютерной или магнитно-резонансной томографии объем памяти для одного среза изображения размерами 512 × 512 пикселей и разрядностью 16 бит составляет около 0,5 Мб, а типичный стек изображений может иметь около 200 срезов, что может со-ставить более 100 Мб. По компактности полученных изображений можно выделить PNG, JPG, JP2. Причем разница между исходным DICOM-изображением и конвертированным файлом более критична с увеличением размера изображения. На основании определения метрики PSNR чем хуже качество полученного изображения, тем ниже ее значение. Важной характеристикой при конвертации DICOM-изображений является размер полученного изображения, который зависит от алгоритмов сжатия. Данные характеристики являются взаимосвязанными, поэтому приводятся в одной таблице. Наиболее оптимальным с точки зрения уровня сигнал/шум является конвертирование изображений в форматы PNG, BMP и TIFF. В табл. 4–6 приведена скорость работы телекоммуникационного конвертера медицинских изображений формата DICOM на процессоре Intel® Core™ i3-3240 CPU 3,40 GHz и ОЗУ 4 Гб при конвертации изображений в те же графические форматы с различным уровнем разрядности (8, 16, 24 бит). Таблица 4 Скорость конвертации изображений (24 бит) Процедура DICOM JPG BMP TIFF PNG JP2 TXT ms КР/ЦР 70 3 3 11 6 225 1 УЗИ 70 3 3 13 6 254 1 Эндоскопия 70 3 3 14 5 259 1 МГ 70 3 3 12 4 241 1 МРИ 70 3 4 9 5 195 1 КТ/МРТ 70 3 3 9 5 186 1 Таблица 5 Скорость конвертации изображений (16 бит) Процедура DICOM JPG BMP TIFF PNG JP2 TXT ms КР/ЦР 62 5 3 7 5 238 1 УЗИ 62 5 3 6 6 245 1 Эндоскопия 62 6 3 6 7 233 1 МГ 62 5 3 6 6 272 1 МРИ 62 4 3 5 6 297 1 КТ/МРТ 62 5 3 5 6 297 1 Таблица 6 Скорость конвертации изображений (8 бит) Процедура DICOM JPG BMP TIFF PNG JP2 TXT ms КР/ЦР 31 1 2 1 1 25 1 УЗИ 31 1 2 1 1 26 1 Эндоскопия 31 1 3 1 1 27 1 МГ 31 1 3 1 1 25 1 МРИ 31 1 4 2 1 29 1 КТ/МРТ 31 1 4 2 1 31 1 Для наглядности данные из табл. 1–3 в виде гистограмм объединены на рис. 4. Рис. 4. Усредненные значения размеров изображений Наиболее важный параметр – «Размер изображения» – представлен в усредненном по типам медицинских изображений виде. По скорости конвертации изображений наиболее удовлетворительные результаты продемонстрировали форматы JPG, BMP и PNG. Таким образом, сравнение данных трех характеристик позволяет сделать вывод о том, что наиболее оптимальным с точки зрения PSNR, качества и скорости сжатия можно назвать форматы PNG и JPG. Важным условием при разработке конвертера была его кроссплатформенность. Работа предлагаемого конвертера была проверена на всех современных платформах (Windows, Linux, MacOS, Android) с предустановленной виртуальной машиной Java и показала устойчивые результаты. Заключение Предложенный в работе кроссплатформенный конвертер для медицинских изображений стандарта DICOM позволяет получать их компактное представление в различных графических форматах для дальнейшей обработки или передачи по каналам связи. При этом конвертер позволяет выбирать тип экспортируемого изображения, предоставляет возможность выбора степени сжатия, а также позволяет контролировать получение и сжатие данных без содержания артефактов. Во время тестирования телекоммуникационного конвертера было обработано более 100 тыс. медицинских изображений и не выявлено ни одного сбоя в его работе. Методы конвертера можно использовать для обработки изображений в составе других программных комплексов, а также фреймворков (OPENCV, Aforge, libVLC, ImageJ и т. д.). Результаты работы также позволят ИТ-специалистам, даже не связанным с медицинской сферой, более эффективно использовать медицинские изображения для разработки классификаторов на основе алгоритмов машинного обучения.
1. Shibaykin S. D., Abbakumov A. A., Nikulin V. V. Razrabotka programmnogo obespecheniya sistemy vizualizacii i navigacii dlya maloinvazivnyh medicinskih manipulyaciy na osnove 3-D modeli postroennoy po UZ-izobrazheniyam // Nauch.-tehn. vestn. Povolzh'ya. 2020. № 2. S. 50-53.
2. Korolyuk I. P. Medicinskaya informatika: ucheb. Samara: OOO «Ofort»; GBOU VPO «SamGMU», 2012. 244 s.
3. Shibaykin S. D., Abbakumov A. A., Plehanova A. D., Lebedev M. A., Pinimaskin V. A. Razrabotka telekommunikacionnogo konvertera dlya medicinskih UZ-izobrazheniy // Nauch.-tehn. vestn. Povolzh'ya. 2020. № 10. S. 51-54.
4. DICOM. Oficial'naya stranica standarta. URL: https://www.dicomstandard.org/current/ (data obrascheniya: 20.12.2020).
