Петрозаводск, Россия
Петрозаводск, Республика Карелия, Россия
Активное развитие аквакультуры стимулирует появление новых технологий выращивания рыбы, при разработке которых требуется проводить множество экспериментов. Важной частью таких экспериментов является контроль изменения веса рыб с помощью регулярного взвешивания. Ручное взвешивание рыбы является трудоемким процессом и вызывает сильный стресс у подопытной рыбы. Более современной альтернативой ручному взвешиванию служит автоматическое бесконтактное «взвешивание» при помощи соответствующих датчиков и/или видеокамер, при котором определяются линейные размеры рыбы и на их основе вычисляется вес. Появление нового, все более компактного, точного, функционального и недорогого оборудования стимулирует возникновение различных подходов к бесконтактному взвешиванию, отличающихся набором используемого оборудования и реализацией компьютерной обработки. Представлен аналитический обзор подходов к созданию устройств бесконтактного взвешива-ния на основе анализа 72 научных работ с датой публикации не ранее 2012 г. Некоторые устройства имеют достаточно широкую область применения, но мы концентрируемся на взвешивании рыбы в лабораторных условиях. Описаны установки на основе датчиков, гидролокаторов, видеокамер и их комбинаций. Особое внимание уделено установкам на основе видеокамер ввиду их широкого распространения и подходящих характеристик для решения задачи бесконтактного взвешивания. Рассмотрены как системы с одной видеокамерой, так и использующие синхронизированные стереопары или ортогональные камеры. Приводится качественное сравнение оборудования различных типов и конфигураций. Представлен общий базовый алгоритм бесконтактного взвешивания по изображениям, которые могут быть получены как видеокамерами, так и другими устройствами. Алгоритм включает обнаружение, выделение, измерение и расчет веса рыбы.
аквакультура, вес рыбы, бесконтактное «взвешивание», навеска, линейные размеры, датчики, видеокамеры, компьютерное зрение, нейронные сети
Введение
Аквакультура является одним из самых динамично развивающихся секторов пищевой промышленности в мире. Мировое население употребляет в пищу больше искусственно выращенной рыбы, чем добытой традиционным рыболовством, а объем выращиваемой биомассы превосходит аналогичные показатели при производстве говядины. Однако для обеспечения устойчивого развития аквакультуры необходимо повышать эффективность использования ресурсов, снижать негативное воздействие на окружающую среду и улучшать качество продукции. Как отмечает Продовольственная и сельскохозяйственная организация Объединенных Наций (ФАО), для роста объемов производства аквакультуры и продолжения быстрого развития сектора в рамках инициативы «Голубая трансформация» необходимо внедрять инновации в области питания гидробионтов и разрабатывать высокоэффективные экструдированные корма [1]. Это требует проведения большого объема экспериментальной работы по совершенствованию технологий разведения и выращивания водных организмов.
При проведении экспериментов в рыбоводстве важно контролировать вес подопытной рыбы. Помимо очевидного влияния на темпы прироста биомассы, этот параметр также может служить важным индикатором состояния здоровья рыбы. Зачастую используется ручное взвешивание, которое, как правило, предполагает вылов рыбы из аквариума, обездвиживание и взвешивание на весах. При необходимости измерить рыбу ее требуется предварительно обездвижить. Такие методы являются крайне трудоемкими [2, 3], приводят к стрессу гидробионтов и росту смертности [4–6] и значительно влияют на результаты и чистоту экспериментов.
Ранее в ряде работ уже были представлены обзоры подходов к бесконтактному взвешиванию [4, 7–11]. Так, в работе [4] проанализированы подходы к распознаванию, идентификации, подсчету, отслеживанию и измерению рыб с помощью различных программных методов анализа изображений с подводных стереопар. Несмотря на десятилетнюю давность, работа представляет интерес с точки зрения постановки задач и общего алгоритма работы с изображениями.
В статье [7] рассматриваются используемые в аквакультуре системы компьютерного зрения. Работа состоит из двух частей: в первой рассматриваются методы бесконтактного мониторинга рыбы, во второй – оценка особей после вылова. К методам мониторинга относятся бесконтактные способы обнаружения рыбы, анализа поведения, измерения размера и веса, подсчета числа особей, выявление стресса, определение цвета. Оценка после вылова включает определение размера и веса особи, содержания химических веществ, оценку цвета, свежести, обнаружение костей, а также сортировку рыбы по различным признакам. Авторы [7] отмечают перспективность оптических технологий и визуализации для оптимизации выращивания рыбы как для количественных, так и для качественных показателей. Одной из основных сложностей методов на основе компьютерного зрения называется перекрытие рыб, что может решаться использованием нескольких камер и созданием 3D-визуализации. Ряд методов мониторинга, рассмотренных в работе [7], может использоваться в лабораторных установках, однако
в целом решаются задачи в приложении к фермерским предприятиям; кроме того, в основу сравнения методов легли устаревшие на данный момент исследования 10–20-летней давности.
Обзор [8] посвящен системам компьютерного зрения для измерения рыб, основой которых могут быть гидролокаторы, одиночные или парные камеры. В качестве алгоритмов показаны системы линейного и нелинейного измерения длины и площади рыбы с использованием двумерных и трехмерных снимков. Несмотря на существующие сложности при работе с камерами, включая низкое качество получаемых снимков и проблемы с их обработкой, авторы обзора предполагают расширение использования видеокамер в аквакультуре. Работа не содержит сравнения алгоритмов расчета навески, но включает результаты расчетов. Как и в работе [7], при сравнении используются старые статьи, средний возраст которых на текущий момент уже превышает 15 лет.
Авторы работы [9] сфокусировались на системах для подсчета рыбы. Задачи подсчета отличаются от задач взвешивания, однако также основаны на обнаружении и выделении рыб, что влечет использование схожих методов. В статье описаны системы с гидролокаторами, видеокамерами и датчиками; отмечается множество нерешенных задач, при этом положительно характеризуются алгоритмы на основе машинного зрения и глубокого обучения. Ввиду направленности статьи на подсчет особей в работе [9] отсутствует информация о дальнейшей обработке изображений и взвешивании рыбы.
В работе [10] рассматриваются системы на основе компьютерного зрения с использованием искусственного интеллекта, однако отсутствует сравнение различных установок и методов. Основная часть статьи разделена на 4 части: распознавание, отслеживание, измерение и классификация рыб. Разделы содержат описание основных возникающих проблем при решении соответствующих задач, но не акцентируют внимание на каких-либо установках, методах и их сравнении. В заключение авторы указывают на расширение использования систем на основе компьютерного зрения, но фокусируются на сложностях применения подобных систем в реальных условиях и опасностях применения недоработанных решений.
В исследовании [11] авторы разделили установки для распознавания и анализа рыбы на 4 группы согласно используемому оборудованию: получающие информацию от видеокамер и видимого света, использующие инфракрасный свет, измеряющие удельное сопротивление воды, анализирующие химический состав. Показана высокая эффективность автоматических установок, отмечаются их основные недостатки, приводятся формулы для расчетов. Авторы [11] прогнозируют развитие комбинированных систем, которые получают информацию одновременно из нескольких источников, например, использование видеокамер совместно с тепловизорами или акустическими датчиками.
В представленной работе выполнен современный аналитический обзор актуальных устройств и алгоритмов для бесконтактного взвешивания рыбы в условиях лабораторий или небольших емкостей. Рассмотрены системы на основе гидролокаторов, датчиков и видеокамер в различных конфигурациях. Приводится сравнение различных типов оборудования и некоторые аспекты обработки получаемой информации.
Использовалась следующая методика отбора научных статей для анализа. В качестве источника была выбрана наиболее полная международная специализированная система научного поиска Google Scholar. По соответствующим наборам ключевых слов были отобраны релевантные статьи не старше 10 лет. Процесс отбора проходил по следующему циклическому алгоритму:
– постановка исследовательского вопроса;
– выделение ключевых слов на английском языке;
– поиск статей по ключевым словам;
– первичный анализ и фильтрация статей;
– подготовка новых исследовательских вопросов.
Всего было отобрано 72 научные публикации, на основе анализа которых была выработана общая схема бесконтактного «взвешивания» и выполнено сравнение современных методик.
Аппаратное обеспечение бесконтактного «взвешивания» рыб
Идея бесконтактного «взвешивания» основывается на подтвержденной рядом работ гипотезе о существовании прямой зависимости между линейными размерами рыбы и ее весом (см., например, [4, 9, 12]), при этом наиболее часто во взвешивании используются длина и высота рыбы, хотя более хорошие результаты на практике показывают расчеты на основе периметра или площади боковой проекции.
В задачах взвешивания необходимо пройти 3 общих этапа: обнаружение и выделение границ контура рыбы, измерение необходимых линейных параметров рыбы и непосредственно расчет веса. От выбора оборудования зависит область применимости установки, тип и качество собираемой информации, количество трудозатрат и влияние на рыбу.
На рис. представлены схемы основных используемых установок для бесконтактного взвешивания: на основе сканеров и рамок (а, б), гидролокаторов (в) и видеокамер (г, д, е).
Далее каждый тип будет описан подробнее.
Установки на основе гидролокаторов. Один из методов обнаружения подводных объектов и оценки их размеров заключается в использовании гидролокаторов. Часть из них работают в пассивном режиме и определяют объекты по их собственному акустическому излучению, другие же, активные, сами излучают сигнал и ожидают его рассеивание или отражение, по которому можно оценить расстояние до объекта и его размер (см. рис., в).
Варианты установок для бесконтактного взвешивания:
на основе сканеров и рамок (а, б), гидролокаторов (в), видеокамер (г, д, е)
Options for installations for non-contact weighing:
based on scanners and frames (а, б), sonar (в), video cameras (г, д, е)
Такой подход позволяет работать при отсутствии освещения и в мутной воде. Например, в работе [13] данный метод используется для нахождения и подсчета рыбы в садке с непрозрачной водой. Другим достоинством подхода является его применимость на больших площадях, что позволяет работать в естественных водоемах, таких как озера и моря. Однако установки на основе гидролокаторов имеют высокую стоимость и большую погрешность, поэтому подобное оборудование рационально использовать для оценки общей биомассы, поиска скоплений рыб в условиях непрозрачной воды, а при использовании в небольших емкостях с прозрачной водой, таких как бассейны установок замкнутого водоснабжения (УЗВ) или лабораторный аквариум, более эффективны другие подходы.
Установки на основе гидролокатора с видеокамерой. Для повышения точности к гидролокатору может быть добавлена видеокамера, однако результаты работы такой системы зависят от прозрачности воды и уровня освещенности. Указанный способ применяется в работе [14] при измерении рыбы во время перегона между садками. Для подсчета
и определения местоположения особей и их удаленности от устройства используется гидролокатор, далее в полученных координатах выполняются поиск рыбы с помощью видеокамеры и измерение длины по изображению. Данный метод позволяет существенно сократить погрешность, но она все еще высока при измерении отдельных рыб, а не общей биомассы и количества. При этом использование сонара и направление камеры в сторону света позволяют обнаружить объекты на большой площади (например, при измерении рыбы в движении между открытыми садками), однако такой масштаб избыточен для УЗВ или лабораторий. Высокая погрешность связана с ограничением набора признаков, которые можно получить с использованием единственной камеры, расположенной снизу: в работе [14] для оценки веса используется длина особи, однако исследования показывают, что только длины рыбы недостаточно для точного измерения навески [4]. Если же расположить камеру в боковой проекции, из-за смены фона и освещенности дальность и площадь обнаружения рыбы серьезно сокращаются, что ставит под сомнение рациональность использования дорогостоящих гидролокаторов.
Установки на основе сканеров и рамок. Сканер или специальная диодная рамка помещаются в садок или аквариум, позволяя с высокой точностью измерять проплывающую рыбу [10]. Сканер обычно представляет собой две пластины, на одной из которых расположены источники направленного инфракрасного света, на другой – приемники (см. рис., а). Когда рыба проплывает через сканер, своим телом она закрывает часть приемников, анализируя показания которых можно получить силуэт рыбы. Рамка представляет собой аналогичное сканеру устройство, но меньшего размера (см. рис., б), поэтому она не покрывает рыбу целиком, и проплывающий силуэт приходится собирать из множества фрагментов, получаемых последовательно.
Использование сканера и рамки позволяет получить силуэт рыбы, извлечь из него длину, ширину и иные параметры, используемые для расчета веса отдельной особи. Основной недостаток таких устройств заключается в неполноте собираемых данных: через рамку в аквариуме или садке может проплывать не вся рыба, что сделает выборку
неполной, а некоторые особи могут измеряться чаще других, смещая оценку навески [15, 16]. Например, более мелкая и слабая рыба может опасаться неизвестного объекта, тогда как более крупная и агрессивная будет проявлять повышенный интерес и часто проплывать через рамку. В таком случае средняя навеска будет существенно отличаться от реальной, а часть данных будет упущена.
Установки на основе видеокамер. На основе видеокамер создаются различные устройства бесконтактного взвешивания; также видеокамеры могут дополнять другие устройства для повышения их точности и расширения областей применимости. В настоящее время на рынке представлено множество видеокамер с различными показателями качества изображения, углов обзора, стоимостью, размерами и т. д. Многообразие моделей порождает увеличение числа приложений и соответствующих алгоритмов обработки данных, благодаря чему появилась возможность разрабатывать эффективные и недорогие установки бесконтактного взвешивания. Однако эти решения имеют свои недостатки, такие как зависимость от уровня прозрачности воды, необходимость дополнительного освещения и чувствительность к загрязнениям. Указанные проблемы особенно актуальны в естественных водоемах, но в лабораторных условиях качество и прозрачность воды обычно поддерживаются на должном уровне. В случае недостатка освещения могут использоваться как обычные лампы, так и источники инфракрасной подсветки. Инфракрасный свет невидим для глаза и хуже распространяется в воде, что может иметь свои ограничения, как показано в работах [17–19].
Помимо выбора модели камер, важна правильная конфигурация, которая будет соответствовать поставленным задачам. Так, площадь боковой проекции лучше коррелирует с весом рыбы, чем ее длина. Соответственно, для измерения веса предпочтительно располагать видеокамеру сбоку от рыбы, при этом установка для бесконтактного взвешивания может иметь одну или две камеры (см. рис., г, д, е).
Установки на основе единственной видеокамеры (см. рис., г) имеют проблему измерения расстояния до рыбы, что важно для дальнейшего расчета размеров. Наиболее простым решением этой проблемы является ограничение расстояния между рыбой и видеокамерой. Например, при взвешивании рыбы на столе [20, 21] или конвейере [22] расстояние может быть фиксированным, однако тогда требуется обездвиживание рыбы. Такой метод наиболее близок к ручному взвешиванию, однако снимает часть ручной работы и снижает число возможных человеческих ошибок измерения. Другим подходом является частичное ограничение дистанции, например в трубе счетчика [23]. В этом случае не требуется обездвиживать рыбу, однако необходимо организовать прохождение рыбы через счетчик, что, хоть и в меньшей степени, требует участия человека и негативно влияет на рыбу. Вместо трубы могут быть использованы емкости с малой высотой, лотки или чашки Петри. Данный способ может быть использован для измерения небольших рыб и мальков, но не может быть масштабирован для использования на более крупной рыбе [23].
Альтернативой ограничению пространства может быть использование меток заранее известного размера. При нанесении метки на рыбу высока вероятность издержек, подобных вылавливанию рыбы для измерения, однако в дальнейшем метку можно использовать для выполнения серии измерений. Помимо необходимости нанесения метки, недостатками являются необходимость следить за меткой и обновлять ее при истирании или растяжении, а также повышение требований к качеству получаемых изображений, т. к. с учетом бликов чешуи распознать небольшую метку сложнее, чем выделить общий контур рыбы [24].
Можно сделать вывод, что установки с одной камерой могут упростить задачу взвешивания, но не могут работать автономно и полностью исключить контакт с рыбой и соответствующий стресс для нее. По этой причине установки с одной камерой зачастую используются для решения смежных задач, таких как подсчет рыб [25, 26], определение вида [27], измерение интенсивности поедания корма [28] и т. п. Среди описанных методов «взвешивания» рыбы одной камерой ограничение пространства является наименее трудоемким и инвазивным методом взвешивания, поэтому будет использоваться в качественном сравнении подходов. Использование дополнительной синхронизированной видеокамеры позволяет сделать процесс взвешивания автоматическим и бесконтактным, при этом возможно несколько вариантов установки второй камеры.
Установки на основе стереопары. Самым распространенным вариантом установки второй камеры является создание стереопары [29–31]. Как правило, обе камеры располагаются горизонтально, рядом (см. рис., е), и ориентированы в одном направлении или с небольшим смещением. Снимки, получаемые с двух камер, сравниваются, и на основании углового смещения присутствующих на двух изображениях объектов строится карта глубин. Используя полученную карту, можно рассчитать расстояние и более четко определить границы в случаях частичного перекрытия рыб. Хотя увеличение количества камер закономерно увеличивает цену установки, стереопары сохраняют свою доступность из-за небольшой цены на допустимые модели камер, к примеру, в работе [32] при создании стереопары использовались недорогие экшн-камеры. Дополнительным преимуществом стереопар является их мобильность. Надежно зафиксировав расстояние и угол между камерами, установку можно перемещать от одного резервуара к другому без дополнительной настройки. Таким образом, одна установка может использоваться для всех аквариумов в лаборатории, однако случайное смещение камер друг относительно друга потребует провести настройку заново.
Установки на основе ортогональных камер. Принципиально иным способом является расположение второй камеры ортогонально первой. К примеру, если первая камера расположена с длинной стороны прямоугольного аквариума, вторая может быть расположена с короткой стороны либо сверху над аквариумом (см. рис., д). В этом случае первая камера будет использоваться для распознавания контура рыбы, а вторая будет отвечать за определение дистанции, дополнительную проверку перекрытия и положения рыб, а также позволит извлекать информацию, недоступную для первой камеры, такую как толщина рыбы [33–35]. Недостатком такого размещения относительно создания стереопар является сложность установки и настройки. Не в каждом случае существует физическая возможность установки камер с разных сторон, а переустановка такой системы, вероятно, потребует перенастройки.
Выбор расстояния между камерой и рыбой. Для любой системы с видеокамерами важно определить допустимое расстояние между камерой и рыбой. Приближение камеры к рыбе позволяет добиться лучшего качества изображения, что может быть полезно для извлечения контура и дополнительных признаков, но в то же время сокращает угол обзора, что может помешать отбору подходящих для измерения кадров и задач отслеживания. В работе [36] демонстрируется обратный пример: удаление камеры позволяет подсчитать всю рыбу в аквариуме, но усложняет измерение. При достаточной видимости такой подход может использоваться и для больших резервуаров. В случае двух ортогональных камер камеру для считывания контура можно расположить ближе, чем камеру для определения расстояния, подсчета и прочих задач. При недостаточной видимости решением может стать размещение камеры под водой и ее ориентация к источнику света, искусственному или естественному [37].
Качественное сравнение аппаратных установок. На основе отобранных научных статей нами произведен качественный сравнительный анализ установок разных типов. Выделены следующие критерии: доступность (включает сложность закупки, ассортимент, стоимость покупки, установки и содержания), точность измерения навески, допустимая дальность для измерения рыбы, зависимость от качества воды, применимость в различных условиях (лаборатории, УЗВ, садковом хозяйстве) (табл.).
Сравнение аппаратных решений
Comparison of hardware solutions
|
Критерий |
Аппаратные решения |
|||||
|
Гидролокатор |
Гидролокатор |
Датчики |
Одна камера |
Стереопары |
Ортогональные камеры |
|
|
Доступность |
Плохо |
Плохо |
Плохо |
Хорошо |
Отлично |
Хорошо |
|
Точность |
Плохо |
Удовл. |
Хорошо |
Отлично |
Отлично |
Отлично |
|
Дальность |
Отлично |
Удовл. |
Минимум |
Минимум |
Плохо |
Плохо |
|
Зависимость от качества воды |
Отсутствует |
Средняя |
Средняя |
Высокая |
Высокая |
Высокая |
|
Применимость |
||||||
|
Лаборатория |
Плохо |
Плохо |
Отлично |
Отлично |
Отлично |
Отлично |
|
УЗВ |
Плохо |
Удовл. |
Хорошо |
Удовл. |
Хорошо |
Хорошо |
|
Садки |
Отлично |
Удовл. |
Удовл. |
Плохо |
Удовл. |
Удовл. |
В сравнении используются качественные, а не количественные показатели в силу того, что представленные в публикациях численные данные получены не в одинаковых условиях: для экспериментов использовались различные виды рыб, оборудование различного качества, у исследователей были разные цели и методики оценивания того или иного параметра. Тем не менее качественное сравнение показывает, что системы на основе двух видеокамер (ортогональных или стереокамер) наилучшим образом подходят для взвешивания рыбы в условиях небольших емкостей и чистой воды, что обычно характерно для лабораторий.
Выходными данными работы установок бесконтактного взвешивания, как правило, является последовательность цифровых снимков области аквариума, из которых необходимо извлечь параметры, используемые для расчета веса. В следующем разделе рассказывается о соответствующих программных подходах к решению этой задачи.
Программное обеспечение «взвешивания» по изображению
Выходными данными установок бесконтактного взвешивания на основе видеокамер является последовательность фотографий (кадров видеоряда). Для оценки веса рыбы по фотографии требуется выполнить следующие задачи: обнаружить рыбу на изображении, выделить границы рыбы, определить расстояние между рыбой и видеокамерой и рассчитать размеры рыбы, наконец, вычислить вес. При использовании другого оборудования выходной цифровой снимок может по формату значительно отличаться от фотографии, однако общая схема «взвешивания» сохраняется, хотя могут быть пропущены или изменены некоторые шаги.
Одним из наиболее распространенных способов обнаружения границ рыбы является перевод цветовой модели изображения в оттенки серого и последующее вычитание фона. В случае статичного фона достаточно вычитать одинаковую картинку фона из каждого кадра. Для более сложных случаев требуется применять специальные алгоритмы, учитывающие информацию о предыдущих кадрах и интенсивности пикселей. После вычитания фона выполняется пороговая бинаризация, результатом которой является бинарное изображение, содержащее области отличных от фона пикселей. Из-за загрязнения стенок аквариума, плавающего корма или мусора, особенностей работы камер и других факторов полученное изображение содержит шумы, а границы рыбы могут быть нечеткими. Для борьбы с этими проблемами применяются морфологические операции, такие как эрозия, дилатация и т. п. Изображения могут быть улучшены наложением фильтров, повышающих яркость, контрастность или позволяющих избавиться от лишнего шума, как это показано в работе [33].
Следующим шагом является выделение границ, что само по себе не является трудной задачей на бинарных изображениях, однако в случае пересечения нескольких рыб требует использования отдельных алгоритмов, выбор которых зависит от используемой установки. В случае использования стереопары применяется карта глубин [34], показывающая удаленность объектов. Для ортогональных видеокамер используется кадр со второй камеры [35].
После выделения границ можно переходить к оценке линейных размеров. Наиболее простым и распространенным признаком является длина рыбы [23–25], однако ее недостаточно для точного расчета веса, и использование периметра или площади контура улучшает результаты [38]. Помимо расчетов на основе полного контура, в некоторых работах дополнительно производится измерение расстояния между контрольными точками, которые могут располагаться на изгибах хвоста, кончике головы и т. д. В некоторых случаях измеряются отдельные специфичные признаки контура, выбор и поиск которых зависит от особенностей конкретного вида рыб. Возможно выполнение дополнительных операций, направленных на повышение точности, например удаление плавников и хвоста [21, 39], которые имеют большую площадь и высокую подвижность, но малое влияние на итоговый вес. В некоторых работах дополнительно используются другие параметры. Например, в работе [40] в расчетах навески учитывается возраст рыбы.
Алгоритм измерения дистанции зависит от типа используемого оборудования и его конфигурации, поэтому для него не приводится каких-либо расчетов. Информация о методах измерения расстояния приводится при описании соответствующих установок в разделе «Аппаратное обеспечение бесконтактного взвешивания рыб».
Измерив расстояние, возможно преобразовать размеры рыбы из пикселей в сантиметры. Для этого размеры в пикселях необходимо умножить на коэффициент, определяемый расстоянием и выбранной камерой. При этом важно учитывать, что у некоторых камер длина пикселя в центре и на краях изображения может быть различной.
Наиболее распространенными признаками для расчета веса являются длина, высота и площадь контура рыбы, на основе которых строятся различные функции «взвешивания», наиболее распространенные из которых полиномиальные
W = a + bA + cL + dH; W = a + bA + cA2,
линейные
W = a + bA
и степенные
W = aLb; W = aAb,
где W – вес рыбы; A – площадь контура рыбы; L – длина рыбы; H – высота контура рыбы; a, b, c и d – коэффициенты, подбираемые для конкретного вида рыб [4, 41].
Нейронные сети могут использоваться для решения множества задач при поиске и измерении рыбы. Задачи сегментирования, локализации и подсчета экземпляров объектов являются классическими для нейронных сетей и успешно решаются во множестве работ [24, 31, 38]. Такой подход менее требователен к фону, а также, помимо поиска самой рыбы, помогает найти конкретные части рыб для «подсчета по головам» [5, 31] или измерения визуально отличимых сегментов [38]. Нейронные сети применимы и для расчета веса: например, в работе [31] приводится сравнение некоторых классических методов с нейросетевыми, по результатам которого наиболее эффективной признана нейронная сеть PCA-CF-BPNN. Нейронные сети зачастую оперируют большим числом параметров рыбы, чем классические алгоритмы, однако увеличение количества признаков не означает улучшения конечного результата [38]. Помимо использования нейронных сетей самих по себе, их можно комбинировать с иными алгоритмами, описанными выше. Например, в работе [42] используется нейронная сеть для выявления отдельных рыб на контурах, полученных одной камерой, а в работе [21] с ее помощью удаляют плавники на изображении.
Заключение
Проведение эффективной исследовательской работы в рыбоводстве требует привлечения новых технологий при выполнении экспериментов. В экспериментах, связанных с оценкой темпов роста рыбы, необходимо обеспечивать мониторинг прироста веса. Применение методов контактного взвешивания связано с большими трудозатратами, а также приводит к повышенному стрессу рыб, что негативно влияет на показатели и чистоту эксперимента.
Альтернативой является автоматизированное бесконтактное «взвешивание», основанное на наличии прямой связи между весом рыбы и ее линейными размерами. При этом получение линейных размеров может быть выполнено с помощью специальных установок с использованием различного рода датчиков и видеокамер.
В данной работе представлен аналитический обзор научных публикаций, связанных с разработкой установок бесконтактного взвешивания. При создании таких установок наиболее часто используются гидролокаторы, сканеры, рамки и видеокамеры, при этом парные видеокамеры (ортогонально расположенные или стереопары) наиболее эффективны для бесконтактного взвешивания в лабораторных условиях.
Результатом работы установки бесконтактного взвешивания является последовательность цифровых снимков (в случае видеокамер – фотографии), которые необходимо провести через 4 этапа компьютерной обработки: обнаружение рыбы, выделение границ, оценка линейных размеров и вычисление веса. На каждом из этих этапов могут быть использованы нейронные сети или точные методы.
В дальнейшем можно прогнозировать широкое использование установок бесконтактного взвешивания как следствие развития аппаратной базы и соответствующего программного обеспечения.
1. Состояние мирового рыболовства и аквакультуры 2022. На пути к «голубой» трансформации. Рим: ФАО, 2022. 266 с.
2. Hao M., Yu H., Li D. The measurement of fish size by machine vision-a review // International Conference on Computer and Computing Technologies in Agriculture. 2015. P. 15–32.
3. Abdullah N., Shafry M., Rahim M., Amin I. M. Measuring fish length from digital images (FiLeDI) // In Proceedings of the 2nd International Conference on Interaction Sciences: Information Technology. 2009. N. Culture and Human. P. 38–43.
4. Viazzi S., Van Hoestenberghe S., Goddeeris B. M., Berckmans D. Automatic mass estimation of Jade perch Scortum barcoo by computer vision // Aquacultural engi-neering. 2015. N. 64. P. 42–48.
5. Santos G. A., Schrama J. W., Mamauag R. E. P., Rombout J. H. W. M., Verreth J. A. J. Chronic stress impairs performance, energy metabolism and welfare indicators in European seabass (Dicentrarchus labrax): the combined effects of fish crowding and water quality deterioration // Aquaculture. 2010. N. 299 (1–4). P. 73–80.
6. Davis K. B. Management of physiological stress in finfish aquaculture // North American Journal of Aquacul-ture. 2006. V. 2. N. 68. P. 116–121.
7. Saberioon M., Gholizadeh A., Cisar P., Pautsina A., Urban J. Application of machine vision systems in aquaculture with emphasis on fish: state-of-the-art and key issues // Reviews in Aquaculture. 2017. V. 4. N. 9. P. 369–387.
8. Shortis M. R., Ravanbakskh M., Shaifat F., Harvey E. S., Mian A., Seager J. W., Culverhouse P. F., Cline D. E., Edgington D. R. A review of techniques for the identification and measurement of fish in underwater stereo-video image sequences // Videometrics, Range Imaging, and Applications XII; and Automated Visual Inspection. 2013. V. 8791. P. 107–116.
9. Li D., Hao Y., Duan Y. Nonintrusive methods for biomass estimation in aquaculture with emphasis on fish: a review // Reviews in Aquaculture. 2020. V. 3. N. 12. P. 1390–1411.
10. Li D., Miao Z., Peng F., Wang L., Hao Y., Wang Z., Chen T., Li H., Zheng Y. Automatic counting methods in aquaculture: A review // Journal of the World Aquaculture Society. 2021. V. 2. N. 52. P. 269–283.
11. Barbedo J. G. A. A Review on the Use of Computer Vision and Artificial Intelligence for Fish Recognition, Monitoring, and Management // Fishes. 2022. No. 7. P. 335.
12. Konovalov D. A., Saleh A., Domingos J. A., White R. D., Jerry D. R. Estimating mass of harvested Asian sea-bass Lates calcarifer from images // World Journal of Engineering and Technology. 2018. V. 3. N. 6. P. 15.
13. Gutiérrez-Estrada J. C., Pulido-Calvo I., Castro-Gutiérrez J., Peregrín A., López-Domínguez S., Gómez-Bravo F., Garrocho-Cruz A., De la Rosa-Lucas I. Fish abundance estimation with imaging sonar in semi-intensive aquaculture ponds // Aquacultural Engineering. 2022. N. 97 (1–4). P. 102235.
14. Puig-Pons V., Muñoz-Benavent P., Espinosa V., Andreu-García G., Valiente-González J. M., Estruch V. D., Ordóñez P., Pérez-Arjonaa I., Atienzab V., Mèlichc B., de la Gándarad F., Santaellad E. Automatic Bluefin Tuna (Thunnus thynnus) biomass estimation during transfers using acoustic and computer vision techniques // Aquacultural Engineering. 2019. N. 85. P. 22–31.
15. Difford G. F., Boison S. A., Khaw H. L., Gjerde B. Validating non-invasive growth measurements on individual Atlantic salmon in sea cages using diode frames // Computers and Electronics in Agriculture. 2020. N. 173 (5). P. 105411.
16. López-Riveros C. A., Merino G. E., Flores-Gatica H. Precision biometrics data of Atlantic salmon (Salmo salar L.) in commercial grow-out sea-cages: Manual sampling and infrared diode frames compared to processing plant // Aquacultural Engineering. 2021. N. 94 (5). DOI:https://doi.org/10.1016/j.aquaeng.2021.102179.
17. Saberioon M., Císař P. Automated within tank fish mass estimation using infrared reflection system // Computers and electronics in agriculture. 2018. N. 150. P. 484–492.
18. Pautsina A., Císař P., Štys D., Terjesen B. F., Es-pmark Å. M. O. Infrared reflection system for indoor 3D tracking of fish // Aquacultural Engineering. 2015. N. 69. P. 7–17.
19. Zhou C., Zhang B., Lin K., Xu D., Chen C., Yang X., Sun C. Near-infrared imaging to quantify the feeding behavior of fish in aquaculture // Computers and Electronics in Agriculture. 2017. N. 135. P. 233–241.
20. Costa C., Antonucci F., Boglione C., Menesatti P., Vandeputte M., Chatain B. Automated sorting for size, sex and skeletal anomalies of cultured seabass using external shape analysis // Aquacultural engineering. 2013. N. 52. P. 58–64.
21. Konovalov D. A., Saleh A., Efremova D. B., Domingos J. A., Jerry D. R. Automatic weight estimation of harvested fish from images // In 2019 Digital image computing: Techniques and applications (DICTA). 2019. P. 1–7.
22. Álvarez-Ellacuría A., Palmer M., Catalán I. A., Lisani J. L. Image-based, unsupervised estimation of fish size from commercial landings using deep learning // ICES Journal of Marine Science. 2020. V. 4. N. 77. P. 1330–1339.
23. Miranda J. M., Romero M. A prototype to measure rainbow trout's length using image processing // Aquacultural engineering. 2017. N. 76. P. 41–49.
24. Monkman G. G., Hyder K., Kaiser M. J., Vidal F. P. Using machine vision to estimate fish length from images using regional convolutional neural networks // Methods in Ecology and Evolution. 2019. V. 12. N. 10. P. 2045–2056.
25. Sun F., Yu J., Gu Z., Zheng H., Wang N., Zheng B. A practical system of fish size measurement // OCEANS 2017 - Aberdeen. 2017. P. 1–5.
26. Zhou C., Lin K., Xu D., Chen L., Guo Q., Sun C., Yang X. Near infrared computer vision and neuro-fuzzy model-based feeding decision system for fish in aquaculture // Computers and electronics in agriculture. 2018. N. 146. P. 114–124.
27. Bekkozhayeva D., Saberioon M., Cisar P. Automatic individual non-invasive photo-identification of fish (Sumatra barb Puntigrus tetrazona) using visible patterns on a body. Aquaculture International. 2021. V. 4. N. 29. P. 1481–1493.
28. Ubina N., Cheng S. C., Chang C. C., Chen H. Y. Evaluating fish feeding intensity in aquaculture with convolutional neural networks // Aquacultural Engineering. 2021. N. 94 (8). P. 102178.
29. Shi C., Wang Q., He X., Zhang X., Li D. An auto-matic method of fish length estimation using underwater stereo system based on LabVIEW // Computers and electronics in agriculture. 2020. N. 173 (3). P. 105419.
30. Shafait F., Harvey E. S., Shortis M. R., Mian A., Ravanbakhsh M., Seager J. W., Culverhouse Ph. F., Cline D. E., Edgington D. R. Towards automating underwater measurement of fish length: a comparison of semi-automatic and manual stereo–video measurements // ICES Journal of Marine Science. 2017. V. 6. N. 74. P. 1690–1701.
31. Garcia R., Prados R., Quintana J., Tempelaar A., Gracias N., Rosen S., Vågstøl H., Løvall K. Automatic segmentation of fish using deep learning with application to fish size measurement // ICES Journal of Marine Science. 2020. V. 4. N. 77. P. 1354–1366.
32. Letessier T. B., Juhel J. B., Vigliola L., Meeuwig J. J. Low-cost small action cameras in stereo generates accu-rate underwater measurements of fish // Journal of Experi-mental Marine Biology and Ecology. 2015. N. 466. P. 120–126.
33. Sanchez-Torres G., Ceballos-Arroyo A., Robles-Serrano S. Automatic measurement of fish weight and size by processing underwater hatchery images // Engineering Letters. 2018. V. 4. N. 26. P. 461–472.
34. Risholm P., Mohammed A., Kirkhus T., Clausen S., Vasilyev L., Folkedal O., Johnsen O., Haugholt K. H., Thielemann J. Automatic length estimation of free-swimming fish using an underwater 3D range-gated camera // Aquacultural Engineering. 2022. N. 97 (3). P. 102227.
35. Savinov E., Ivashko E. Automatic contactless weighing of fish during experiments // Ivannikov Ispras Open Conference (ISPRAS). 2021. P. 134–139.
36. Fan L., Liu Y. Automate fry counting using computer vision and multi-class least squares support vector machine // Aquaculture. 2013. N. 380. P. 91–98.
37. Abe S., Takagi T., Torisawa S., Abe K., Habe H., Iguchi N., Takehara K., Masuma S., Yagi H., Yamaguchi T., Asaumi S. Development of fish spatio-temporal identifying technology using SegNet in aquaculture net cages // Aquacultural Engineering. 2021. N. 93. DOI:https://doi.org/10.1016/j.aquaeng.2021.102146.
38. Zhang L., Wang J., Duan Q. Estimation for fish mass using image analysis and neural network // Computers and Electronics in Agriculture. 2020. N. 173. DOI:https://doi.org/10.1016/j.compag.2020.105439.
39. Hao Y., Yin H., Li D. A novel method of fish tail fin removal for mass estimation using computer vision // Computers and Electronics in Agriculture. 2022. N. 193. DOI:https://doi.org/10.1016/j.compag.2021.106601.
40. Tengtrairat N., Woo W. L., Parathai P., Rinchumphu D., Chaichana C. Non-Intrusive Fish Weight Estimation in Turbid Water Using Deep Learning and Regression Models // Sensors. 2022. V. 14. N. 22. P. 5161.
41. Gümüş E., Yılayaz A., Kanyılmaz M., Gümüş B., Balaban M. Evaluation of body weight and color of cultured European catfish (Silurus glanis) and African catfish (Clarias gariepinus) using image analysis // Aquacultural Engineering. 2021. N. 93 (2). P. 102147.
42. Yu X., Wang Y., An D., Wei Y. Counting method for cultured fishes based on multi-modules and attention mechanism // Aquacultural Engineering. 2022. N. 96. P. 102215.
