Оценка применимости трехмерных времяпролетных камер для цифрового мониторинга экстерьера коров
Использование цифровых интеллектуальных технологий позволит достичь высоких показателей товарного производства и улучшений в части содержания сельскохозяйственных животных. В России существует значительный потенциал развития сельского хозяйства, но реализовать его можно при условии повышения эффективности производства путем создания и внедрения средств автоматизации, роботизации, цифровых технологий и искусственного интеллекта.
Сельскохозяйственное оборудование и техника устарели, более 50% находятся за пределами сроков амортизации и это обусловливает необходимость обновления парка оборудования и машин. Для исправления ситуации в России ведутся научные исследования в тематике создания систем цифровизации молочного и мясного животноводства.
Приоритетными направлениями в современной селекции и генетике животных становятся разработка и внедрение систем мониторинга и оптимизации, а также совершенствование методов управления, планирования и прогнозирования в животноводстве. В условиях современных требований к мясному и молочному животноводству особое внимание уделяется повышению продуктивности отрасли. Один из ключевых аспектов в данном контексте — оценка экстерьерных характеристик животных, поскольку они напрямую коррелируют с их продуктивными и репродуктивными качествами.
Сбор данных, включая линейные параметры экстерьера, традиционно осуществляется посредством ручного измерения параметров туловища животных. Однако этот процесс, включающий последующую обработку полученных данных, аналитику и прогнозирование, характеризуется значительной трудоемкостью и сложностью, а также подвержен влиянию человеческого фактора.
Классические методы бонитировки основываются на визуальном осмотре и ручных измерениях, требующих непосредственного контакта специалиста с животным. При этом оценка экстерьера, проводимая с использованием мерной ленты и палки, отличается высокой степенью субъективности и требует многократного повторения для достижения приемлемой точности. В качестве инновационного решения данной проблемы предлагается разработка интеллектуальной системы бесконтактной цифровой оценки экстерьера крупного рогатого скота, основанной на применении видеокамер и современных технологий анализа изображений.
Применение систем видеонаблюдения дает ученым и инженерам значительные возможности для сбора и аккумуляции данных о животных, включая их идентификацию, местоположение, биофизиологические особенности, а также хронологию жизненного цикла. Кроме того, такие системы позволяют осуществлять контроль за деятельностью персонала фермы, оценивать процессы потребления корма животными, динамику роста объемов и массы тела, отслеживать двигательную активность и поведенческие паттерны животных. На их основе возможно проведение бонитировки, диагностики заболеваний, ветеринарных и профилактических мероприятий.
Интеграция и анализ данных обеспечивают возможность управления животноводческими процессами за счет мониторинга в режиме реального времени таких параметров, как состояние здоровья, поведенческие реакции, уровень продуктивности, репродуктивные функции и воздействие на окружающую среду.
Бесконтактные датчики могут работать непрерывно без участия оператора, и обычно считается, что они способны с высокой точностью количественно оценивать поведение животного в рамках заранее определенного процесса, который существенно не меняется. Но бесконтактные датчики — это лишь средство для получения изображения, а для проведения цифровой бонитировки необходимы обученные нейросети.
Подходы глубокого обучения для нейросетей интенсивно развиваются, позволяя добиться точности и скорости обнаружения объектов в реальном времени, но для обучения нейросетей цифровой бонитировке животных нужны большие массивы данных.
Главные цели данных исследований — повышение точности обнаружения объектов на изображении, а также обеспечение быстрой работы алгоритмов в реальном времени.
К сожалению, фермерские и другие коммерческие организации редко публикуют такую информацию в открытом доступе. В реальных условиях важные показатели параметров тела животных часто недостаточно измеряются, что отражается на организации процессов разведения, откорма и в целом на успехе точного животноводства.
Цифровая реконструкция морфометрии тела с помощью бесконтактного метода измерения (2D- или 3D-изображения) и автоматическое определение размеров тела помогают эффективно преодолеть эти проблемы. Получение трехмерных изображений животных может быть наиболее информативным способом получения линейных параметров животного. 3D-TOF-камеры, или времяпролетные трехмерные камеры, являются одним из наиболее популярных и наиболее точных инструментов для создания трехмерных снимков.
TOF-камера представляет собой комбинацию из излучающих инфракрасных светодиодов (обычно используется длина волны 800–1000 нм) и обычной камеры с матрицей, достаточно чувствительной к инфракрасному излучению. При осуществлении съемки для каждой точки изображения проводят измерение времени между испусканием импульса светодиодом и регистрацией этого импульса матрицей камеры. Расстояние до объекта прямо пропорционально этому времени, как показано на рисунке 1.
Достижение погрешности измерения расстояния должно составлять не более 2% от расстояния до объекта (погрешность в 2 мм на каждые 1000 мм расстояния).
Объектом исследования является корова, находящаяся в загоне, бонитировочном станке либо другой ограничивающей ее перемещение системе, позволяющей проводить оценку экстерьера бесконтактным способом. В такой системе используется несколько камер, непрерывно фотографирующих животных с заранее заданных ракурсов, визуализируя их как двухмерное изображение либо облако точек.
От того, насколько качественные снимки и как точно определяется расстояние до каждой части тела животного, зависит общая точность системы цифрового мониторинга экстерьера. На рисунке 2 представлены примеры такой съемки.
Цель исследования — изучить возможность использования трехмерных времяпролетных камер для цифрового мониторинга экстерьера коров, осуществляя измерение расстояния до объекта с необходимой точностью.
Материалы и методы исследования
Лабораторные испытания проводили в январе — марте 2024 года в Агроинженерном центре ВИМ.
Исследование включало оценку точности трехмерных времяпролетных камер с использованием лабораторного стенда, включающего несколько объектов на различном расстоянии от камеры.
Для исследования был оборудован стенд с кронштейном для камеры и пазами для установки фотографируемых объектов на разном расстоянии и в разных частях кадра, как представлено на рисунке 3.
Расстояние от кронштейна до объектов было заранее измерено (с точностью до 1 мм) лазерным дальномером SW-M50 (SNDWAY, Китай). Фотографируемые объекты в процессе съемок находились на различном расстоянии, в различных частях кадра и в различных внешних условиях (изменялись освещение, задний фон и т. д.). Результаты, выдаваемые камерой, сравнивались с фактическими расстояниями.
Были использованы две трехмерные времяпролетные камеры — O3D303 (IFM, Германия) и M5 3D TOF RGB (Rakinda, Китай). Для камеры M5 по причине отсутствия заводского корпуса были проведены измерения без корпуса и с корпусом (съемка через светопрозрачное стекло с коэффициентом пропускания на данной длине волны не менее 95%, согласно рекомендациям производителя камеры — фирмы Rakinda).
При выборе камер, использованных в исследовании, конструкция камер не имела значения. Выбор опирался на комбинацию их выходных параметров: рабочее расстояние съемки — от 500 до 2000 мм, погрешность — до 2% (2 мм на 1000 мм расстояния), угол обзора — не менее 60º. На рисунке 4 показан пример съемки стенда TOF-камерой O3D303, изображение размером 250 х 350 пикселей (пк), снимки делали в перевернутом положении камеры, поскольку в таком формате измеряемые объекты соответствуют соскам вымени коровы, что является одним из самых маленьких объектов тела коровы, а значит, и оптимальным для исследования точности работы камеры.При этом ввиду ограниченного поля зрения камеры в кадр одновременно не попадает весь испытательный стенд, что не помешало изучению погрешности измерений камеры.
На рисунке 5 показан пример съемки стенда TOF-камерой, показывая только расстояния до объектов. Аналогично предыдущему изображению размер снимка 250 х 350 пикселей (пк), снимки делали в перевернутом положении камеры, поскольку в таком формате измеряемые объекты соответствуют соскам вымени коровы, что является одним из самых маленьких объектов тела коровы, а значит, и оптимальным для исследования точности работы камеры.
Перевод исходных данных о размерах объекта (в пикселях), получаемых при съемке камерой, в миллиметры осуществляется встроенным программным обеспечением обеих камер. Полная информация об алгоритмах перевода значений, реализованных в формате программных функций ПО камер, содержится в библиотеке, высылаемой производителем камеры по запросу.
Программное обеспечение. Реализован код на языке программирования Python (Python Software Foundation, США) с использованием библиотеки Scikit-learn, производящий обработку результатов и строящий линейную регрессию, связывающая реальное расстояние с измеренным. При работе камер использовался предоставляемый производителями камер (IFM и Rakinda) комплект для разработки программного обеспечения.
Результаты и обсуждение
При работе с камерой IFM O3D303 всего были сфотографированы 64 объекта на расстоянии 385–688 мм от камеры. Поскольку камеры управлялись напрямую проприетарным ПО, нумерация объектов начиналась с 0-го и заканчивалась 63-м. Каждый объект был сфотографирован пять раз при различных внешних факторах.
Часть измерений приведена в таблице 1.
Данные по всем 320 измерениям 64 объектов были сведены в таблицу, на основе которой с помощью библиотеки Scikit-learn на языке Python была построена линейная регрессия, связывающая реальное расстояние с измеренным. Исходя из нее, реальное расстояние следует оценивать из измеренного камерой с помощью полученной эмпирической формулы:
где: — оценка расстояния, мм; — измеренное расстояние (включает погрешность измерения), мм.
Измеренные расстояния были сгруппированы по расстояниям до объектов. Для каждого расстояния было найдено среднеквадратичное отклонение значений при измерении, как показано в таблице 2. В качестве меры погрешности использовали среднеквадратичное отклонение.
Можно наблюдать, что на близких расстояниях (38,5–45,0) измеренное расстояние близко к фактическому, на дальних (60,0–70,0 см) — оно уже значительно меньше, при этом откорректированное расстояние намного ближе к реальному значению.
Можно отметить высокую повторяемость результатов испытаний: измеренные расстояния до одного и того же объекта отличаются друг от друга в среднем не более чем на 2 мм. В целом ошибка при измерениях данной камерой является систематической, поддается несложной корректировке и зависит только от расстояния до объекта (в разных частях кадра на одинаковом расстоянии ошибка одинаковая), повторяемость результатов измерений высокая, ошибка после корректировки не превышает 2 см.
Испытания трехмерной времяпролетной камеры RakindaM5. При работе стрехмерной времяпролетной камерой M5 всего были сфотографированы 72 объекта на расстоянии 404–707 мм от камеры (те же самые объекты и еще восемь объектов, не попавших в кадр камеры O3D303; небольшое изменение расстояний из-за другого положения камеры на кронштейне). Каждый объект был сфотографирован пять раз при различных внешних факторах. Однако, в отличие от камеры O3D303, для данной камеры наблюдали значительные отличия в повторяемости в разных частях кадра: по центру кадра повторяемость такая же, как у O3D303 (1–2 мм), а по краям резко снижается, разброс возрастает, как показано в таблице 3. В качестве меры погрешности использовали среднеквадратичное отклонение.
Таким образом, пришлось обрезать края снимка, поскольку оставшуюся часть можно будет восстановить с большей точностью, достаточной для работы. Пересчет для 54 оставшихся объектов дает такие формулы для измерений без стекла и со стеклом соответственно:
где: — оценка расстояния (скорректированная), мм; — измеренное расстояние (включает погрешность измерения), мм.
Измеренные величины были сгруппированы по расстояниям до объектов, для каждого расстояния был найден средний разброс значений при измерении, как показано в таблице 4.
Можно утверждать, что корректировка дает результаты, по точности сравнимые с корректировкой для камеры O3D303, с похожей повторяемостью. Видно, что результаты измерений, как в случае наличия защитного стекла, так и при его отсутствии, после корректировки существенно не отличаются, то есть возможно изготовление пользовательского корпуса со своим стеклом без потери точности при условии соблюдения рекомендаций производителя.
Таким образом, в рамках данной работы выявлена возможность существенно улучшать показания TOF-камер и вести съемку через стекла с просветляющим покрытием, что может быть полезным при вычислении точных координат (например, для подвода манипулятора). Сравнительные характеристики исследованных на практике камер приведены в таблице 5.
Выводы
По результатам двух этапов исследования определено, что существующая погрешность ±5 мм практически одинакова для O3D303 и M5. Изученными TOF-камерами получают снимки с апертурой до 60 × 45° и разрешением до 480 × 480 пикселей.
Установлено, что наличие или отсутствие уровня защиты от воды и пыли не является критическим фактором выбора, поскольку есть возможность использовать дополнительное защитное стекло и обеспечить защиты, соответствующие стандарту IP68.
Результат исследования отражается в получении новых зависимостей, позволяющих определять рациональное расположение трехмерных времяпролетных камер, измеряющих расстояние до объектов, а также в разработке специальной корректировки для уменьшения погрешности таких камер.
Можно сделать вывод, что погрешность обеих камер является допустимой для работы системы цифрового мониторинга экстерьера коров, не превышая 2% на 1 м. При этом значительная разница в стоимости и большее разрешение изображений позволяют сделать однозначный выбор в пользу камеры M5.
По результатам двух этапов исследования определено, что существующая погрешность ±5 мм практически одинакова для O3D303 и M5. Изученными TOF-камерами получают снимки с апертурой до 60 × 45° и разрешением до 480 × 480 пикселей.
Установлено, что наличие или отсутствие уровня защиты от воды и пыли не является критическим фактором выбора, поскольку есть возможность использовать дополнительное защитное стекло и обеспечить защиты, соответствующие стандарту IP68.
Результат исследования отражается в получении новых зависимостей, позволяющих определять рациональное расположение трехмерных времяпролетных камер, измеряющих расстояние до объектов, а также в разработке специальной корректировки для уменьшения погрешности таких камер.
Можно сделать вывод, что погрешность обеих камер является допустимой для работы системы цифрового мониторинга экстерьера коров, не превышая 2% на 1 м. При этом значительная разница в стоимости и большее разрешение изображений позволяют сделать однозначный выбор в пользу камеры M5.
Об авторах
Сергей Сергеевич Юрочка, кандидат технических наук, старший научный сотрудник
yssvim@yandex.ru https://orcid.org/0000-0002-2511-7526
Дмитрий Юрьевич Павкин, кандидат технических наук, старший научный сотрудник
dimqaqa@mail.ru https://orcid.org/0000-0001-8769-8365
Артём Рустамович Хакимов, младший научный сотрудник
arty.hv@gmail.com https://orcid.org/0000-0002-4332-9274
Павел Сергеевич Бердюгин, младший научный сотрудник
BPS71188@yandex.ru https://orcid.org/0009-0005-8217-9482
Савр Олегович Базаев, кандидат сельскохозяйственных наук, научный сотрудник
sbazaeff@yandex.ru https://orcid.org/0000-0002-3028-5081
Фёдор Евгеньевич Владимиров, научный сотрудник
fvladimirov21@gmail.com https://orcid.org/0000-0003-2480-5754
Федеральный научный агроинженерный центр ВИМ, 1-й Институтский проезд, 5, Москва, 109428, Россия
УДК 631.171
DOI: 10.32634/0869-8155-2025-393-04-145-152
Просмотров: 475
