Мониторинг посевов гороха с нейросетевой обработкой изображений, полученных с использованием БПЛА
Актуальной организационной и технической проблемой производителей зерновых и комовых культур является получение оперативной информации о состоянии посевов. При этом для ранних стадий вегетации выявляются процент всхожести растений и динамика биомассы, а для последующих стадий определяются наличие заболеваний и обеспеченность удобрениями. Производительность мониторинга полей достигается за счет использования беспилотных летательных аппаратов (БПЛА) с последующей обработкой снимков методами искусственного интеллекта.
Из существующих технологий, рассмотренных в отечественных публикациях, можно отметить работы А.Ф. Рогачева, А.Ф. Чешковой, посвященных технологиям анализа изображений широкого спектра полевых культур по индексу NDVI для оценки динамики роста растений и выявления заболеваний. В работах А.И. Кутырёва, В.В. Демидчик предлагаются технологии оценки биомассы растений по форме и цвету листьев в видимом и инфракрасном спектрах. В работе А.Е. Молина рассмотрена технология оценки обеспеченности зерновых культур азотом по снимкам полей в RGB-спектре. Работа В.С. Семенюк посвящена системам точечного опрыскивания на основе распознавания сорняков и болезней нейронными сетями.
Получение изображений в рассмотренных выше работах осуществляется с использованием квадрокоптеров различных моделей. При съемках на высоте от 5 до 30 м устанавливаются камеры с разрешением от 12 до 20 МП. При съемках на высоте от 30 до 100 м разрешение составляет от 20 до 40 МП. Для обработки изображений используются сверточные нейронные сети различных конфигураций.
Аналогичные технологии рассмотрены в зарубежных публикациях. В работах E. Cini, F. Marzialetti предлагается технология автоматического распознавания и картирования инвазивных растений для воздушного мониторинга и разработки мер по противодействию их распространения. Работа L.S. Costa посвящена технологии идентификации и классификации растений в тропической саванне с помощью БПЛА, оснащенного мультиспектральной камерой.
В работе A. Prasad рассматривается технология диагностики растений по снимкам, полученным с помощью БПЛА. При этом используется двухэтапный подход к машинному обучению, который последовательно анализирует низкоточные и высокоточные изображения. В работе Jun Zhang предлагается технология фенотипирования китайской капусты по снимкам с дронов. Геометрические параметры растений рассчитываются на основе количества пикселей для каждого отдельного растения с учетом расстояния БПЛА до поверхности поля. Мониторинг растительности в данных технологиях выполняется с помощью БПЛА, а обработка изображений ведется на основе нейронный сетей.
Цели исследования — разработать и апробировать технологию распознавания ростков выращиваемых полевых культур на примере гороха и прогнозирования динамики роста культур по их биомассе на основе снимков БПЛА с использованием нейронных сетей.
Для ее достижения необходимо было: выполнить аэрофотосъемку полей со всходами гороха в различных условиях освещенности; обучить и проверить работоспособность нейросети для распознавания ростков гороха на снимках; оценить точность распознавания ростков гороха разработанной нейросетью; определить программными методами площадь листьев гороха по полученным изображениям; вывести регрессионную зависимость массы наземной части растений от площади листьев.
Материалы и методы исследования
Для проведения исследований был выбран широко используемый в России и рекомендуемый для зоны Западной Сибири горох сорта Рокет.
Общая площадь поля составила 21,55 га
Посев проводили на полях Топкинского технического техникума в Топкинском районе Кемеровской области Российской Федерации. Координаты центра поля: 55,237о с. ш., 85,457о в. д. (рис. 1).
Выбор поля обусловлен распространенным для региона типом почвы. Это слабовыщелоченный чернозем. Предшественник — яровая пшеница. Выполнена предпосевная осенняя обработка полей лущильником. Посев осуществляли 15 мая 2024 года посевным комплексом «Кузбасс» (ООО «Агро», Россия). В соответствии с агротехническими требованиями для данного сорта, механическим составом, влажностью и температурой почвы глубина заделки семян выбрана 6 см, норма высева 1,1 млн семян на 1 га.
Аэрофотосъемку проводили 5 июня 2024 года. Использовали квадрокоптер DJI Mavic 3 Cine (DJI, Китай). Выбор указанного квадрокоптера обусловлен высоким качеством получаемых изображений со встроенной фотокамеры (разрешение фотоснимков составляло 20 МП). Высота полета 3 м.
Съемки выполняли в два этапа — ранним утром в условиях облачности для получения изображений ростков гороха и сорняков без теней (рис. 2а) и в дневное время с тенями от ростков и сорняков (рис. 2б). В результате были сформированы два комплекта исходных фотографий для обучения нейросети (в каждом комплекте (выборке) по 50 изображений).
Далее на полученных фотографиях производили разметку данных с использованием сервиса roboflow. Полученный датасет подвергали аугментации — искусственному увеличению исходных данных за счет модификации существующих фотографий (поворот на разные углы, отражение по горизонтали и вертикали). После аугментации количество фотографий в каждом датасете составило 120.
После получения датасетов проводили обучение модели нейросети Ultralytics YOLOv8 (правообладатель Ultralytics, Испания). Данная версия нейросети по сравнению с предыдущими обладает более сложной архитектурой, включающей в себя новые блоки, такие как C2f, SPPF и Focus. Эти блоки улучшают процесс извлечения признаков и повышают точность детектирования.
Для обучения была выбрана простая начальная модель с наименьшим количеством параметров — yolov8n. Обучение проводили с использованием сервиса Yandex Datasphere. Затем проводили тестирование полученных моделей. Для этих целей была написана программа на языке Python (США) для пакетной обработки изображений и подсчета количества растений на каждом снимке.
Для выведения регрессионной зависимости массы наземной части растений от площади листьев все ростки, оказавшиеся на изображениях, в этот же день срезали под корень и без мытья и высушивания взвешивали на электронных весах с точностью делений 0,01 г.
Математическую обработку результатов, статистический анализ и оценку достоверности осуществляли в программе MS Excel (США).
Результаты и обсуждение
Обучение нейросети по первому датасету длилось порядка 120 эпох (итераций). В течение одной эпохи производится один полный проход нейросети через обучающий набор данных для коррекции параметров (весов) в нужную сторону. В результате была получена первая модель (модель № 1). Графики обучения по первому датасету, а также пример работы модели № 1 показаны на рисунке 3.
Было проведено тестирование полученной модели № 1 на независимой тестовой выборке фотографий первого датасета, которые не использовали при обучении модели (рис. 3д). Точность оценивали по тому, сколько раз нейросеть правильно предполагала количество и расположение ростков на фотографии. Точность распознавания ростков по полученной модели составила 97,3% (рис. 3б).
Затем модель № 1 была протестирована на выборке фотографий из второго датасета (рис. 2б). В этом случае точность составила гораздо ниже — 67,3%. Это обусловлено различными условиями съемки: на фотографиях второго датасета присутствуют неровности поля и сорняки, которые практически отсутствовали в первом датасете.
На следующем этапе было проведено обучение модели нейросети № 2 по второму датасету. Графики обучения модели № 2, а также пример распознавания растений на тестовой выборке второго датасета представлены на рисунке 4.
Точность модели № 2 по тестовой выборке второго датасета составила 82,1%. При этом обучение длилось около 120 эпох (итераций обучения), после которых значение метрик не увеличивалось.
Далее путем объединения первого и второго датасетов был получен третий. Обучающие графики и пример работы модели № 3 по тестовой выборке третьего датасета представлены на рисунке 5.
Объединение двух выборок позволило значительно повысить точность распознавания ростков гороха по смешанной выборке — до 94,7%. Длительность обучения при этом была значительно больше, чем в предыдущих случаях, и составила порядка 500 эпох. Этот обусловлено большим количеством исходных фотографий.
Известно, что если делать фотографии для датасета при одних и тех же условиях (одинаковая освещенность, масштаб и т. д.) и получить специализированный набор данных, то модель будет более узконаправленной и будет работать хорошо с фотографиями, полученными при таких же условиях, и хуже — на фотографиях с другими условиями съемки.
С другой стороны, если делать фотографии при разных условиях, то модель будет более универсальной и будет работать на более широком спектре снимков, полученных при разных условиях. Если взять эти обе модели и применять их к специализированному набору фотографий (которые использовались для узконаправленной модели), то первая модель должна показать лучший результат.
Однако в данной работе результат оказался неоднозначным, что может быть обусловлено тем фактом, что набор фотографий в датасете № 3 превышал таковой для датасета № 1 и датасета № 2. В итоге модель № 3 вышла более универсальной и показывающей достаточно высокую точность для обоих наборов фотографий.
Следующим этапом исследований была проверка гипотезы о том, что по площади каждого растения на снимке можно определить его массу. Для этих целей провели взвешивание образцов ростков гороха, которые были на снимках в датасете № 1. Вместе с этим нами написана программа на языке Python и детектор Ultralytics YOLOv8, использующие модель № 3 нейросети, которая рассчитывала площадь ростков гороха на снимках.
После указания папки программа в теле цикла последовательно обрабатывает весь пакет изображений, определяет на каждом координаты ростков гороха и по ограничивающей рамке производит расчет площади ростков. При этом формируются список с площадью растений на каждом снимке и общая площадь всех растений.
В результате было получено облако точек зависимости массы растения от его площади на снимке (рис. 6).
По представленному на графике облаку точек было получено линейное уравнение регрессии, позволяющее определить массу растений по их площади на снимке:
Достоверность аппроксимации R2 указанного выше уравнения определяли по следующей формуле:
Величина достоверности аппроксимации составила R2 = 0,7171.
Далее были рассчитаны значения массы растений по уравнению и проведено сравнение полученных значений с фактическими. В результате получены значения отклонений фактических значений от расчетных (рис. 7) по формуле:
Было рассчитано среднее значение отклонений по формуле:
Из графика на рис. 7 видно, что с увеличением площади растения величина отклонений значений, полученных по уравнению, от фактических значений уменьшается, что повышает достоверность.
Выводы
В результате проведенной работы на основе экспериментальных исследований было проанализировано влияние качественного и количественного состава исходных фотографий на точность распознавания ростков гороха нейросетью. Установлено, что использование смешанной выборки исходных фотографий, содержащей изображения растений при различных условиях съемки, позволяет значительно повысить достоверность работы модели нейросети.
Получена модель, которая способна распознавать ростки гороха на снимках с точностью 94,7%. При этом стоит отметить, что данное значение не является пределом. Увеличить точность можно за счет использования большего количества фотографий в датасете, а также использованием версии моделей с большим количеством параметров. Однако в этом случае неизбежно возрастают трудозатраты на подготовку данных для машинного обучения, так как увеличивается объем работ на разметку данных.
Рост объема исходных данных влечет за собой повышение продолжительности самого обучения модели, а следовательно, и стоимость использования вычислительных мощностей. Кроме того, скорость распознавания у моделей с большим числом параметров существенно выше. Получено уравнение, позволяющее рассчитать массу растения от его площади на снимке. В целом разработанная и апробированная технология распознавания ростков гороха и оценки его биомассы показала свою работоспособность, позволяет получить достаточно достоверные результаты и может быть рекомендована к использованию.
Об авторах
Дмитрий Евгеньевич Фёдоров, кандидат технических наук
fedorov_de@inbox.ru https://orcid.org/0000-0002-8641-0662
Сергей Николаевич Быков, кандидат технических наук
agro-kem@rambler.ru
Кузбасский государственный аграрный университет им. В.Н. Полецкова, ул. им. Марковцева, 5, Кемерово, 650056, Россия
УДК 631.5 : 004.8
DOI: 10.32634/0869-8155-2025-397-08-122-128
