Обоснование цифровой системы идентификации инфекционных заболеваний и удаления зараженных растений картофеля
Картофель — одна из самых распространенных культивируемых культур на планете, что неудивительно, ведь в картофеле содержится большое количество питательных веществ, а сама культура достаточно неприхотлива и проста в культивации. При этом, несмотря на современные агроприемы, используемые при выращивании картофеля, клубни и кусты подвержены более чем 50 различным заболеваниям, которые наносят значительный экономический ущерб, связанный с потерей урожайности.
Среди заболеваний картофеля встречаются фитофтороз, альтернериоз, парша обыкновенная, вирусы Х, Y и др. В свою очередь, для эффективной борьбы с этими заболеваниями необходим комплексный подход, включающий в себя не только агрохимические приемы по обработке посадок картофеля, но и применение севооборотов, оптимизацию питания растений, осторожное применение фунгицидов с учетом риска развития резистентности у патогена, а также выведение и использование устойчивых к патогенам сортов.
Зачастую заражение и перенос болезней происходят еще на этапе производства семенного материала, поэтому при выведении новых сортов или получении семенного материала в селекции и семеноводстве картофеля и овощных культур проводятся специальные мероприятия, направленные на выявление и последующее удаление зараженных растений. Одной из таких практик является проведение сортофитопрочисток, в ходе которых специалисты осматривают растения и удаляют те, что поражены болезнями или не соответствуют сортовым признакам. Как правило, в течение вегетационного периода в среднем производятся три сортофитопрочистки. Это позволяет повысить качество семенного материала и предотвратить распространение инфекций.
Для повышения эффективности процесса очистки посадок картофеля от больных растений разрабатываются и внедряются специализированные машинно-технологические комплексы. В своей конструкции они, как правило, имеют следующие основные элементы: гидравлические или электрические приводы, место оператора, дистанционное управление, саморазгружающиеся бункеры для зараженных растений. Однако уровень их автоматизации обычно ограничивается электронно-гидравлическим воздействием на привод подъема и опускания рабочего места оператора-селекционера, в связи с чем с 2022 года коллективом ФГБНУ ФНАЦ ВИМ ведутся исследования по разработке конструкции машины для проведения сортофитопрочисток овощных культур и картофеля.
Конструкция машины представляет собой самоходный роботизированный комплекс, состоящий из несущей рамы с мотор-колесами, манипулятора, сепарирующего бункера, саморазгружающегося бункера, системы машинного зрения и цифровой системы управления (рис. 1).
В процессе работы машина для проведения сорто- и фитопрочисток движется по посадкам картофеля, анализируя их. При работе система машинного зрения на основе нейронной сети должна не только определять зараженные растения картофеля, но и (корректно) центр клубневого гнезда для точного позиционирования исполнительного рабочего органа (манипулятора) над ним и последующего извлечения.
Стоит отметить, что в настоящее время подобные исследования, направленные на внедрение систем машинного зрения, способных определять здоровые и зараженные растения, проводятся во многих странах мира, их ключевые цели — сокращение человеческого фактора и ускорение процесса сортофитопрочистки.
В связи с этим активно применяются методы машинного обучения и компьютерного зрения, особенно алгоритмы глубокого обучения. Среди них особое место занимают сверточные нейронные сети (CNN), которые эффективно справляются с задачей автоматического извлечения и классификации признаков болезней на изображениях листьев картофеля. В свою очередь, сверточные нейронные сети могут быть использованы совместно с пространственными трансформерными сетями (STN) и большими трансформерными сетями (LTN), позволяя повысить точность распознавания тех или иных признаков. Имеются данные, что их совместное применение позволило повысить точность распознавания болезней картофеля на 97,98%.
Среди других методов, используемых для распознавания болезней картофеля, можно выделить алгоритмы машинного обучения, такие как классификатор k-ближайшего соседа (k-NN), метод опорных векторов (SVM), деревья решений, а также методы обработки изображений, например локальные бинарные шаблоны (LBP). Эти подходы позволяют создавать надежные системы для автоматического обнаружения и классификации заболеваний.
Важным аспектом является использование открытых наборов данных, таких как PlantVillage, которые содержат большое количество изображений пораженных и здоровых листьев растений. Эти данные используются для обучения и тестирования моделей. Для повышения эффективности моделей применяются различные техники, включая увеличение объема данных и оптимизацию гиперпараметров.
Внедрение представленных технологий в системы автоматизированного контроля за посадками картофеля способствует более точному и быстрому выявлению зараженных растений, что в свою очередь повышает качество семенного материала и урожайность культуры. Очевидным развитием в создании машин для осуществления операций по сортофитопрочистке является разработка роботизированных комплексов, способных определять и удалять зараженные растения картофеля. Подобные комплексы должны быть оснащены системами машинного зрения с использованием алгоритмов машинного обучения и совместно с выкорчевывающими исполнительными механизмами для удаления зараженных растений.
Важную роль в эффективности работы подобных роботизированных комплексов оказывает точность определения координат зараженных растений. После определения координат заболевших растений информация должна передаваться на исполнительный механизм роботизированного комплекса. Чем точнее определены координаты растений, требующих удаления, тем более целенаправленно и аккуратно может действовать исполнительный механизм, минимизируя повреждение здоровых растений.
Цели исследования — теоретическое обоснование цифровой системы идентификации инфекционных заболеваний растений картофеля и разработка алгоритма работы по выявлению координат заболевших растений для их последующего удаления.
Материалы и методы исследования
В рамках выполнения государственного задания, одним из этапов которого являлось создание роботизированной машины для проведения сортофитопрочисток посадок семенного картофеля, в 2022–2024 гг. на материально-технической базе ФГБНУ ФНАЦ ВИМ проводили разработку системы распознавания зараженных растений картофеля и определения координат их клубневого гнезда. С этой целью использовали технологии машинного зрения и алгоритмы глубокого обучения (нейронную сеть). Для анализа полученных снимков растений картофеля использовали сверточную нейронную сеть на основе архитектуры Yolo11 (Yolov11) Ultralytics Inc. (США, Испания), снимки с изображением зараженных листьев из открытой базы PlantVillage, а также снимки растений, полученные самостоятельно.
Для определения реального размера объекта на основе параметров камеры и расстояния до него предложено использовать фотограмметрические методы, в частности метрическую фотограмметрию, стереофотограмметрию, цифровую фотограмметрию. В процессе определения координат клубневого гнезда учитывали параметры камеры (площадь матрицы, фокусное расстояние и др.), углы наклона и разворота снимка, а также поправки на дисторсию объектива, что позволило получить корректные значения.
Результаты и обсуждения
Для определения заболевших растений картофеля при помощи цифровой системы идентификации на машине для проведения сортофитопрочистки овощных культур параллельно поверхности земли и непосредственно над гребнем устанавливали RGB-камеру MER2-503-36U3C. Полученные с камеры горизонтальные снимки растений картофеля обрабатывали при помощи сверточной нейронной сети, которая анализировала изображения растений и вычисляла их характеристики через последовательность сверточных слоев, затем принимали итоговое решение через полносвязный слой, превращая карту характеристик в одно число для классификации по двум классам.
В процессе использовали такие характеристики, как глубина, ширина и высота тензоров, количество фильтров и размер рецептивного поля. Для корректного распознавания растений нейронную сеть обучали на заранее подготовленной выборке здоровых и больных растений. В результате анализа снимков растений нейронная сеть относила каждое растение к одной из групп — «Здоровое (Healthy)» или «Больное (Diseased)», при этом на снимках была отмечена рабочая область в виде прямоугольной рамки с обозначением группы (рис. 2).
Стоит обратить внимание, что в рамках данной задачи возникла сложность корректного определения координат стеблей заболевшего куста картофеля. В качестве решения данной проблемы представилась возможность проведения съемки куста картофеля с разных ракурсов, при этом первый ракурс тот, который предназначен для выявления заболевших растений картофеля, то есть изображение растения сверху, а второй ракурс — съемка растений сбоку.
В свою очередь, важно учитывать, что в зависимости от расположения камеры размеры реального объекта на снимках с разных ракурсов могут отличаться друг относительно друга. При этом, зная параметры используемого оборудования, можно вычислить реальный размер объекта по формуле:
где So — площадь видимого объекта, м²; Sм — площадь матрицы камеры, м²; l — расстояние от объектива до камеры, м; f — фокусное расстояние, м.
Выявив зараженное растение, возникает необходимость определить его координаты, в данном случае — координаты центра прямоугольника. Стоит отметить, что при проведении съемки цифровой камерой система координат OXYZ определяется светоприемной матрицей, при этом оси ОХ и ОY направлены параллельно снимаемому объекту, а ось ОZ соответствует направлению съемки и определяется фокусным расстоянием используемой камеры. Таким образом, координаты точки К, обозначающей заболевшее растение в координатной плоскости снимка OXYZ и приходящейся в центр прямоугольника, будут определяться следующим выражением:
где xк ,yк, zк — координаты точки К на местности, м; x и y — координаты точки К на снимке, м; x0 и y0 — координаты основной точки снимка, м.
Необходимо обратить внимание, что координаты основной точки снимка и фокусное расстояние камеры являются элементами внутреннего ориентирования. Они определяют положение центра проекции относительно плоскости снимка и восстанавливают связку проектирующих лучей, существовавшую в момент экспонирования .
В свою очередь, необходимо учитывать тот факт, что каждый объектив обладает погрешностью получаемого изображения, которая выражается в нарушении подобия изображения самому предмету. Данный показатель характеризуется фотограмметрической дисторсией. С учетом этого параметра значение координат точки К можно записать:
где dx и dy — поправки, компенсирующие влияние фотограмметрической дисторсии объектива.
В общем случае поправки, компенсирующие влияние фотограмметрической дисторсии объектива, можно определить, используя следующее выражение:
где xд, yд — координаты точек снимка при проведении калибровки объектива, м; k1, k2, k3 — коэффициенты радиальной дисторсии объектива; p1, p2 — коэффициенты тангенциальной дисторсии объектива; r — расстояние на снимке от точки надира до точки на снимке, м.
Отвесное расположение камеры подразумевает то, что угол продольного наклона снимка α = 0º, а поперечный угол наклона снимка — ω = 90º. Однако при движении машины для проведения сортофитопрочистки овощных культур и картофеля она будет наезжать на различные неровности, что будет приводить к изменению данных углов и, как следствие, вызывать искажение контуров снимка (рис. 3).
В связи с чем для корректного определения координат центра клубневого гнезда растения картофеля необходимо учитывать значения углов внешнего ориентирования. Таким образом, координаты центра куста в проекции на плоскость XY можно записать в виде следующего выражения:
где Xкам1, Yкам1 — координаты расположения камеры первого ракурса в системе координат машины для проведения работ по сортофитопрочистке овощных культур и картофеля, м; H — высота расположения камеры над поверхностью растения картофеля, м; βi — угол наклона снимка в поперечном направлении, град; αi — угол наклона снимка в продольном направлении, град; ϒi — угол разворота снимка, град.
В случае попадания в кадр нескольких растений картофеля на первом ракурсе растения классифицируются по показателям к одной из групп, после чего находятся координаты центров прямоугольников каждого из растений. Затем необходимо определить расположение стеблевой массы растения, выходящей из гребня, для этого со второго ракурса производится съемка растений картофеля сбоку, то есть камера устанавливается таким образом, чтобы направление съемки (ось ОZ’) было перпендикулярно направлению съемки с первого ракурса (ось ОZ), ось ОY’ перпендикулярна ОY, а ось OX’ параллельна оси OX. Определение координат растений центров стеблевой массы в данном случае по следующей формуле:
где Xкам2, Yкам2 — координаты расположения камеры второго ракурса в системе координат машины для проведения работ по сортофитопрочистке овощных культур и картофеля, м; L — дальность расположения камеры от стеблевой массы картофеля, м; f2 — фокусное расстояние камеры второго ракурса, м; β’i — угол наклона снимка в поперечном направлении для второго ракурса, град; α’i — угол наклона снимка в продольном направлении для второго ракурса, град; ϒ’i — угол разворота снимка для второго ракурса, град.
На основе выражений 5 и 6 был предложен алгоритм работы комплекса по выявлению координат заболевших растений для последующего их удаления (рис. 4).
Согласно предложенному алгоритму в начале работы машина движется по посадкам картофеля с одновременной фотофиксацией кустов картофеля, при этом запускается цикл i работы программного обеспечения, основанный на работе сверточной нейронной сети, которая определяет зараженное или не соответствующее сортовому признаку растение Q.
При выявлении растения, требующего удаления, программа определяет количество кустов, запечатленных на анализируемом кадре q. В случае если q = 1, происходит определение уточненных координат Xk2j, Yk2j согласно выражению 6 на снимке стеблевой массы, сделанном со второго ракурса, после чего информация с координатами отправляется на исполнительные механизмы.
Если на анализируемом снимке с верхнего ракурса r1 более одного куста, программой с использованием выражения 5 определяют координаты растений, требующих удаления, затем посредством выражения 6 с ракурса r2 — координаты стеблевых масс каждого из растений. Потом определяют погрешность отклонения координаты точки, полученной с первого ракурса, от координат точек, полученных со второго ракурса (ΔXK = XK2j–XK1i). После этого происходит последовательное сравнение полученных отклонений.
На основании результатов проведенного сравнения определяют наименьшее из отклонений ΔXK, а уменьшаемое значение при расчете данного отклонения будет являться искомой координатой, которую отправляют на исполнительный механизм машины. После прохождения программой n циклов (количество исследуемых кустов) алгоритм прекращает свою работу.
Выводы
В результате проведенных исследований теоретически обоснована необходимость создания цифровой системы идентификации инфекционных заболеваний растений картофеля для их последующего эффективного выявления и удаления.
Для корректной совместной работы системы распознавания зараженных растений картофеля и системы удаления (манипулятора) машины для проведения сортофитопрочистки овощных культур разработан алгоритм работы комплекса по выявлению координат заболевших растений для их последующего извлечения из почвы.
Об авторах
Владимир Сергеевич Тетерин, кандидат технических наук, старший научный сотрудник отдела возделывания и уборки овощных культур открытого грунта
v.s.teterin@mail.ru https:orcid.org: 0000-0001-8116-723Х
Николай Сергеевич Панферов, кандидат технических наук, старший научный сотрудник отдела возделывания и уборки овощных культур открытого грунта
nikolaj-panfyorov@yandex.ru https:orcid.org: 0000-0001-7431-7834
Алексей Юрьевич Овчинников, младший научный сотрудник отдела возделывания и уборки овощных культур открытого грунта
aleksovchinn@gmail.com https:orcid.org: 0000-0002-2188-1527
Сергей Александрович Пехнов, старший научный сотрудник отдела возделывания и уборки овощных культур открытого грунта
pehnov@mail.ru https:orcid.org: 0000-0001-9471-6074
Даниил Дмитриевич Кондрахов, аспирант
TancorKondor@yandex.ru https://orcid.org/0009-0002-8971-1943
Федеральный научный агроинженерный центр ВИМ, 1-й Институтский проезд, 5, Москва, 109428, Россия
УДК 631.171: 632.08: 632.931: 004.932.2
DOI: 10.32634/0869-8155-2025-395-06-148-155
