Болезни плодов на хранении помогут обнаружить компьютерное зрение и нейронные сети
Исследовательская группа из Сколтеха и Санкт-Петербургского государственного университета аэрокосмического приборостроения представила работу по оптимизации обнаружения гнилых и заплесневелых яблок на послеуборочной стадии, когда фрукты хранятся, а затем доставляются покупателю. Система компьютерного зрения определит различные дефекты на ранней стадии, когда они могут быть невидимы для человеческого глаза. Об этом написал Олег Щербаков в релизе Сколковского института науки и технологий, статья опубликована в журнале Entropy.
Несмотря на повсеместную автоматизацию, качество фруктов и овощей на послеуборочном этапе, особенно при сортировке, в основном контролируется человеком. Некоторые небольшие области с гниением или плесенью легко упустить из виду, некачественный товар попадет на прилавок.
Используя яблоки, команда изучила два типа дефектов: гниение и плесень. Если, например, яблоки лежат плотно, они ударяются друг о друга и, таким образом, в этих местах быстрее разлагаются. Плесень возникает в результате нарушения условий хранения или недосмотра при сборе урожая.
Для обнаружения дефектов специалисты используют инфракрасное излучение, но, по мнению исследователей, для этого нужны мульти- и гиперспектральные устройства, которые очень дороги и не всегда удобны в применении.
Целью исследования было предложить альтернативу этим камерам, которые используют модели на основе глубокого обучения, способные генерировать инфракрасные изображения. Авторы подчеркивают, что они не собирались заменять традиционные методы, а лишь попытались предложить более простой и инновационный путь.
«Мы использовали два типа нейронных сетей: генеративно-состязательную сеть и сверточную нейронную сеть. Первая позволяет конвертировать один тип изображения в другой. В нашем случае мы получили инфракрасные изображения из RGB, то есть видимые фотографии. Но этого недостаточно для обнаружения дефекты, потому что генеративно-состязательные сети не классифицируют изображения. Здесь в дело вступают сверточные нейронные сети. Они помогают обнаруживать и сегментировать на фотографиях объекты нужных классов», — рассказал ведущий автор исследования Никита Стасенко, младший инженер-исследователь в Агроцентре Сколтеха.
Эксперименты включали несколько этапов. Команда начала со сбора и обработки данных видимых изображений. Для этого авторы выбрали 16 яблок четырех разных сортов. Яблоки подвергались различной обработке: яблоко без обработки, тщательно вымытое и протертое яблоко, механически поврежденное яблоко и яблоко шоковой заморозки, переохлажденное до −20°С.
«Когда мы собирали данные, мы проверили несколько моделей на основе генеративно-состязательных сетей — Pix2Pix, CycleGAN и Pix2PixHD — и сравнили сгенерированные инфракрасные изображения с исходными. По показателям качества изображения, сгенерированные Pix2PixHD, оказались такими максимально приближен к оригиналу», — говорит Никита Стасенко.
На втором этапе использовалась сверточная нейронная сеть Mask R-CNN. В предыдущих исследованиях эта модель была наиболее эффективной. Чтобы обучить его, команда собрала еще один набор данных из инфракрасных изображений и аннотировала их: они отметили здоровые яблоки и яблоки с участками гниения и плесени.
На третьем этапе авторы использовали Jetson Nano — специальную встроенную систему, позволяющую запускать обученные нейронные сети. В будущем эта система станет настоящим прибором для обнаружения дефектов урожая. Кроме того, команда планирует масштабировать результаты на других типах культур и протестировать другие нейронные модели.
Сельское хозяйство, ветеринария, зоотехния, агрономия, агроинженерия, пищевые технологии
