Smart Cow Monitoring: заменить контактные датчики на камеры и позаботиться об удобстве коров
Команда «АгроОстров» работает над проектом Smart Cow Monitoring, позволяющим следить за здоровьем и поведением коров при помощи видеонаблюдения, алгоритмов машинного обучения и интеграции с автоматическими системами управления животноводческой фермой. Историей и планами проекта с нашим спецкором Наталией САЮКИНОЙ поделился Евгений ШАЛУГИН, студент Санкт-Петербургского государственного электротехнического университета (СПбГЭТУ) «ЛЭТИ» имени В. И. Ульянова (Ленина).
Евгений Шалугин Н.С.: Расскажите, пожалуйста, о работе над проектом. Е.Ш.: Кроме учебы я работаю в Студенческой лаборатории интеллектуального анализа и цифровой обработки сигналов. Там мы и занимаемся проектом Smart Cow Monitoring, в котором я руковожу исследовательской составляющей: разработкой модулей обработки и анализа данных и обучением нейронных сетей.
Наш стартап нацелен на создание интеллектуальной системы бесконтактного анализа паттернов поведения крупного рогатого скота по видеоданным. Мы хотим отойти от распространенной на данный момент практики использования контактных датчиков, поскольку решения, основанные на их применении, трудно масштабируемы и не универсальны; к тому же, эти приборы неудобны самим животным, а их влияние на здоровье скота не исследовано до конца.
Мы предлагаем заменить такие датчики видеокамерами. Смежные исследования показателей здоровья людей и различных животных доказывают возможность применения модулей анализа видеоданных с искусственными нейронными сетями без значимой потери точности, не говоря уже о том, что они помогают измерять некоторые показатели, которые трудно или даже невозможно узнать с применением контактных датчиков.
Новый подход решает проблему масштабирования систем интеллектуального анализа показателей здоровья и паттернов поведения животных, а его применение будет способствовать повышению эффективности животноводческих предприятий и снижению амортизационных расходов.
Н.С.: Как появилась идея проекта Smart Cow Monitoring? Е.Ш.: Она возникла после анализа рынка умных решений мониторинга сельскохозяйственных животных. Эта ниша в России практически не занята, к тому же мы можем предложить инновационный подход, не основанный на контактных датчиках.
Н.С.: А кто еще работает над вашим стартапом, и какие перед ними стоят задачи? Е.Ш.: Стартапа не было бы без нашего руководителя, наставника и идейного вдохновителя, доцента кафедры автоматики и процессов управления (АПУ) ЛЭТИ, кандидата технических наук Дмитрия Каплуна. Под его руководством в лаборатории ведется множество различных разработок и исследований, в частности анализ паттернов поведения животных. Уже разрабатывались подобные системы для анализа состояния здоровья собак совместно с Хайфским университетом в Израиле.
В команде стартапа также работают аспирант кафедры АПУ Александр Синица, который консультирует нас по вопросам разработки, помогает с формированием дорожной карты проекта; python-разработчики Андрей Васильев, Максим Нигматулин и Александр Ершов; Павел Лейба участвует в обучении моделей искусственных нейронных сетей; Дарья Валенкова – наш дизайнер.
Выезд на ферму; справа налево: Ершов Александр, Дарья Валенкова, Максим Нигматулин с работником «ЭкоНивы» Н.С.: На какой стадии сейчас находится проект? Уже есть места, где новый метод применяется на практике? Е.Ш.: Проект активно разрабатывается, к концу этого года планируется внедрение экспериментальных образцов на фермы наших партнеров из аграрного холдинга «ЭкоНива-АПК» для тестирования в реальных условиях. На данный момент проводится тестирование и доработка экспериментального образца в лабораторных условиях.
Н.С.: Можете рассказать о том, как выглядит тестирование? Е.Ш.: Оно весьма необычно. Мы установили камеры непосредственно в нашей лаборатории и следим сами за собой, поскольку в данном случае разница между отслеживанием паттернов поведения коровы и человека заключается только в использованном датасете при обучении моделей.
Параллельно мы аннотируем, то есть размечаем, необходимые видеоданные с коровами, например, выделяем их головы в bounding box’ы (такие прямоугольники). А пока данные не размечены, тестируем систему на людях.
Сбор данных для аннотирования на «ЭкоНиве» Н.С.: То есть сейчас для всех разработок используются люди? А не будут ли из-за этого проблем при переходе на коров? Е.Ш.: Не будет, потому что все, что меняется – датасет для обучения.
Н.С.: Должно быть, процесс перехода от людей к коровам очень интересный! Е.Ш.: Боюсь, что нет. Представьте, у вас есть задача «следить» за кем-то. В данном случае решение задачи будет одинаковым для любого типа объекта с точностью до набора данных. То есть для того, чтобы «следить» за коровами, если у вас есть код, написанный под человека, не придется менять программную базу. Единственное отличие будет в используемом наборе данных для обучения моделей нейронных сетей.
Н.С.: А вы выполняете какие-то действия, похожие на действия коров, во время работы? Е.Ш.: Все люди выполняют какие-то действия, похожие на действия коров. Например, приходят на кухню, чтобы поесть, точно так же как корова подходит к кормушке.
Пока что мы работаем над распознаванием только кормового поведения и продолжительности нахождения коровы в разных положениях (стоя, сидя). Мы сфокусированы на достижении наибольшей точности трекинга и детектирования коров в пространстве, поэтому в первой версии системы, которая будет тестироваться на фермах, не будет большого количества отслеживаемых паттернов поведения и отклонений.
Н.С.: А можно проект потом использовать и для людей? Может быть, чтобы наблюдать за пациентами в больницах при обследовании? Е.Ш.: Да, можно. Более того, мы и планируем так делать в других проектах.
Возможно, дойдем и до наблюдения за пациентами, но скорее это будет системой для пожилых людей, живущих отдельно от родственников.
Н.С.: А помогает ли как-то Кружковое движение НТИ в развитии Smart Cow Monitoring? Е.Ш.: Мероприятия КД в целом были нам полезны. Открытые курсы, которые можно было проходить для повышения квалификации, питч-сессии с отзывами специалистов и людей из индустрии – все это напрямую повлияло на развитие проекта и его успешное продолжение.
Кстати, мы показали хорошие результаты на «Архипелаге 20.35».
Н.С.: Побеждал ли ваш проект где-нибудь? Е.Ш.: На международной онлайн питч-сессии Ассоциации дилеров сельскохозяйственной техники в категории «Лучший стартап стадии идея/подтверждение гипотезы».
Также наш проект под названием «Разработка программно-аппаратного комплекса для мониторинга поведения и параметров здоровья сельскохозяйственных животных» занял первое место среди работ 37 инициативных научных групп в Молодежном конкурсе инновационных проектов от Офиса коммерциализации разработок в ЛЭТИ.
Обе победы подарили нам гранты.
Н.С.: Как Вы думаете, каких высот ваш проект достигнет в будущем? Есть ли планы на увеличение числа участников стартапа? Е.Ш.: Состав участников стартапа уже поменялся и немного расширился. Что до планов, то после тестирования экспериментального образца в реальных условиях мы будем улучшать и расширять функционал программно-аппаратного комплекса, добавлять распознавание и анализ новых показателей здоровья и паттернов поведения. Мы активно развиваемся, и у нас еще все впереди.