Tremoro, PN-Expert, Sauron: проекты для медицины и не только

Tremoro – система автоматического мониторинга болезни Паркинсона. Наследницей этой системы стал Parkinson expert (PN-Expert), использующий вместо носимого браслета видеокамеру и нейросеть. Похоже устроен и проект Sauron для наблюдения за производством. Над этими разработками трудится студент Санкт-Петербургского политехнического университета Петра Великого, призер и победитель Олимпиад НТИ Федор КОНДРАТЕНКО. Он рассказал о них спецкору нашего журнала Наталии САЮКИНОЙ.

Н.С.: Федор, ваши проекты тесно связаны с медициной. Вы учитесь на врача?
Ф.К.: Вовсе нет, я математик. Если быть точным, перешел на четвертый курс Института прикладной математики и механики. Я тот человек, который должен уметь описать некий процесс с помощью физических формул, по ним составить математическую модель и написать для нее программу.

Н.С.: Вы этим занимаетесь и в своих проектах?
Ф.К.: Можно и так сказать, но в них у меня еще есть Data Science и нейронные сети, что шире, чем мое образование.

Еще я был экспертом по носимой электронике на некоторых хакатонах «Практик будущего».

Н.С.: Ваш стартап Tremoro как раз из области носимой электроники. Как он появился?
Ф.К.: В 2018 г. я сдал ЕГЭ и решил ради интереса поучаствовать в «Острове 10-21». Прошел отбор, выбрал направление «нейротехнологии», потому что это была единственная дисциплина, с которой я не имел ничего общего. Хотелось попробовать. Первые задания показались довольно-таки легкими. Там ко мне обратились Ольга Прудковская (директор по развитию сообщества в проекте КД НТИ «Практики будущего») и Артур Биктимиров (врач-нейрохирург Медицинского центра Дальневосточного федерального университета). Они предложили собрать группу, которая решит кейс по разработке устройства для отслеживания траекторий конечностей у людей с болезнью Паркинсона, в частности, тремор – дрожь конечностей при дегенеративных заболеваниях, которая и дала название проекту. Нам обрисовали проблематику, и появилась идея устройства.

Н.С.: А что было после? Как вы приступили к разработке?
Ф.К.: Я собрал команду из девяти человек. В рамках «Острова» мы две недели создавали продукт, но после команда распалась, ведь кому-то из ее членов нужно было готовиться к ЕГЭ, а у кого-то образовался завал в учебе. Пришлось продолжить заниматься проектом в одиночку. Так длилось до третьего курса, когда я нашел двух товарищей: инженера-проектировщика Григория Черепенникова и радиомонтажника Веронику Малышеву.

У нас получился браслет, который крепится пониже локтевого сустава, в районе мышц, отвечающих за движения кисти руки и пальцев. Если вы пощупаете утолщение под локтевым суставом во время сжатия кулака, вы почувствуете, как работают эти мышцы.

Потом мы продолжили сотрудничество с Артуром Биктимировым и занялись проектом PN-Expert, сходным по тематике с Tremoro. Я стал его техническим директором. В PN-Expert мы отказались от использования браслета и любых других носимых устройств. Аналитика идет за счет анализа видео: записывается, как пациент двигает рукой, определяется траектория движений, а дальше в дело идет нейронная сеть.

Н.С.: Недавно я брала интервью у участника стартапа «АгроОстров», в котором делают систему для мониторинга здоровья коров. Они тоже отказались от носимых датчиков и используют видео. Почему оно оказывается удобнее? Влияет ли это на качество?
Ф.К.: Носимое устройство позволяет делать измерения точнее, но давайте посмотрим на реальный кейс. Ко мне на Петербургском международном экономическом форуме (ПМЭФ) обратились коллеги из японской компании Kawasaki Robotics. Они делали стенд для компании «1С» и пожелали поставить робота-манипулятора для «выдергивания» призов, которым можно было бы оригинально управлять. С помощью нашего браслета делать это было легко и прекрасно, но его необходимо надевать на голое тело, чтобы датчики электромиограммы могли определять, что у нас с кистью и сжатием пальцев. Представляете, пришли бы серьезные дяденьки в пиджаках, что мы им сказали бы? Снимите пиджак, закатайте рукав по локоть?

Во избежание этого мы решили поэкспериментировать с нейросетью: робот управлялся с помощью движения рук перед камерой. 

Н.С.: Выглядит необычно. А может эта разработка пригодиться для чего-то еще?
Ф.К.: Может. Сейчас мы коммуницируем с Национальным медицинским исследовательским центром детской травматологии и ортопедии им. Г.И. Турнера. Возможно применение нашей разработки в ортопедии и реабилитации больных. Например, после снятия гипса со сломанного сустава из-за атрофии мышц он имеет неполный рабочий диапазон углов, то есть сгибается не как здоровый. Такое ограничение называется посттравматической контрактурой. После травмы сустав нужно разрабатывать. Мы тестируем, как пациент каждый день выполняет тесты на камеру и становится виден его прогресс.

А сейчас мы работаем над тем, чтобы программа по походке понимала, какой сустав у человека работает некорректно.

С видеоаналитикой есть и смежный проект, она называется Sauron. Нейросеть отмечает у человека ключевые точки: тазобедренные суставы, плечи, колени, голеностоп, глаза, нос, рот, уши. Зная их положение, мы можем понять, в какой позе находится человек, а также дополнительные вещи, например, есть ли на человеке средства индивидуальной защиты, или соблюдает ли он технологический процесс (список заданных действий), чтобы не производить брак.

Sauron увеличит безопасность производства. Представьте: буровая установка где-то в лесах, камера наблюдает, как рабочие бурят землю. Один из них вставляет в механизм бурильной установки лом. Я не знаю, зачем он это делает, но его после этого валит с ног, и он прикладывается виском о камень. Через камеру мы сразу можем понять, что человек упал, а не прилег отдохнуть, а еще он долго не встает. Сразу же отправляется уведомление диспетчеру, который может позвонить рабочим, послать к упавшему помощь. А еще по положению человека система может определить, жив человек или мертв.

Кстати, у Sauron’а есть версия SkyEye для беспилотных летательных аппаратов, патрулирующих территории. Она управляет группой беспилотных аппаратов: распределяет их по территории, планирует их маршруты и анализирует видеопоток с камер дронов в реальном времени.

Н.С.: На какой стадии сейчас находятся эти проекты?
Ф.К.: Tremoro на смарт-паузе. Браслет разработан, грант от программы «УМНИК» получен, ждем запчастей из Китая.

Платформа для PN-Expert запущена, идет тестирование на пациентах.
По Sauron’у мы ведем переговоры с Научно-техническим центром «Газпром нефти» по внедрению нашей разработки, но будем рады сотрудничеству и с кем-нибудь ещё.

Н.С.: Как думаете, смог бы ваш проект в будущем как-то быть полезен КД НТИ?
Ф.К.: Да, конечно. Это предложение КД. Мы заключаем контракт, во всех офисах вешаем камеры и с помощью нашей системы отслеживаем, работает сотрудник или нет. Если сотрудники на удаленке, то не вопрос. У нас есть прекрасный аналог, мы можем поставить записывающее устройство на экран и еще параллельно за веб-камерой смотреть. Таким образом мы поймем, во-первых, смотрит ли сотрудник на экран, а во-вторых, за счет просмотра видеоконтента с экрана, чем он занимается. Сидит он, условно говоря, Вконтактике или работает. Большой Брат следит, так сказать. Это цифровой концлагерь, который рано или поздно настанет. Данные и сейчас уже собираются, просто пока нет методов быстрой и качественной обработки.

Н.С.: А почему вы захотели заниматься внедрением такого цифрового концлагеря? Вы считаете, что это необходимо?
Ф.К.: Нет. У меня есть позиция, что человек – довольно-таки сознательное существо, чтобы самостоятельно распоряжаться своим временем. Если он сидит Вконтакте, значит, он сделал свою работу. Но работодателям такая система, наверное, будет нужна. В Китае похожая работает уже года два.

Н.С.: Давайте вернемся к более приятной теме и поговорим оразработке, которая помогает лечить. Когда, на ваш взгляд, она будет применяться в медицине?
Ф.К.: Зависит от того, как мы ее будем сертифицировать. Нельзя как медицинский аппарат, иначе нужно особое тестирование. Плюс мой опыт говорит, что все врачи – консервативные люди. Поэтому наша разработка скорее станет рекомендательной системой, но будет востребована из-за пандемии, потому что дает возможность объективно и без очного присутствия врача оценивать состояние опорно-двигательного аппарата пациента. Мы сейчас ведем активное сотрудничество с центром Турнера, чтобы коллеги оттуда написали нам рекомендацию, и врачам было бы тогда легче нашу разработку принять.

Н.С.: Будем надеяться, что характеристика будет хорошей, а КД предложение о тотальном контроле за сотрудниками не примет.