Учёные Сколтеха разработали эффективный — и весьма эффектный! — метод развёртывания роя спасательных и исследовательских дронов. Используя шлем виртуальной реальности и тактильный интерфейс, оператор имитирует серию выстрелов из лука, направляя каждый дрон в заданную точку.
Для предотвращения столкновений дронов используется глубокое обучение с подкреплением. Результаты исследования были представлены на XXI Международном симпозиуме IEEE по смешанной и дополненной реальности. Это первый российский проект, который был отобран для участия в этом престижном мероприятии за его более чем двадцатилетнюю историю.
Изображение. Расстановка дронов «стрелой». Источник: Павел Одинёв/Сколтех
«Стив Джобс перевернул представление о том, как человек может интуитивно взаимодействовать с цифровым миром, предложив использовать сенсорные экраны и жесты. Цель наших исследований — преодолеть ещё более сложный вызов: каким образом пользователь без опыта управления дроном сможет в считанные секунды развернуть целый рой!», — говорит руководитель исследования и Лаборатории интеллектуальной космической робототехники Сколтеха доцент Дмитрий Тетерюков.
«Сегодня существует не так много интерфейсов для развёртывания роя дронов, — рассказывает первый автор исследования, выпускница магистратуры Сколтеха Екатерина Доржиева. — Управлять одним дроном удобно при помощи джойстика, а для управления целым роем требуется либо несколько операторов, либо очень сложное программное обеспечение, позволяющее автоматически учитывать множество разных данных. Мы предлагаем альтернативное решение этой задачи».
Группа исследователей из Центра системного проектирования предложила использовать для решения задачи тактильный интерфейс, придуманный аспирантом Сколтеха Мигелем Альтамирано. Эту систему вдохновил, в свою очередь, более ранний интерфейс LinkTouch, созданный Тетерюковым в Японии.
Оператор роя дронов использует (видео) VR-шлем, перчатки с маркерамии тактильный дисплей. Вокруг «лучника» располагается система захвата движения в составе нескольких IR-камер — они регистрируют положение перчаток и дронов. Благодаря тактильному дисплею оператор чувствует, как при изменении расстояния между перчатками меняется натяжение виртуальной тетивы, и использует эту обратную связь, чтобы задать расстояние до точки, где должен оказаться дрон. При этом VR-шлем в режиме реального времени визуализирует баллистическую траекторию дрона. Когда оператор разжимает кулак, это действие регистрирует камера, и дрон направляется по заданной траектории.
Как только дрон достигает цели, он переводится на традиционный способ управления и переходит к выполнению своей миссии. Это может быть спасательная операция, обнаружение лесных пожаров, мониторинг состояния природных ресурсов, загрязнения окружающей среды, определение индекса роста (NDVI) сельскохозяйственных культур, геологоразведка, осмотр или техническое обслуживание объектов инфраструктуры.
«Преимущество использования баллистической траектории по образцу полёта стрелы заключается в том, что для человека такая траектория представляется вполне естественной, что позволяет быстро развернуть группировку дронов, не допуская их столкновения с препятствиями. Для человека это вполне естественная задача, — отмечает Доржиева. — Задавать координаты полёта дронов можно и с помощью программного обеспечения, но тогда дронам пришлось бы самостоятельно выстраивать траекторию для обхода препятствий, а это значит, что на каждый дрон нужно устанавливать камеру».
Благодаря использованию в новом методе глубокого обучения с подкреплением, дроны способны предвидеть столкновения с другими дронами и соответствующим образом перестраивать свою траекторию.
А использование виртуальной реальности подразумевает, что оператору вовсе не обязательно находиться в непосредственной близости от места развёртывания роя. Любые суровые условия, к которым можно приспособить дронов — холод, пожары, радиоактивное заражение, труднодоступная местность — не касаются оператора. Если в них может работать дрон, дальше VR-шлем позволит имитировать присутствие оператора непосредственно на месте действия и выводить дроны в заданную точку.
Кроме того, виртуальная реальность в сочетании со стрельбой из лука открывает перспективы для применения разработки в индустрии развлечений и видеоигр.
*****
Сколтех — негосударственный международный университет. Созданный в сотрудничестве с Массачусетским технологическим институтом, институт готовит новое поколение лидеров в области науки, технологий и бизнеса, проводит исследования в прорывных областях и содействует технологическим инновациям с целью решения важнейших проблем, стоящих перед Россией и миром. Сколтех развивает шесть приоритетов: искусственный интеллект и коммуникации, науки о жизни и здоровье, прорывная инженерия и передовые материалы, энергоэффективность и ESG, фотоника, перспективные исследования. В 2019 году Сколтех единственный от России вошёл в первую сотню молодых университетов рейтинга Nature Index, самого престижного в сфере науки. Сайт: https://www.skoltech.ru/.
Все выпуски журнала «ЭкоГрад» в электронной версии читайте на pressa.ru,
Бумажные экземпляры спецвыпусков и книги В. Климова можно приобрести на OZON
