Виртуальная реальность станет более реальной

Ученые из лабораторииADASE (AdvancedDataAnalyticsinScienceandEngineering) Сколтеха разработали способ повысить разрешение карт глубины, что в свою очередь поможет сделать виртуальную реальность и компьютерную графику более реалистичной. Результаты работы представлены на престижной конференции International Conference on Computer Vision 2019 в Корее.

Виртуальная реальность станет более реальной - фото 1Делая фотографию, мы фиксируем визуальную информацию об окружающих объектах: пиксели фотографии содержат в себе цвета соответствующих частей объекта. Карты глубины (depth maps) – это такие фотографии, которые фиксируют пространственную информацию: их пиксели содержат в себе расстояния от камеры до соответствующих точек пространства. В таких приложениях, как компьютерная графика, дополненная или виртуальная реальность, эта пространственная информация используется для восстановления формы трехмерной поверхности объектов и их последующего отображения, например, на экране компьютера.

Одна из проблем сенсоров, захватывающих карты глубины (depth cameras), заключается в том, что разрешения захватываемых карт глубины, то есть пространственной частоты замеров расстояния, недостаточны для высококачественного восстановления формы объектов: их виртуальные реконструкции выглядят нереалистично.

Перед исследователями стоит задача научиться получать из карт глубины низкого разрешения карты глубины высокого разрешения.

Для этого ученые из лаборатории ADASE Сколтеха предложили новый способ оценки качества полученных результатов, приближенный к человеческому восприятию. Обучение искусственной нейронной сети с использованием этого способа измерения качества позволяет получить метод супер-разрешения карт глубины, визуальное качество результатов которого значительно превосходит визуальное качество результатов, получаемых при помощи существующих методов.

«При супер-разрешении карт глубины необходимо оценивать качество получаемого результата. Эта оценка используется, во-первых, для сравнения разных методов между собой, а во-вторых, во время разработки метода как обратная связь для его совершенствования. Простейший способ получения такой оценки измерение похожести результата на некоторый эталон. В подавляющем большинстве работ, посвященных задаче супер-разрешения карт глубины, количественной мерой качества является среднее отклонение расстояния в супер-разрешенной карте глубины от его эталонного значения. Такой способ абсолютно не отражает визуального качества трехмерной реконструкции, получаемой из супер-разрешенной карты глубины», рассказывает первый автор исследования Олег Войнов.

«Мы предлагаем принципиально другой способ оценки, основанный на человеческом восприятии разницы между визуализациями трехмерных реконструкций, построенных по супер-разрешенной и эталонной картам глубины. При его использовании графика получается действительно реалистичной. Мы надеемся, что наш метод получит широкое применение», рассказывает один из разработчиков Алексей Артемов.

Ссылка на публикацию:

http://openaccess.thecvf.com/content_ICCV_2019/html/Voynov_Perceptual_Deep_Depth_Super-Resolution_ICCV_2019_paper.html

*****

Сколковский институт науки и технологий (Сколтех)негосударственное научно-образовательное учреждение. Созданный в 2011 году при участии Массачусетского технологического института (МТИ), институт готовит новые поколения исследователей и предпринимателей, развивает научные знания и содействует технологическим инновациям с целью решения важнейших проблем, стоящих перед Россией и миром в новом тысячелетии. Сколтех строит свою работу, опираясь на опыт лучших российских и международных образовательных и исследовательских институтов. При этом особый акцент делается на преподавание навыков предпринимательской и инновационной деятельности. Сайт: http://www.skoltech.ru/

Добавить комментарий


Защитный код
Обновить