Позиционное отслеживание VR - VR positional tracking

Для отслеживания положения с помощью инкрементальных энкодеров см. Инкрементальный энкодер § Отслеживание положения.

В виртуальная реальность (VR), позиционное отслеживание определяет точное положение налобные дисплеи, контроллеры, другие предметы или части тела внутри Евклидово пространство. Поскольку цель VR - имитировать восприятие реальности, крайне важно, чтобы позиционное отслеживание было точным и точным, чтобы не разрушать иллюзию трехмерного пространства. Для этого было разработано несколько методов отслеживания положения и ориентации (тангажа, рыскания и крена) дисплея и любых связанных с ним объектов или устройств. Во всех упомянутых способах используются датчики, которые многократно записывают сигналы от передатчиков на отслеживаемом объекте (объектах) или рядом с ним, а затем отправляют эти данные в компьютер для поддержания приблизительного их физического местоположения. В общем и целом, эти физические местоположения идентифицируются и определяются с использованием одной или нескольких из трех систем координат: декартовой прямолинейной системы, сферической полярной системы и цилиндрической системы. Многие интерфейсы также были разработаны для отслеживания и управления движением внутри виртуального трехмерного пространства и взаимодействия с ним; такие интерфейсы должны работать в тесном контакте с системами отслеживания местоположения, чтобы обеспечить удобство работы пользователей.^[1]

Позиционное отслеживание в виртуальной реальности

Беспроводное отслеживание

Беспроводное отслеживание использует набор привязок, которые размещаются по периметру пространства отслеживания, и один или несколько отслеживаемых тегов. Эта система похожа по концепции на GPS, но работает как в помещении, так и на улице. Иногда его называют домашним GPS. Теги триангулировать их трехмерное положение с помощью анкеров, размещенных по периметру. Беспроводная технология под названием Ultra Wideband позволила отслеживать положение с точностью до 100 мм. Благодаря сочетанию датчиков и высокоскоростным алгоритмам точность отслеживания может достигать уровня 5 мм при скорости обновления 200 Гц или 5 мс. задержка.

Плюсы:

• Пользователь испытывает неограниченное движение^[2]
• Обеспечивает более широкий диапазон движений

Минусы:

• Низкая частота дискретизации может снизить точность
• Низкая задержка (определение) по сравнению с другими датчиками

Оптическое слежение

Оптическое слежение использует камеры, размещенные на гарнитуре или вокруг нее, для определения положения и ориентации на основе алгоритмы компьютерного зрения. Этот метод основан на том же принципе, что и стереоскопическое зрение человека. Когда человек смотрит на объект с помощью бинокулярного зрения, он / она может приблизительно определить, на каком расстоянии находится объект из-за разницы в перспективе между двумя глазами. При оптическом слежении камеры калибруются для определения расстояния до объекта и его положения в пространстве. Оптические системы надежны и относительно недороги, но их бывает сложно откалибровать. Кроме того, системе требуется прямая линия света без окклюзий, иначе она будет получать неверные данные.

Оптическое отслеживание может осуществляться с маркерами или без них. При отслеживании с помощью маркеров используются цели с известными шаблонами, которые служат ориентирами, и камеры постоянно ищут эти маркеры, а затем используют различные алгоритмы (например, POSIT алгоритм ) для извлечения позиции объекта. Маркеры могут быть видимыми, например напечатанными QR коды, но многие используют инфракрасный (ИК) свет, который могут уловить только камеры. Активные реализации оснащены маркерами со встроенными ИК-светодиодами, которые могут включаться и выключаться для синхронизации с камерой, что упрощает блокировку других ИК-источников света в зоне отслеживания.^[3] Пассивные реализации световозвращатели которые отражают ИК-свет обратно к источнику с небольшим рассеянием. Безмаркерное отслеживание не требует заранее установленных целей, вместо этого для определения положения и ориентации используются естественные особенности окружающей среды.^[4]

Внешнее отслеживание

В этом методе камеры размещаются в стационарных местах в окружающей среде, чтобы отслеживать положение маркеров на отслеживаемом устройстве, например на головном дисплее или контроллерах. Наличие нескольких камер позволяет по-разному просматривать одни и те же маркеры, и это перекрытие позволяет получать точные показания положения устройства.^[3] Оригинал Oculus Rift использует эту технику, размещая группу ИК-светодиодов на гарнитуре и контроллерах, чтобы внешние камеры в окружающей среде могли определять свое положение.^[5] Этот метод является наиболее зрелым и находит применение не только в виртуальной реальности, но и в технологии захвата движения для кино.^[6] Однако это решение ограничено пространством, требуя внешних датчиков, постоянно находящихся в поле зрения устройства.

Плюсы:

• Более точные показания можно улучшить, добавив больше камер
• Более низкая задержка, чем отслеживание наизнанку^[7]

Минусы:

• Окклюзия, камерам нужна прямая видимость, иначе отслеживание не будет работать
• Необходимость внешних датчиков означает ограниченное игровое пространство

Отслеживание наизнанку

В этом методе камера помещается на отслеживаемое устройство и смотрит наружу, чтобы определить ее местоположение в окружающей среде. Гарнитуры, в которых используется эта технология, имеют несколько камер, обращенных в разные стороны, чтобы видеть все окрестности. Этот метод может работать с маркерами или без них. Система Lighthouse, используемая HTC Vive это пример активных маркеров. Каждый внешний модуль Lighthouse содержит ИК-светодиоды, а также лазерную матрицу, которая перемещается в горизонтальном и вертикальном направлениях, а датчики на гарнитуре и контроллерах могут обнаруживать эти развертки и использовать время для определения положения.^[8][9] Безмаркерное отслеживание, например, на Oculus Quest, не требует установки вне помещения. Он использует камеры на гарнитуре для процесса, называемого SLAM, или одновременная локализация и картографирование, когда трехмерная карта окружающей среды создается в реальном времени.^[4] Затем алгоритмы машинного обучения определяют, где расположена гарнитура на этой трехмерной карте, используя обнаружение функций для восстановления и анализа окружающей среды.^[10][11] Эта технология позволяет использовать высококачественные гарнитуры, такие как Microsoft HoloLens быть автономным, но это также открывает двери для более дешевых мобильных гарнитур без необходимости подключения к внешним компьютерам или датчикам.^[12]

Плюсы:

• Позволяет увеличить игровое пространство, может расширяться до размера комнаты
• Адаптируется к новым условиям

Минусы:

• Требуется дополнительная обработка на борту
• Задержка может быть выше^[7]

Инерционное слежение

Инерционное отслеживание использует данные из акселерометры и гироскопы. Акселерометры измеряют линейное ускорение. Поскольку производная положения по времени - это скорость, а производная скорости - ускорение, выходные данные акселерометра могут быть интегрированы для определения скорости, а затем интегрированы снова, чтобы найти положение относительно некоторой начальной точки. Гироскопы мера угловая скорость. Угловая скорость также может быть интегрирована для определения углового положения относительно начальной точки. Современное системы инерциальных единиц измерения (ИИУ) основаны на Технология MEMS позволяет отслеживать ориентацию (крен, тангаж, рыскание) в пространстве с высокой частотой обновления и минимальной задержкой. Гироскопы всегда используются для отслеживания вращения, но для отслеживания положения используются разные методы, основанные на таких факторах, как стоимость, простота настройки и объем отслеживания.^[13]

Счисление используется для отслеживания позиционных данных, которые изменяют виртуальную среду, обновляя изменения движения пользователя.^[14] Частота обновления счисления и алгоритм прогнозирования, используемые в системе виртуальной реальности, влияют на взаимодействие с пользователем, но нет единого мнения о передовых методах, поскольку использовалось множество различных методов.^[14] Трудно полагаться только на инерционное отслеживание для определения точного положения, потому что счисление приводит к дрейфу, поэтому этот тип отслеживания не используется изолированно в виртуальной реальности.^[15] Было обнаружено, что задержка между движением пользователя и отображением виртуальной реальности более 100 мс вызывает тошноту.^[16]

Инерционные датчики способны отслеживать не только вращательное движение (крен, тангаж, рыскание), но и поступательное движение. Эти два типа движения вместе известны как Шесть степеней свободы. Многие приложения виртуальной реальности должны отслеживать не только повороты головы пользователей, но и то, как их тела двигаются вместе с ними (влево / вправо, вперед / назад, вверх / вниз).^[17] Возможность шести степеней свободы необязательна для всех возможностей виртуальной реальности, но она полезна, когда пользователю нужно перемещать вещи, кроме головы.

Плюсы:

• Может хорошо отслеживать быстрые движения относительно других датчиков и особенно хорошо в сочетании с другими датчиками
• Возможность высокой частоты обновления

Минусы:

• Склонен к ошибкам, которые быстро накапливаются из-за точного счёта
• Любая задержка или просчет при определении положения может привести к появлению у пользователя таких симптомов, как тошнота или головные боли.^[18]
• Может быть не в состоянии угнаться за пользователем, который движется слишком быстро^[18]
• Инерционные датчики обычно могут использоваться только в помещениях и лабораториях, поэтому их применение на открытом воздухе ограничено.^[19]

Sensor Fusion

Слияние датчиков объединяет данные из нескольких алгоритмов отслеживания и может давать лучшие результаты, чем только одна технология. Один из вариантов слияния сенсоров - объединение инерционного и оптического слежения. Эти два метода часто используются вместе, потому что, хотя инерционные датчики оптимальны для отслеживания быстрых перемещений, они также быстро накапливают ошибки, а оптические датчики предлагают абсолютные эталоны для компенсации инерционных слабостей.^[13] Кроме того, инерционное слежение может компенсировать некоторые недостатки оптического слежения. Например, оптическое слежение может быть основным методом слежения, но когда происходит загорание, инерционное слежение оценивает положение до тех пор, пока объекты снова не станут видимыми для оптической камеры. Инерционное отслеживание также может генерировать данные о местоположении между данными оптического отслеживания, поскольку инерционное отслеживание имеет более высокое частота обновления. Оптическое слежение также помогает справиться с дрейфом инерционного слежения. Комбинация оптического и инерционного слежения показала, что уменьшает ошибки несоосности, которые обычно возникают, когда пользователь слишком быстро двигает головой.^[18] Достижения микроэлектрических магнитных систем сделали магнитное / электрическое отслеживание более распространенным из-за их небольшого размера и низкой стоимости.^[19]

Акустическое слежение

В системах акустического слежения используются методы определения положения объекта или устройства, аналогичные тем, которые естественным образом обнаруживаются у животных, которые используют эхолокация. По аналогии с летучими мышами, обнаруживающими объекты с использованием различий во времени возврата звуковой волны к их двум ушам, системы акустического слежения в VR могут использовать наборы из как минимум трех ультразвуковых датчиков и как минимум трех ультразвуковых передатчиков на устройствах для расчета положения и ориентации объекта ( например, портативный контроллер).^[20] Есть два способа определить положение объекта: измерить время пролета звуковой волны от передатчик к приемникам или фазовой когерентности синусоидальной звуковой волны при приеме передачи.

Времяпролетные методы

Для набора из трех неколлинеарных датчиков (или приемников) с расстояниями между ними d₁ и г₂, а также время прохождения ультразвуковой звуковой волны (волны с частотой более 20 кГц) от передатчика до этих трех приемников, относительное декартово положение передатчика можно рассчитать следующим образом:

${\displaystyle x_{0}={l_{1}^{2}+d_{1}^{2}-l_{2}^{2} \over 2d_{1}}}$

${\displaystyle y_{0}={l_{1}^{2}+d_{2}^{2}-l_{3}^{2} \over 2d_{2}}}$

${\displaystyle z_{0}={\sqrt {l_{1}^{2}-x_{0}^{2}-y_{0}^{2}}}}$

Здесь каждый л_я представляет собой расстояние от передатчика до каждого из трех приемников, рассчитанное на основе времени прохождения ультразвуковой волны с использованием уравнения л = ct_нас. Постоянная c обозначает скорость звука, которая равна 343,2 м / с в сухом воздухе при температуре 20ºC. Поскольку требуется как минимум три приемника, эти расчеты широко известны как триангуляция.

Помимо положения, для определения ориентации устройства (т. Е. Степени его вращения во всех направлениях) необходимо знать не менее трех неколлинеарных точек на отслеживаемом объекте, а количество ультразвуковых передатчиков должно быть не менее трех на каждое отслеживаемое устройство в дополнение к три вышеупомянутых приемника. Передатчики последовательно излучают ультразвуковые волны в направлении трех приемников, которые затем можно использовать для получения пространственных данных на трех передатчиках с использованием методов, описанных выше. Затем ориентация устройства может быть определена на основе известного расположения передатчиков на устройстве и их пространственного положения относительно друг друга.^[21]

Фазово-когерентные методы

В отличие от методов TOF, методы фазово-когерентного (ПК) слежения также использовались для определения местоположения объекта акустически. ПК слежение включает в себя сравнении фазы тока звуковой волны, полученной от датчиков, которые из предшествующего уровня опорного сигнала, таким образом, что можно определить относительное изменение положения передатчиков от последнего измерения. Поскольку этот метод работает только с наблюдаемыми изменениями значений положения, а не с абсолютными измерениями, любые ошибки в измерениях имеют тенденцию усугубляться при большем количестве наблюдений. Следовательно, этот метод со временем потерял популярность среди разработчиков.

Плюсы:

• Точное измерение координат и углов
• Датчики маленькие и легкие, что позволяет гибко использовать их в конструкции.
• Устройства дешевы и просты в изготовлении.
• Нет электромагнитных помех

Минусы:

• Изменчивость скорости звука в зависимости от температуры, атмосферного давления и влажности окружающей среды может вызвать ошибку в расчетах расстояния.
• Диапазон ограничен и требует прямой видимости между излучателями и приемниками.
• По сравнению с другими методами, максимально возможная частота дискретизации несколько мала (примерно несколько десятков Гц) из-за относительно низкой скорости звука в воздухе. Это может вызвать задержки измерения величиной до нескольких десятков миллисекунд, если только сочетание датчиков не используется для увеличения ультразвуковых измерений.
• Акустические помехи (т. Е. Другие звуки в окружающей среде) могут мешать считыванию.
• Таким образом, реализация акустического слежения оптимальна в случаях, когда есть полный контроль над окружающей средой, в которой находится система VR или AR, например, в имитаторе полета.

Таким образом, реализация акустического слежения оптимальна в случаях, когда есть полный контроль над окружающей средой, в которой находится система VR или AR, например, в имитаторе полета.^[1][22][23]

Магнитное отслеживание

Магнитное отслеживание (или электромагнитное слежение) основано на том же принципе, что и терменвокс. Он основан на измерении интенсивности неоднородных магнитные поля с электромагнитными датчиками. А базовая станция, часто называемый передатчиком системы или генератором поля, генерирует чередование или статический электромагнитное поле в зависимости от архитектуры системы.

Чтобы охватить все направления в трехмерном пространстве, последовательно генерируются три магнитных поля. Магнитные поля создаются тремя перпендикулярными друг другу электромагнитными катушками. Эти катушки следует поместить в небольшой корпус, установленный на движущейся цели, положение которой необходимо отслеживать. Ток, последовательно проходя через катушки, превращает их в электромагниты, что позволяет им определять свое положение и ориентацию в пространстве.

Поскольку для магнитного слежения не требуется головной дисплей, который часто используется в виртуальной реальности, это часто система слежения, используемая в полностью иммерсивных дисплеях виртуальной реальности.^[18] Обычное оборудование, такое как налобные дисплеи, мешает пользователю в полностью закрытой виртуальной реальности, поэтому предпочтение отдается альтернативному оборудованию, например, используемому для магнитного отслеживания. Магнитное отслеживание было реализовано Polhemus и в Бритва Гидра от Sixense. Система плохо работает рядом с любыми электропроводящими материалами, такими как металлические предметы и устройства, которые могут влиять на электромагнитное поле. Магнитное отслеживание ухудшается по мере удаления пользователя от базового излучателя,^[18] а масштабируемая площадь ограничена и не может превышать 5 метров.

Плюсы:

• Использует ненавязчивое оборудование, которое не нужно носить пользователю, и не мешает ощущениям в виртуальной реальности.
• Подходит для полностью иммерсивных дисплеев виртуальной реальности

Минусы:

• Пользователь должен находиться рядом с базовым излучателем
• Ухудшается отслеживание вблизи металлов или предметов, которые мешают электромагнитному полю
• Из-за частых требований к калибровке часто возникают ошибки и джиттер.^[19]

Смотрите также

• Оценка позы в 3D
• Дополненная реальность
• Шлем виртуальной реальности
• Система позиционирования в помещении
• Отслеживание пальца
• Захвата движения
• Одновременная локализация и отображение
• Система слежения

Рекомендации

1. Аукстакальнис, Стив. Практическая дополненная реальность: руководство по технологиям, приложениям и человеческому фактору для AR и VR. Бостон. ISBN  978-0-13-409429-8. OCLC  958300989.
2. Эмура, Сатору; Тачи, Сусуму (август 1998 г.). «Мультисенсорное интегрированное прогнозирование для виртуальной реальности». Присутствие: удаленные операторы и виртуальные среды. 7 (4): 410–422. Дои:10.1162/105474698565811. ISSN  1054-7460. S2CID  34491936.
3. VR, Дорога к (2014-06-02). «Обзор технологий позиционного отслеживания для виртуальной реальности». Дорога к VR. Получено 2020-11-06.
4. "Как Oculus втиснул сложное отслеживание в тонкое оборудование". TechCrunch. Получено 2020-11-06.
5. «Магазин приложений Oculus потребует предварительное одобрение, рейтинги комфорта и налоги». TechCrunch. Получено 2020-11-06.
6. Пустка, Д .; Hülß, J .; Willneff, J .; Панкрац, Ф .; Huber, M .; Клинкер, Г. (ноябрь 2012 г.). «Оптическое внешнее отслеживание с использованием немодифицированных мобильных телефонов». 2012 Международный симпозиум IEEE по смешанной и дополненной реальности (ISMAR): 81–89. Дои:10.1109 / ISMAR.2012.6402542. ISBN  978-1-4673-4662-7. S2CID  18349919.
7. «Inside-out v Outside-in: как работает отслеживание VR и как оно изменится». Wareable. 2017-05-03. Получено 2020-11-06.
8. Демпси, П. (2016-08-01). «Разборка: гарнитура виртуальной реальности HTC Vive». Инженерная технология. 11 (7): 80–81. Дои:10.1049 / et.2016.0731. ISSN  1750-9637.
9. Niehorter, Diederick C .; Ли, Ли; Лаппе, Маркус (июнь 2017 г.). «Точность и точность отслеживания положения и ориентации в системе виртуальной реальности HTC Vive для научных исследований». i-восприятие. 8 (3): 204166951770820. Дои:10.1177/2041669517708205. ISSN  2041-6695. ЧВК  5439658. PMID  28567271.
10. Чен, Лиянь; Пэн, Сяоюань; Яо, Цзюньфэн; Цигуань, Хун; Чен, Чен; Ма, Ихан (август 2016 г.). «Исследование системы дополненной реальности без опознавательных знаков для домашней выставки». 2016 11-я Международная конференция по информатике и образованию (ICCSE). Нагоя, Япония: IEEE: 524–528. Дои:10.1109 / ICCSE.2016.7581635. ISBN  978-1-5090-2218-2. S2CID  17281382.
11. Расмуссен, Локи; Бейсингер, Джей; Миланова, Мариофанна (март 2019). «Сетевые потребительские системы для обеспечения среды разработки для отслеживания без маркеров наизнанку для гарнитур виртуальной реальности». Конференция IEEE 2019 по виртуальной реальности и пользовательским 3D-интерфейсам (VR). Осака, Япония: IEEE: 1132–1133. Дои:10.1109 / VR.2019.8798349. ISBN  978-1-7281-1377-7. S2CID  201066258.
12. hferrone. «Как работает отслеживание наизнанку - Путеводитель для энтузиастов». docs.microsoft.com. Получено 2020-11-06.
13. Блезер, Габриэле; Стрикер, Дидье (февраль 2009 г.). «Расширенное отслеживание за счет эффективной обработки изображений и сочетания визуально-инерциальных датчиков». Компьютеры и графика. 33 (1): 59–72. Дои:10.1016 / j.cag.2008.11.004. S2CID  5645304.
14. Блезер, Габриэле; Стрикер, Дидье (февраль 2009 г.). «Расширенное отслеживание за счет эффективной обработки изображений и сочетания визуально-инерциальных датчиков». Компьютеры и графика. 33 (1): 59–72. Дои:10.1016 / j.cag.2008.11.004. S2CID  5645304.
15. «Как работает позиционное отслеживание в виртуальной реальности». VentureBeat. 2019-05-05. Получено 2020-11-06.
16. Эмура, Сатору; Тачи, Сусуму (август 1998 г.). «Мультисенсорное интегрированное прогнозирование для виртуальной реальности». Присутствие: удаленные операторы и виртуальные среды. 7 (4): 410–422. Дои:10.1162/105474698565811. ISSN  1054-7460. S2CID  34491936.
17. «Краткое руководство по степеням свободы в виртуальной реальности». Kei Studios. 2018-02-12. Получено 2020-11-06.
18. Hogue, A .; Jenkin, M. R .; Эллисон, Р. С. (май 2004 г.). «Оптико-инерциальная система слежения для полностью закрытых дисплеев виртуальной реальности». Первая канадская конференция по компьютерному зрению и зрению роботов, 2004 г. Труды.: 22–29. Дои:10.1109 / CCCRV.2004.1301417. ISBN  0-7695-2127-4. S2CID  1010865.
19. Атрсаи, Араш; Салариа, Хасан; Аласти, Ария; Абедин, Мохаммад (май 2018 г.). «Отслеживание движения руки человека с помощью инерционных / магнитных датчиков с использованием фильтра Калмана без запаха и ограничения относительного движения». Журнал интеллектуальных и робототехнических систем. 90 (1–2): 161–170. Дои:10.1007 / s10846-017-0645-z. ISSN  0921-0296. S2CID  3887896.
20. Джонс, Гарет (июль 2005 г.). «Эхолокация». Текущая биология. 15 (13): R484 – R488. Дои:10.1016 / j.cub.2005.06.051. ISSN  0960-9822. PMID  16005275.
21. Михель, Матяж; Новак, Домен; Бегуш, Само (2014). «Технологии и приложения виртуальной реальности». Интеллектуальные системы, управление и автоматизация: наука и техника. 68. Дои:10.1007/978-94-007-6910-6. ISBN  978-94-007-6909-0. ISSN  2213-8986.
22. Т. Мазурик, История виртуальной реальности, приложения, технологии и будущее. Вена, Австрия: Венский технологический университет, 1996.
23. Р. Холлоуэй и А. Ластра, «Виртуальные среды: обзор технологий», cs.unc.edu. [В сети]. Доступно: http://www.cs.unc.edu/techreports/93-033.pdf.

Библиография

• Янник П. Роллан, Йохан Байо и Алексей А. Гун. Обзор технологий отслеживания для виртуальных сред (PDF).
• Викас Кумар Н. Интеграция инерциальной навигационной системы и глобальной системы позиционирования с использованием фильтрации Калмана (PDF).
• Дж. Д. Хол, Т. Б. Шон, Ф. Густафссон, П. Дж. Слик. Sensor Fusion для дополненной реальности (PDF).