Захвата движения - Motion capture

Захват движения двух пианисты Правые руки играют одну и ту же пьесу (замедленное движение, без звука)[1]
Два повтора ходьбы, записанные с помощью системы захвата движения[2]

Захвата движения (иногда называют mo-cap или мокап, для краткости) - это процесс записи движение предметов или людей. Он используется в военные, развлекательная программа, виды спорта, медицинские приложения, а также для проверки компьютерного зрения[3] и робототехника.[4] В кинопроизводство и разработка видеоигр, это относится к записи действий человеческие актеры и используя эту информацию для анимации цифровой персонаж модели в 2D или 3D компьютерная анимация.[5][6][7] Когда он включает в себя лицо и пальцы или захватывает едва различимые выражения, его часто называют захват производительности.[8] Во многих областях захват движения иногда называют отслеживание движения, но в кинопроизводстве и играх отслеживание движения обычно больше относится к движение матча.

В сеансах захвата движения движения одного или нескольких актеров регистрируются много раз в секунду. В то время как ранние методы использовались изображения с нескольких камер для расчета трехмерных положений,[9] Часто целью захвата движения является запись только движений актера, а не его внешнего вида. Этот данные анимации сопоставляется с 3D-моделью, так что модель выполняет те же действия, что и актер.

Этот процесс можно сравнить со старой техникой ротоскопирование, как видно в Ральф Бакши с Властелин колец (1978) и Американский поп (1981). Этот метод работает, отслеживая актера живого действия, фиксируя его движения и движения. Чтобы объяснить это, актер снимается, выполняя действие, а затем записанный фильм проецируется на анимационный стол кадр за кадром. Аниматоры прослеживают отснятый материал в реальном времени на кадрах анимации, запечатлевая контур и движения актера кадр за кадром, а затем заполняют очерченные контуры анимированным персонажем. Готовые кадры анимации затем фотографируются кадр за кадром, точно соответствуя движениям и действиям видеозаписи живого действия. Конечным результатом этого является то, что анимированный персонаж в точности повторяет движения актера вживую. Однако этот процесс требует значительных затрат времени и усилий.

Движения камеры также могут быть захвачены движением, так что виртуальная камера в сцене будет панорамировать, наклонять или перемещать тележку вокруг сцены, управляемую оператором камеры, во время выступления актера. В то же время система захвата движения может захватывать камеру и реквизит, а также игру актера. Это позволяет созданным компьютером персонажам, изображениям и декорациям иметь ту же перспективу, что и видеоизображения с камеры. Компьютер обрабатывает данные и отображает движения актера, обеспечивая желаемое положение камеры с точки зрения объектов в наборе. Ретроактивное получение данных о движении камеры из отснятого материала известно как движение матча или отслеживание камеры.

Преимущества

Захват движения имеет несколько преимуществ по сравнению с традиционными компьютерная анимация 3D модели:

  • Низкая задержка, близкое к реальному времени, результаты могут быть получены. В развлекательных приложениях это может снизить затраты на использование ключевых кадров. анимация.[10] В Сдавать техника является примером этого.
  • Объем работы не зависит от сложности или продолжительности выступления в той же степени, как при использовании традиционных техник. Это позволяет проводить множество тестов с разными стилями или постановками, придавая другой характер, ограниченный только талантом актера.
  • Сложные движения и реалистичные физические взаимодействия, такие как вторичные движения, вес и обмен силами, можно легко воссоздать физически точным образом.[11]
  • Объем данных анимации, который может быть создан за заданное время, чрезвычайно велик по сравнению с традиционными методами анимации. Это способствует как экономической эффективности, так и соблюдению сроков производства.[12]
  • Возможность бесплатного программного обеспечения и решений сторонних производителей, снижающих затраты.

Недостатки

  • Для получения и обработки данных требуется специальное оборудование и специальное программное обеспечение.
  • Стоимость необходимого программного обеспечения, оборудования и персонала может быть непомерно высокой для небольших производств.
  • Система захвата может иметь определенные требования к пространству, в котором она работает, в зависимости от поля зрения камеры или магнитного искажения.
  • Когда возникают проблемы, легче снова снять сцену, чем пытаться манипулировать данными. Только несколько систем позволяют просматривать данные в реальном времени, чтобы решить, нужно ли переделывать дубль.
  • Первоначальные результаты ограничиваются тем, что может быть выполнено в объеме захвата без дополнительного редактирования данных.
  • Движение, которое не подчиняется законам физики, невозможно уловить.
  • Традиционные методы анимации, такие как дополнительный акцент на ожидании и завершении, вторичное движение или манипулирование формой персонажа, как в сквош и растяжка методы анимации должны быть добавлены позже.
  • Если компьютерная модель имеет другие пропорции от объекта съемки, могут возникнуть артефакты. Например, если у мультипликационного персонажа большие, негабаритные руки, они могут пересекать тело персонажа, если человек-исполнитель не будет осторожен со своими физическими движениями.

Приложения

Исполнители Motion Capture из Нового Университета Бакингемшира

Видеоигры часто используют захват движения для анимации спортсменов, мастеров боевых искусств и других игровых персонажей.[13][14] Это было сделано с Sega Модель 2 аркадная игра Virtua Fighter 2 в 1994.[15] К середине 1995 года использование захвата движения при разработке видеоигр стало обычным явлением, и разработчик / издатель Acclaim Entertainment зашла так далеко, что в ее штаб-квартиру встроили собственную студию захвата движения.[14] Namco аркадная игра 1995 года Soul Edge использовали пассивные маркеры оптической системы для захвата движения.[16]

В фильмах используется захват движения для эффектов компьютерной графики, в некоторых случаях заменяющий традиционную целевую анимацию, а также для полностью компьютерный существа, такие как Голлум, Мамочка, Кинг конг, Дэви Джонс из Пираты Карибского моря, На'ви из фильма Аватар, и Clu из Трон: Наследие. Великий Гоблин, трое Каменные тролли, многие орки и гоблины в фильме 2012 года Хоббит: Нежданное путешествие, и Смауг были созданы с использованием захвата движения.

Звёздные войны: Эпизод I - Призрачная угроза (1999) был первым полнометражным фильмом, в котором главный герой был создан с помощью захвата движения (этот персонаж Джа Джа Бинкс, В исполнении Ахмед Бест ), и Индийский -Американец фильм Синдбад: За пеленой тумана (2000) был первым полнометражным фильмом, созданным в основном с использованием захвата движения, хотя многие аниматоры персонажей также работали над фильмом, выпуск которого был очень ограниченным. 2001-е годы Final Fantasy: Духи внутри был первым широко выпущенным фильмом, созданным в основном с использованием технологии захвата движения. Несмотря на низкие кассовые сборы, сторонники технологии захвата движения это заметили. Вспомнить все (Фильм 1990 года) уже использовал эту технику в сцене с рентгеновским сканером и скелетами.

Властелин колец: Две башни был первым художественным фильмом, в котором использовалась система захвата движения в реальном времени. Этот метод транслирует действия актера Энди Серкис в сгенерированный компьютером скин Голлума / Смеагола во время его исполнения.[17]

Из трех номинантов на 2006 г. Премия Оскар за лучший анимационный фильм, двое из номинантов (Дом монстров и победитель Счастливые ноги ) использовал захват движения, и только Дисней·Pixar с Легковые автомобили был анимирован без захвата движения. В финальных титрах Pixar фильм Рататуй появляется штамп с надписью "100% чистая анимация - без захвата движения!"

С 2001 года захват движения широко используется для имитации или приближения внешнего вида кинотеатра с живым действием, причем почти фотореалистичный цифровые модели персонажей. Полярный экспресс использовал захват движения, чтобы разрешить Том Хэнкс выступать как несколько отдельных цифровых персонажей (в которых он также предоставил голоса). Адаптация саги 2007 года Беовульф анимированные цифровые персонажи, внешность которых частично основана на актерах, которые передавали свои движения и голоса. Джеймс Кэмерон очень популярен Аватар использовал эту технику для создания На'ви, населяющих Пандору. Компания Уолта Диснея произвел Роберт Земекис с Рождественский гимн используя эту технику. В 2007 году Disney приобрела компанию Земекиса. ImageMovers Digital (который производит фильмы для захвата движения), но затем закрыл его в 2011 году после сбой в прокате из Марсу нужны мамы.

Телесериалы, полностью созданные с использованием анимации захвата движения, включают: Лафлак в Канаде, Sprookjesboom и Кафе де Верельд [нл ] в Нидерландах и Головные уборы в Великобритании.

Виртуальная реальность и Дополненная реальность провайдеры, такие как uSens и Гестигон, позволяют пользователям взаимодействовать с цифровым контентом в реальном времени, фиксируя движения рук. Это может быть полезно для учебных симуляций, тестов визуального восприятия или выполнения виртуальных прогулок в 3D-среде. Технология захвата движения часто используется в цифровая кукла системы для управления компьютерными персонажами в реальном времени.

Анализ походки это одно из приложений захвата движения в клиническая медицина. Методы позволяют клиницистам оценивать движения человека по нескольким биомеханическим факторам, часто при потоковой передаче этой информации в аналитическое программное обеспечение.

Некоторые физиотерапевтические клиники используют захват движения как объективный способ количественной оценки прогресса пациента.[18]

Во время съемок фильма Джеймса Кэмерона Аватар все сцены, связанные с этим процессом, были сняты в реальном времени с использованием Autodesk MotionBuilder программное обеспечение для рендеринга изображения на экране, которое позволило режиссеру и актеру увидеть, как они будут выглядеть в фильме, что упрощает постановку фильма так, как его увидит зритель. Этот метод допускал виды и углы, недоступные для предварительно отрендеренной анимации. Кэмерон так гордился своими результатами, что пригласил Стивен Спилберг и Джордж Лукас на съемочной площадке, чтобы увидеть систему в действии.

В Марвел Мстители Марк Руффало использовал захват движения, чтобы он мог сыграть своего персонажа Халка, а не использовать компьютерную графику, как в предыдущих фильмах, что сделало Руффало первым актером, сыгравшим и человека, и версию Халка Брюса Баннера.

FaceRig программное обеспечение использует технологию распознавания лиц от ULSee.Inc для сопоставления выражений лица игроков и технологии отслеживания тела от Нейрон восприятия для сопоставления движения тела с движением персонажа в 3D или 2D на экране.[19][20]

В течение Конференция разработчиков игр 2016 в Сан-Франциско Эпические игры продемонстрировал захват движения всего тела в реальном времени в Unreal Engine. Вся сцена из предстоящей игры Адский клинок о женщине-воительнице по имени Сенуа, рендерился в реальном времени. Основной доклад[21] было сотрудничество между Unreal Engine, Теория ниндзя, 3 Боковой, Кубическое движение, IKinema и Xsens.

Методы и системы

Светоотражающие маркеры, прикрепленные к коже, для обозначения ориентиров тела и трехмерного движения сегментов тела
Отслеживание силуэта

Отслеживание движения или захват движения началось как инструмент фотограмметрического анализа в исследованиях биомеханики в 1970-х и 1980-х годах и расширилось до образования, обучения, спорта и недавно компьютерная анимация за телевидение, кино, и видеоигры по мере развития технологий. С 20-го века исполнитель должен носить маркеры возле каждого сустава, чтобы определять движение по положению или углам между маркерами. Акустический, инерционный, СВЕТОДИОД, магнитные или отражающие маркеры или их комбинации отслеживаются, оптимально, по крайней мере, в два раза превышающей частоту желаемого движения. Разрешение системы важно как для пространственного, так и для временного разрешения, поскольку размытие при движении вызывает почти те же проблемы, что и низкое разрешение. С начала 21 века и в связи с быстрым развитием технологий были разработаны новые методы. Большинство современных систем позволяют выделить силуэт исполнителя из фона. После этого все углы сочленений рассчитываются путем подгонки математической модели к силуэту. Для движений вы не можете увидеть изменение силуэта, доступны гибридные системы, которые могут делать и то, и другое (маркер и силуэт), но с меньшим количеством маркеров.[нужна цитата ] В робототехнике некоторые системы захвата движения основаны на одновременная локализация и отображение.[22]

Оптические системы

Оптические системы использовать данные, полученные с датчиков изображения, для триангулировать 3D-положение объекта между двумя или более камерами, откалиброванное для обеспечения перекрывающихся проекций. Сбор данных традиционно осуществляется с помощью специальных маркеров, прикрепленных к актеру; однако более современные системы могут генерировать точные данные, отслеживая особенности поверхности, динамически идентифицируемые для каждого конкретного объекта. Отслеживание большого количества исполнителей или расширение зоны захвата достигается за счет добавления большего количества камер. Эти системы производят данные с тремя степенями свободы для каждого маркера, а информация о вращении должна выводиться из относительной ориентации трех или более маркеров; например, маркеры плеча, локтя и запястья, указывающие угол локтя. Более новые гибридные системы объединяют инерционные датчики с оптическими датчиками для уменьшения окклюзии, увеличения количества пользователей и улучшения возможности отслеживания без необходимости вручную очищать данные.[нужна цитата ].

Пассивные маркеры

Танцовщица в костюме, используемом в оптической системе захвата движения
Маркеры помещаются в определенные точки на лице актера во время оптического захвата движения лица.

Пассивный оптический системы используют маркеры, покрытые световозвращающий материал для отражения света, который излучается около объектива камеры. Порог камеры можно настроить таким образом, чтобы отбирались только яркие отражающие маркеры, без учета кожи и ткани.

Центроид маркера оценивается как положение в захваченном двумерном изображении. Значение оттенков серого для каждого пикселя можно использовать для обеспечения субпиксельной точности путем нахождения центроида Гауссовский.

Объект с маркерами, прикрепленными в известных положениях, используется для калибровки камер и определения их положения, а также измеряется искажение объектива каждой камеры. Если две откалиброванные камеры видят маркер, можно получить трехмерное исправление. Обычно система состоит от 2 до 48 камер. Существуют системы из более чем трехсот камер, чтобы попытаться уменьшить смену маркеров. Дополнительные камеры необходимы для полного покрытия объекта съемки и нескольких объектов.

Поставщики имеют ограничивающее программное обеспечение, чтобы уменьшить проблему замены маркеров, поскольку все пассивные маркеры кажутся идентичными. В отличие от активных систем маркеров и магнитных систем, пассивные системы не требуют от пользователя носить провода или электронное оборудование.[23] Вместо этого сотни резиновых шариков прикреплены светоотражающей лентой, которую необходимо периодически заменять. Маркеры обычно прикрепляются непосредственно к коже (как в биомеханике), или они на липучке исполнителю в спандексе / лайкре всего тела костюм, разработанный специально для захвата движения. Этот тип системы может захватывать большое количество маркеров с частотой кадров обычно от 120 до 160 кадров в секунду, хотя, снижая разрешение и отслеживая меньшую интересующую область, они могут отслеживать до 10000 кадров в секунду.

Активный маркер

Активные оптические системы триангулируют положения, очень быстро подсвечивая один светодиод за раз или несколько светодиодов с помощью программного обеспечения, чтобы идентифицировать их по их относительному положению, что в некоторой степени похоже на астрономическую навигацию. Вместо того, чтобы отражать свет, который генерируется извне, сами маркеры получают питание, чтобы излучать собственный свет. Поскольку закон обратных квадратов дает четверть мощности при удвоении расстояния, это может увеличить расстояния и объем для захвата. Это также обеспечивает высокое отношение сигнал / шум, что приводит к очень низкому дрожанию маркера и, как результат, к высокому разрешению измерения (часто до 0,1 мм в калиброванном объеме).

Сериал Звездные врата SG1 производил эпизоды с использованием активной оптической системы для VFX, позволяющей актеру ходить вокруг реквизита, что затрудняло бы захват движения для других неактивных оптических систем.[нужна цитата ]

ILM использовал активные маркеры в Ван Хельсинг чтобы позволить захватить летающих невест Дракулы на очень больших площадках, подобно тому, как Weta использует активные маркеры в Восстание планеты обезьян. Питание каждого маркера может подаваться последовательно, синхронно с системой захвата, обеспечивающей уникальную идентификацию каждого маркера для данного кадра захвата за счет результирующей частоты кадров. Возможность идентифицировать каждый маркер таким образом полезна в приложениях реального времени. Альтернативный метод идентификации маркеров - это сделать это алгоритмически, требуя дополнительной обработки данных.

Также есть возможность найти позицию с помощью цветных светодиодных маркеров. В этих системах каждому цвету соответствует определенная точка тела.

Одной из первых активных систем маркеров в 1980-х годах была гибридная пассивно-активная система мокапов с вращающимися зеркалами и цветными стеклянными отражающими маркерами, в которой использовались замаскированные линейные матричные детекторы.

Активный маркер с временной модуляцией

Уникально идентифицированная активная система маркеров высокого разрешения с разрешением 3600 × 3600 при 960 Гц, обеспечивающая субмиллиметровые положения в реальном времени

Системы активных маркеров могут быть дополнительно усовершенствованы путем стробирования одного маркера за раз или отслеживания нескольких маркеров с течением времени и модуляции амплитуды или ширины импульса для получения идентификатора маркера. Системы с 12-мегапиксельным модулированием пространственного разрешения демонстрируют более тонкие движения, чем 4-мегапиксельные оптические системы, благодаря более высокому пространственному и временному разрешению. Режиссеры могут видеть игру актеров в реальном времени и наблюдать за результатами компьютерной графики, управляемой захватом движения. Уникальные идентификаторы маркеров сокращают время обработки, устраняя замену маркеров и обеспечивая более чистые данные, чем другие технологии. Светодиоды со встроенной обработкой и радиосинхронизацией позволяют захватывать движение на открытом воздухе под прямыми солнечными лучами, делая снимок со скоростью от 120 до 960 кадров в секунду благодаря высокоскоростному электронному затвору. Компьютерная обработка модулированных идентификаторов позволяет реже обрабатывать вручную или фильтровать результаты для снижения эксплуатационных расходов. Эта более высокая точность и разрешение требуют большей обработки, чем пассивные технологии, но дополнительная обработка выполняется в камере для улучшения разрешения с помощью субпиксельной или центроидной обработки, обеспечивая как высокое разрешение, так и высокую скорость. Эти системы захвата движения обычно стоят 20 000 долларов за восемь камер, 12-мегапиксельную систему с пространственным разрешением 120 герц и одним актером.

ИК датчики могут вычислять свое местоположение при освещении мобильными мульти-светодиодными излучателями, например в движущейся машине. С идентификатором на маркер эти сенсорные метки можно носить под одеждой и отслеживать при 500 Гц средь бела дня.

Полупассивный незаметный маркер

Можно полностью изменить традиционный подход, основанный на высокоскоростных камерах. Такие системы как Пракаш используйте недорогие мульти-светодиодные высокоскоростные проекторы. Специально созданные мульти-светодиодные ИК-проекторы оптически кодируют пространство. Вместо световозвращающих или активных светоизлучающих диодных (LED) маркеров система использует светочувствительные маркеры для декодирования оптических сигналов. Прикрепляя метки с фотодатчиками к точкам сцены, метки могут вычислять не только свое собственное местоположение каждой точки, но также свою собственную ориентацию, падающую освещенность и отражательную способность.

Эти теги отслеживания работают в условиях естественного освещения и могут незаметно встраиваться в одежду или другие предметы. Система поддерживает неограниченное количество тегов в сцене, причем каждый тег уникально идентифицируется для устранения проблем с повторным захватом маркера. Поскольку система исключает высокоскоростную камеру и соответствующий высокоскоростной поток изображений, она требует значительно меньшей полосы пропускания данных. Теги также предоставляют данные о падающем освещении, которые можно использовать для согласования освещения сцены при вставке синтетических элементов. Этот метод кажется идеальным для захвата движения на съемочной площадке или для трансляции виртуальных съемок в реальном времени, но еще предстоит испытать.

Система захвата подводного движения

Технология захвата движения была доступна исследователям и ученым уже несколько десятилетий, что позволило по-новому взглянуть на многие области.

Подводные камеры

Важнейшая часть системы - подводная камера - имеет водонепроницаемый корпус. Покрытие корпуса выдерживает коррозию и хлор, что делает его идеальным для использования в бассейнах и бассейнах. Есть два типа камер. Промышленные высокоскоростные камеры также могут использоваться в качестве инфракрасных. Инфракрасные подводные камеры поставляются со стробоскопом голубого света вместо обычного ИК-излучения - для минимального затухания под водой и конуса высокоскоростной камеры со светодиодной подсветкой или с возможностью использования обработки изображения.

Подводная камера для захвата движения
Отслеживание движения при плавании с помощью обработки изображений
Объем измерения

Подводная камера обычно может измерять 15–20 метров в зависимости от качества воды, камеры и типа используемого маркера. Неудивительно, что лучший диапазон достигается, когда вода чистая, и, как всегда, объем измерения также зависит от количества камер. Для различных условий доступен ряд подводных маркеров.

На заказ

Разные бассейны требуют разных креплений и приспособлений. Таким образом, все системы захвата движения под водой индивидуально адаптированы к каждой конкретной установке бассейна. Для камер, размещенных в центре бассейна, предусмотрены специально разработанные штативы с присосками.

Без маркера

Новые методы и исследования в компьютерное зрение ведут к быстрому развитию безмаркерного подхода к захвату движения. Безмаркерные системы, такие как разработанные в Стэндфордский Университет, то Университет Мэриленда, Массачусетский технологический институт, а Институт Макса Планка, не требуют от испытуемых ношения специального снаряжения для отслеживания. Специальные компьютерные алгоритмы разработаны, чтобы позволить системе анализировать несколько потоков оптического ввода и идентифицировать человеческие формы, разбивая их на составные части для отслеживания. ESC развлечения, дочерняя компания Фотографии Warner Brothers создан специально для включения виртуальная кинематография, в том числе фотореалистичный цифровые двойники для съемок Матрица перезагружена и Матричные революции фильмы, использовали технику под названием Universal Capture, которая использовала 7 настройка камеры и отслеживание оптический поток из всех пиксели по всем 2-мерным плоскостям камер для движения, жест и Выражение лица захват, ведущий к фотореалистичным результатам.

Традиционные системы

Традиционно безмаркерное оптическое слежение за движением используется для отслеживания различных объектов, включая самолеты, ракеты-носители, ракеты и спутники. Многие из таких приложений оптического отслеживания движения применяются на открытом воздухе, что требует различных конфигураций объектива и камеры. Таким образом, изображения с высоким разрешением отслеживаемой цели могут предоставить больше информации, чем просто данные о движении. Изображение, полученное системой дальнего слежения НАСА во время фатального запуска космического челнока "Челленджер", предоставило решающее свидетельство причины аварии. Системы оптического слежения также используются для идентификации известных космических аппаратов и космического мусора, несмотря на то, что они имеют недостаток по сравнению с радаром в том, что объекты должны отражать или излучать достаточное количество света.[24]

Система оптического слежения обычно состоит из трех подсистем: системы оптического изображения, механической платформы слежения и компьютера слежения.

Система оптической визуализации отвечает за преобразование света из целевой области в цифровое изображение, которое может обрабатывать отслеживающий компьютер. В зависимости от конструкции оптической системы слежения, система оптической визуализации может варьироваться от простой, как стандартная цифровая камера, до такой специализированной, как астрономический телескоп на вершине горы. Технические характеристики оптической системы визуализации определяют верхний предел эффективного диапазона системы слежения.

Платформа механического слежения удерживает систему оптической визуализации и отвечает за управление системой оптической визуализации таким образом, чтобы она всегда указывала на отслеживаемую цель. Динамика механической платформы слежения в сочетании с оптической системой визуализации определяет способность системы слежения удерживать цель, которая быстро меняет скорость.

Компьютер слежения отвечает за захват изображений из оптической системы формирования изображений, анализ изображения для определения положения цели и управление механической платформой слежения для отслеживания цели.Есть несколько проблем. Во-первых, компьютер слежения должен иметь возможность захватывать изображение с относительно высокой частотой кадров. Это публикует требования к пропускной способности оборудования для захвата изображений. Вторая проблема заключается в том, что программное обеспечение для обработки изображений должно иметь возможность извлекать целевое изображение из фона и вычислять его положение. Для этой задачи разработано несколько учебниковых алгоритмов обработки изображений. Эту проблему можно упростить, если система слежения может ожидать определенных характеристик, общих для всех целей, которые она будет отслеживать. Следующая проблема - управлять платформой слежения, чтобы следовать за целью. Это типичная проблема проектирования системы управления, а не проблема, которая включает моделирование динамики системы и проектирование. контроллеры контролировать это. Однако это станет проблемой, если платформа отслеживания, с которой должна работать система, не предназначена для работы в режиме реального времени.

Программное обеспечение, которое запускает такие системы, также настраивается для соответствующих аппаратных компонентов. Одним из примеров такого программного обеспечения является OpticTracker, который управляет компьютеризированными телескопами для отслеживания движущихся объектов на больших расстояниях, таких как самолеты и спутники. Другой вариант - программное обеспечение SimiShape, которое также можно использовать гибридно в сочетании с маркерами.

Неоптические системы

Инерционные системы

Инерционный захват движения[25] технология основана на миниатюрных инерциальных датчиках, биомеханических моделях и алгоритмах объединения датчиков.[26] Данные движения инерциальных датчиков (инерциальная система наведения ) часто передается по беспроводной сети на компьютер, где движение записывается или просматривается. Большинство инерциальных систем используют инерциальные измерительные блоки (IMU), содержащие комбинацию гироскопа, магнитометра и акселерометра, для измерения скорости вращения. В программном обеспечении эти вращения преобразуются в каркас. Как и в случае с оптическими маркерами, чем больше датчиков IMU, тем естественнее данные. Для относительных движений не требуются внешние камеры, излучатели или маркеры, хотя они необходимы для определения абсолютного положения пользователя, если это необходимо. Системы инерционного захвата движения фиксируют все шесть степеней свободы движения тела человека в режиме реального времени и могут давать ограниченную информацию о направлении, если они включают датчик магнитного подшипника, хотя они имеют гораздо более низкое разрешение и чувствительны к электромагнитному шуму. Преимущества использования инерционных систем включают: захват в различных средах, включая ограниченное пространство, отсутствие решения, портативность и большие области захвата. К недостаткам можно отнести более низкую точность позиционирования и дрейф положения, который со временем может увеличиваться. Эти системы похожи на контроллеры Wii, но более чувствительны, имеют большее разрешение и частоту обновления. Они могут точно измерить направление на землю с точностью до градуса. Популярность инерциальных систем среди разработчиков игр растет.[10] в основном из-за быстрой и простой настройки, что приводит к быстрому конвейеру. В настоящее время доступен ряд костюмов от различных производителей, а базовые цены варьируются от 1000 до 80 000 долларов США.

Механическое движение

Механические системы захвата движения непосредственно отслеживают углы суставов тела и часто называются системами захвата движения экзоскелета из-за способа крепления датчиков к телу. Артист прикрепляет скелетоподобную структуру к своему телу и, когда они двигаются, шарнирные механические части, измеряя относительное движение исполнителя. Механические системы захвата движения - это системы реального времени, относительно недорогие, свободные от окклюзии и беспроводные (не привязанные) системы с неограниченным объемом захвата. Как правило, они представляют собой жесткие конструкции из сочлененных прямых металлических или пластиковых стержней, соединенных вместе с потенциометрами, которые сочленяются в суставах тела. Эти костюмы обычно находятся в диапазоне от 25 000 до 75 000 долларов плюс внешняя система абсолютного позиционирования. Некоторые костюмы обеспечивают ограниченную обратную связь по силе или тактильный ввод.

Магнитные системы

Магнитные системы рассчитывают положение и ориентацию по относительному магнитному потоку трех ортогональных катушек на передатчике и каждом приемнике.[27] Относительная интенсивность напряжения или тока трех катушек позволяет этим системам рассчитывать как дальность, так и ориентацию, тщательно отображая отслеживаемый объем. Выход датчика 6DOF, который обеспечивает полезные результаты, полученные с использованием двух третей количества маркеров, необходимых в оптических системах; один на плече и один на нижней руке для определения положения локтя и угла.[нужна цитата ] Маркеры не закрываются неметаллическими объектами, но чувствительны к магнитным и электрическим помехам от металлических предметов в окружающей среде, таких как арматура (стальные арматурные стержни в бетоне) или проводки, которые влияют на магнитное поле, и электрические источники, такие как мониторы, освещение и т. Д. кабели и компьютеры. Отклик сенсора нелинейный, особенно по направлению к краям области захвата. Проводка от датчиков имеет тенденцию предотвращать экстремальные движения.[27] С помощью магнитных систем можно отслеживать результаты сеанса захвата движения в реальном времени.[27] Объемы захвата для магнитных систем значительно меньше, чем для оптических систем. В магнитных системах есть различие между переменный ток (AC) и постоянный ток (DC) системы: в системе постоянного тока используются прямоугольные импульсы, в системах переменного тока используется синусоидальный импульс.

Датчики растяжения

Датчики растяжения представляют собой гибкие конденсаторы с параллельными пластинами, которые измеряют растяжение, изгиб, сдвиг или давление и обычно изготавливаются из силикона. Когда датчик растягивается или сжимается, его значение емкости изменяется. Эти данные могут быть переданы через Bluetooth или прямой ввод и использованы для обнаружения мельчайших изменений в движениях тела. Датчики растяжения не подвержены влиянию магнитных помех и не имеют окклюзии. Растяжимость датчиков также означает, что они не страдают от позиционного дрейфа, который является обычным для инерциальных систем. Использование датчиков растяжения при захвате движения ограничено, однако новозеландская компания StretchSense производит перчатки с датчиком растяжения для захвата движения.[28]

Связанные методы

Захват движения лица

Основная статья: Захват движения лица

Большинство традиционных поставщиков оборудования для захвата движения предоставляют некоторые типы захвата лиц с низким разрешением с использованием от 32 до 300 маркеров с активной или пассивной системой маркеров. Все эти решения ограничены временем, необходимым для нанесения маркеров, калибровки позиций и обработки данных. В конечном итоге технология также ограничивает их разрешение и уровни качества сырого вывода.

Захват движения лица с высокой точностью, также известный как захват производительности, представляет собой следующее поколение верности и используется для записи более сложных движений человеческого лица, чтобы уловить более высокие уровни эмоций. Захват лица в настоящее время организован в несколько отдельных лагерей, включая традиционные данные захвата движения, решения на основе смешанных форм, захват фактической топологии лица актера и проприетарные системы.

Двумя основными методами являются стационарные системы с массивом камер, фиксирующих выражения лица под разными углами, и использование программного обеспечения, такого как решатель стереосетки из OpenCV, для создания трехмерной поверхностной сетки или использования световых массивов для расчета нормалей поверхности из разница в яркости при изменении источника света, положения камеры или того и другого. Эти методы имеют тенденцию ограничиваться только разрешением функции разрешением камеры, видимым размером объекта и количеством камер. Если лицо пользователя занимает 50 процентов рабочей области камеры и камера имеет мегапиксельное разрешение, то субмиллиметровые движения лица могут быть обнаружены путем сравнения кадров. Недавняя работа сосредоточена на увеличении частоты кадров и создании оптического потока, чтобы можно было перенаправить движения на другие лица, сгенерированные компьютером, а не просто на создание трехмерной сетки актеров и их выражений.

RF позиционирование

Системы позиционирования RF (радиочастоты) становятся более жизнеспособными[нужна цитата ] поскольку высокочастотные РЧ-устройства обеспечивают большую точность, чем старые РЧ-технологии, такие как традиционные радар. Скорость света составляет 30 сантиметров в наносекунду (миллиардная доля секунды), поэтому радиочастотный сигнал с частотой 10 гигагерц (миллиардов циклов в секунду) обеспечивает точность около 3 сантиметров. Измеряя амплитуду до четверти длины волны, можно улучшить разрешение примерно до 8 мм. Для достижения разрешения оптических систем необходимы частоты 50 гигагерц или выше, которые почти так же зависят от прямой видимости и так же легко блокируются, как и оптические системы. Многолучевое распространение и переизлучение сигнала, вероятно, вызовут дополнительные проблемы, но эти технологии будут идеальными для отслеживания больших объемов с разумной точностью, поскольку требуемое разрешение на 100-метровых расстояниях вряд ли будет таким высоким. Многие ученые РФ[кто? ] считают, что радиочастота никогда не даст точности, необходимой для захвата движения.

Исследователи из Массачусетского технологического института заявили в 2015 году, что они создали систему, отслеживающую движение по радиочастотным сигналам, под названием RF Tracking.[29]

Нетрадиционные системы

Был разработан альтернативный подход, в котором актеру предоставляется неограниченное пространство для ходьбы за счет использования вращающейся сферы, аналогичной мяч для хомяка, который содержит внутренние датчики, регистрирующие угловые перемещения, устраняя необходимость во внешних камерах и другом оборудовании. Несмотря на то, что эта технология потенциально может привести к гораздо более низким затратам на захват движения, базовая сфера способна записывать только одно непрерывное направление. Дополнительные датчики, надетые на человека, потребуются для записи чего-либо еще.

Другой альтернативой является использование платформы движения 6DOF (степеней свободы) со встроенной всенаправленной беговой дорожкой с оптическим захватом движения с высоким разрешением для достижения того же эффекта. Захваченный человек может ходить по неограниченному пространству, преодолевая различные неровности местности. Приложения включают медицинскую реабилитацию для тренировки равновесия, биомеханические исследования и виртуальную реальность.[нужна цитата ]

Оценка позы в 3D

В Оценка позы в 3D, позу актера можно восстановить по изображению или карта глубины.[30]

Смотрите также

использованная литература

  1. ^ Goebl, W .; Палмер, К. (2013). Баласубраманиам, Рамеш (ред.). «Временной контроль и эффективность движений рук в квалифицированном музыкальном исполнении». PLoS ONE. 8 (1): e50901. Bibcode:2013PLoSO ... 850901G. Дои:10.1371 / journal.pone.0050901. ЧВК  3536780. PMID  23300946.
  2. ^ Olsen, NL; Маркуссен, B; Ракет, Л.Л. (2018), «Одновременный вывод для несогласованных многомерных функциональных данных», Журнал Королевского статистического общества, серия C, 67 (5): 1147–76, arXiv:1606.03295, Дои:10.1111 / rssc.12276
  3. ^ Дэвид Нунан, Питер Маунтни, Дэниел Элсон, Ара Дарзи и Гуан-Чжун Ян. Стереоскопический фиброскоп для движения камеры и восстановления глубины 3D во время минимально инвазивной хирургии. В протоколе ICRA 2009, стр. 4463-4468. <http://www.sciweavers.org/external.php?u=http%3A%2F%2Fwww.doc.ic.ac.uk%2F%7Epmountne%2Fpublications%2FICRA%25202009.pdf&p=ieee >
  4. ^ Ямане, Кацу и Джессика Ходгинс. "Одновременное отслеживание и балансировка гуманоидных роботов для имитации данных захвата движения человека. »Интеллектуальные роботы и системы, 2009. IROS 2009. Международная конференция IEEE / RSJ, посвященная. IEEE, 2009.
  5. ^ Нью-Йорк Кастингс, Джо Гатт, Актеры захвата движения: движение тела рассказывает историю В архиве 2014-07-03 в Wayback Machine, Доступ 21 июня 2014 г.
  6. ^ Эндрю Харрис Саломон, 22 февраля 2013 г., Backstage Magazine, Рост производительности помогает игровым актерам выдерживать спад, По состоянию на 21 июня 2014 г., «... но развитие технологии захвата движения, а также появление новых игровых консолей, ожидаемых от Sony и Microsoft в течение года, указывают на то, что эта ниша продолжает оставаться областью роста для актеров. И для тех, кто думали о взломе, послание ясное: займись .... "
  7. ^ Бен Чайлд, 12 августа 2011 г., The Guardian, Энди Серкис: почему Оскар не сойдет с ума по актерскому мастерству? Звезда Восстания планеты обезьян говорит, что захват спектакля неправильно понимается и его актеры заслуживают большего уважения, Доступ 21 июня 2014 г.
  8. ^ Хью Харт, 24 января 2012 г., журнал Wired, Когда актер захвата движения получит Оскар?, По состоянию на 21 июня 2014 г., "... историческое нежелание Академии кинематографических искусств и наук отдавать дань уважения представлениям о захвате движения. Серкис, облаченный в боди из лайкры со встроенным датчиком, быстро овладел новаторским на тот момент искусством и наука исполнительского мастерства ... "
  9. ^ Cheung, German KM, et al. "Система в реальном времени для надежной трехмерной воксельной реконструкции движений человека. "Компьютерное зрение и распознавание образов, 2000. Труды. IEEE Conference on. Vol. 2. IEEE, 2000.
  10. ^ а б «Xsens MVN Animate - Продукты». Xsens 3D отслеживание движения. Получено 2019-01-22.
  11. ^ «Новое поколение 1996 Лексикон от А до Я: захват движения». Следующее поколение. № 15. Imagine Media. Март 1996. с. 37.
  12. ^ "Захвата движения". Следующее поколение. Imagine Media (10): 50. Октябрь 1995.
  13. ^ Джон Радофф, Анатомия MMORPG, «Архивная копия». Архивировано из оригинал на 2009-12-13. Получено 2009-11-30.CS1 maint: заархивированная копия как заголовок (ссылка на сайт)
  14. ^ а б «Ура Голливуду! Acclaim Studios». GamePro. IDG (82): 28–29. Июль 1995 г.
  15. ^ Вавро, Алекс (23 октября 2014 г.). «Ю Судзуки вспоминает, как использовал военные технологии для создания Virtua Fighter 2». Гамасутра. Получено 18 августа 2016.
  16. ^ «История захвата движения». Motioncapturesociety.com. Архивировано из оригинал на 2018-10-23. Получено 2013-08-10.
  17. ^ Сэвидж, Аннализа (12 июля 2012 г.). «Актер Голлума: как новая технология захвата движения улучшила Хоббита». Проводной. Получено 29 января 2017.
  18. ^ "Безмаркерный захват движения | EuMotus". Безмаркерный захват движения | EuMotus. Получено 2018-10-12.
  19. ^ Корриа, Алекса Рэй (30 июня 2014 г.). «Это программное обеспечение для распознавания лиц позволяет вам быть Octodad». Получено 4 января 2017 - через www.polygon.com.
  20. ^ Планкетт, Люк. «Превратите свое человеческое лицо в персонажа видеоигры». kotaku.com. Получено 4 января 2017.
  21. ^ "Наденьте свое (цифровое) игровое лицо". fxguide.com. 24 апреля 2016 г.. Получено 4 января 2017.
  22. ^ Штурм, Юрген и др. "Тест для оценки систем SLAM RGB-D. »Интеллектуальные роботы и системы (IROS), Международная конференция IEEE / RSJ, 2012 г., IEEE, 2012 г.
  23. ^ «Захват движения: оптические системы». Следующее поколение. Imagine Media (10): 53. Октябрь 1995.
  24. ^ Вейс, Г. (1963). «Оптическое сопровождение искусственных спутников». Обзоры космической науки. 2 (2): 250–296. Bibcode:1963ССРв .... 2..250В. Дои:10.1007 / BF00216781.
  25. ^ «Полное отслеживание движения человека 6DOF с использованием миниатюрных инерциальных датчиков» (PDF).
  26. ^ «История захвата движения». Xsens 3D отслеживание движения. Получено 2019-01-22.
  27. ^ а б c «Захват движения: магнитные системы». Следующее поколение. Imagine Media (10): 51. Октябрь 1995.
  28. ^ «Лучшая в мире перчатка для захвата движения». StretchSense. Получено 2020-11-24.
  29. ^ Альба, Алехандро. «Исследователи Массачусетского технологического института создают устройство, которое может распознавать и отслеживать людей через стены». nydailynews.com. Получено 2019-12-09.
  30. ^ Е, Мао и др. "Точная оценка позы в 3D на основе одного изображения глубины. »2011 Международная конференция по компьютерному зрению. IEEE, 2011.

внешняя ссылка

Библиотечные ресурсы около
Захвата движения