Синтез человеческого образа - Human image synthesis

Изображение, созданное StyleGAN, порождающей состязательной сетью (GAN), обманчиво похоже на портрет молодой женщины. Это изображение было создано искусственным интеллектом на основе анализа портретов.
Изображение, созданное StyleGAN, а порождающая состязательная сеть (ГАН), это обманчиво похоже на портрет молодой женщины. Это изображение было создано искусственным интеллектом на основе анализа портретов.
В этом морфинг целевой анимации Системные четыре «выражения» были определены как деформации геометрии модели. Любую комбинацию этих четырех выражений можно использовать для анимации формы рта. Подобные элементы управления можно применять для анимации всей модели, похожей на человека.

Синтез человеческого образа это технология, с помощью которой можно сделать правдоподобные и даже фотореалистичный исполнения[1][2] человеческих образов, движущихся или неподвижных. Фактически он существовал с самого начала 2000-е. Многие фильмы с использованием компьютерные изображения были представлены синтетические изображения человекоподобных персонажей в цифровом виде на настоящий или другой смоделированный пленочный материал. Ближе к концу 2010-е глубокое обучение искусственный интеллект был применен к синтезировать изображения и видео которые выглядят как люди, не нуждающиеся в помощи человека, после завершения фазы обучения, тогда как старый школьный маршрут 7D требовал огромного количества человеческой работы.

Хронология синтеза человеческого изображения

BRDF против подповерхностного рассеяния, включая BSSRDF, т.е. Двунаправленная функция распределения коэффициента отражения от поверхности
  • С 1 сентября 2019 Техас законопроект сената SB 751 поправки к вступившему в силу избирательному кодексу, давая кандидаты в выборы 30-дневный период защиты до выборов, в течение которого создание и распространение цифровых двойников или синтетических подделок кандидатов является правонарушением. В тексте закона предмет закона определяется как "видео, созданное с целью обмана, на котором изображен реальный человек, выполняющий действие, которого не было на самом деле"[22]
  • В сентябре 2019 Yle, финский общественная телерадиокомпания, транслировал результат экспериментального журналистика, дипфейк действующего президента Саули Ниинистё в своей основной новостной трансляции с целью освещения передовых технологий дезинформации и связанных с ними проблем.

Ключевой прорыв в фотореализме: захват отражения

ESPER LightCage - это пример сферический световая сцена с мультикамерная установка вокруг сферы, подходящей для захвата в 7D-модель отражательной способности.

В 1999 году Поль Дебевек и другие. USC сделали первые известные захват отражательной способности над человеческим лицом с их чрезвычайно простыми световая сцена. Они представили свой метод и результаты в СИГГРАФ 2000.[4]

Функция распределения двунаправленного рассеяния (BSDF) для сходства с кожей человека требуется как BRDF и частный случай BTDF, где свет проникает в кожу, передается и выходит из кожи.

Для научного прорыва потребовалось найти подповерхностный световой компонент (имитационные модели слегка светятся изнутри), что можно обнаружить, зная, что свет, отраженный от масляно-воздушного слоя, сохраняет свое поляризация и подповерхностный свет теряет поляризацию. Таким образом, он оснащен только подвижным источником света, подвижной видеокамерой, двумя поляризаторами и компьютерной программой, выполняющей чрезвычайно простые вычисления, и последняя деталь, необходимая для достижения фотореализма, была получена.[4]

Для правдоподобного результата свет отраженный из кожи (BRDF ) и внутри кожи (частный случай BTDF ) которые вместе составляют BSDF должны быть зафиксированы и смоделированы.

Захватывать

Синтез

Весь процесс создания цифровых двойников, то есть персонажей, настолько реалистичных и реалистичных, что их можно выдать за изображения людей, - очень сложная задача, поскольку требует фотореалистичности. моделирование, оживление, перекрестное отображение, и рендеринг то динамика мягкого тела человеческого облика.

Синтез с актер и подходит алгоритмы применяется с использованием мощных компьютеры. Роль актера в синтезе - имитировать человеческое выражения в синтезе неподвижных изображений, а также в движении человека в кинофильм синтезирующий. Алгоритмы нужны для моделирования законов физика и физиология и соответственно отображать модели и их внешний вид, движения и взаимодействие.

Часто оба физика /физиология на основе (т.е. скелетная анимация ) и моделирование и рендеринг на основе изображений используются в части синтеза. Гибридные модели, использующие оба подхода, показали наилучшие результаты по реалистичности и простоте использования. Морфинг целевой анимации снижает рабочую нагрузку, предоставляя более высокий уровень управления, где различные выражения лица определяются как деформации модели, а выражение лица позволяет интуитивно настраивать выражения. Затем анимация цели морфинга может преобразовывать модель между различными определенными выражениями лица или позами тела без особого вмешательства человека.

С помощью отображение смещения играет важную роль в получении реалистичного результата с мелкими деталями кожи, такими как поры и морщины всего 100 мкм.

Подход машинного обучения

В конце 2010-х гг. машинное обучение, а точнее генеративные состязательные сети (GAN), использовались NVIDIA для создания случайных, но фотореалистичных портретов, похожих на людей. Система, названная StyleGAN, прошел обучение на базе данных из 70 000 изображений с сайта-хранилища изображений Flickr. Исходный код был опубликован на GitHub в 2019 году.[28] Выходы генераторной сети из случайных входов были общедоступны на ряде веб-сайтов.[29][30]

Аналогичным образом с 2018 г. дипфейк технология позволила GAN обмениваться лицами между участниками; Таким образом, в сочетании с возможностью подделывать голоса GAN могут создавать поддельные видеоролики, которые кажутся убедительными.[31]

Приложения

Основные приложения попадают в области стоковая фотография, синтетические наборы данных, виртуальная кинематография, компьютер и видеоигры и скрытый дезинформация нападения.[32][33]

Кроме того, некоторые исследования показывают, что он может иметь терапевтические эффекты в качестве "психологи и советники также начали использовать аватары предоставлять терапию клиентам, у которых фобии, история травма, пристрастия, Синдром Аспергера или же социальная тревожность."[34] Эффект сильного отпечатка памяти и активации мозга, вызванный просмотром вашего цифрового двойного аватара, получил название эффект Доппельгангера.[34] Эффект двойника может исцелять, когда скрытая дезинформационная атака подвергается атаке как таковая.

Связанные вопросы

В синтез речи практически невозможно отличить от записи реального человеческого голоса с момента появления в 2016 году программного обеспечения для редактирования и генерации голоса Adobe Voco, прототип, который должен стать частью Adobe Creative Suite и DeepMind WaveNet, прототип из Google.[35]Возможность воровать и манипулировать голосами других людей вызывает очевидные этические проблемы.[36]

На 2018 Конференция по нейронным системам обработки информации (NeurIPS) исследователи из Google представил работу «Перенос обучения от проверки говорящего на синтез речи с множеством говорящих», который передает обучение из проверка говорящего для преобразования текста в речь, который можно сделать так, чтобы он звучал почти как любой из фрагмента речи всего за 5 секунд (Слушать). [37]

Использование изображений для обучения ИИ поднимает вопрос о конфиденциальности, поскольку люди, которых используют для обучения, не давали согласия.[38]

Цифровые звуки технологии попали в руки преступников, как в 2019 году Symantec исследователям известно о 3 случаях, когда технология использовалась для преступление.[39][40]

Это в сочетании с тем, что (по состоянию на 2016 год) методы, которые позволяют почти в реальном времени подделка из выражения лица в существующем 2D-видео было правдоподобно продемонстрировано увеличение напряжения дезинформационной ситуации.[11]

Смотрите также

Рекомендации

  1. ^ Физическая модель мышц для контроля формы рта на IEEE Проводить исследования (требуется членство)
  2. ^ Реалистичная 3D-анимация лица в виртуальном пространстве телеконференций на IEEE Проводить исследования (требуется членство)
  3. ^ "Images de synthèse: Palme de la longévité pour l'ombrage de Gouraud".
  4. ^ а б c Дебевец, Пол (2000). «Получение поля отражения человеческого лица». Материалы 27-й ежегодной конференции по компьютерной графике и интерактивным техникам - SIGGRAPH '00. ACM. С. 145–156. Дои:10.1145/344779.344855. ISBN  978-1581132083. S2CID  2860203. Получено 2017-05-24.
  5. ^ Пигин, Фредерик. «Заметки по курсу цифрового клонирования лица Siggraph 2005» (PDF). Получено 2017-05-24.
  6. ^ В этом видео выступления на TED в 00:04:59 можно увидеть два клипа, один с настоящей Эмили, снятой на настоящую камеру, и один с цифровым двойником Эмили, снятый с помощью имитации камеры - Что трудно сказать. Брюс Ломен был сканирован с использованием светового столика USC 6 в неподвижном положении, а также записан его бег на беговая дорожка. Многие, многие цифровые двойники Брюса бегают плавно и естественно, глядя на финальную часть видео выступления TED.
  7. ^ ReForm - Создание цифровых клонов Голливуда (YouTube). Создатели проекта. 2017-05-24.
  8. ^ Дебевец, Пол. "Digital Ira SIGGRAPH 2013 в реальном времени в прямом эфире". Получено 2017-05-24.
  9. ^ «Сканирование и печать 3D-портрета президента Барака Обамы». Университет Южной Калифорнии. 2013. Получено 2017-05-24.
  10. ^ Джардина, Кэролайн (2015-03-25). "'Furious 7 'и как Weta Питера Джексона создала цифровую версию Пола Уокера ". Голливудский репортер. Получено 2017-05-24.
  11. ^ а б Тиз, Юстус (2016). «Face2Face: захват лица в реальном времени и воспроизведение видео в формате RGB». Proc. Компьютерное зрение и распознавание образов (CVPR), IEEE. Получено 2017-05-24.
  12. ^ Суваджанакорн, Супасорн; Зейтц, Стивен; Кемельмахер-Шлизерман, Ира (2017), Синтезирующий Обама: Изучение синхронизации губ по аудио, Вашингтонский университет, получено 2018-03-02
  13. ^ Рёттгерс, Янко (21.02.2018). «Porn производители предлагают помочь Голливуду Take Down Deepfake Видео». Разнообразие. Получено 2018-02-28.
  14. ^ Такахаши, декан (21.03.2018). «Epic Games демонстрирует удивительного цифрового человека в реальном времени в демоверсии Siren». VentureBeat. Получено 2018-09-10.
  15. ^ Куо, Лили (2018-11-09). «Первый в мире ведущий новостей AI представлен в Китае». Получено 2018-11-09.
  16. ^ Гамильтон, Изобель Ашер (2018-11-09). «Китай создал то, что, по его словам, является первым ведущим новостей AI - посмотрите, как это работает». Получено 2018-11-09.
  17. ^ Харвелл, Дрю (30.12.2018). «Поддельные порно видео будут боеприпас запугивать и оскорблять женщин:«Каждый является потенциальной мишенью'". Вашингтон Пост. Получено 2019-03-14. В сентябре [2018 года], Google добавил «непроизвольные синтетические порнографические образа» в список запрета
  18. ^ "NVIDIA Open-Sources Hyper-Realistic Face Generator StyleGAN". Medium.com. 2019-02-09. Получено 2019-10-03.
  19. ^ а б Паэз, Дэнни (13 февраля 2019). «Этот человек не существует - лучший одноразовый веб-сайт 2019 года». Обратный (сайт). Получено 2018-03-05.
  20. ^ «Новые законы штата вступают в силу 1 июля».
  21. ^ а б «§ 18.2-386.2. Незаконное распространение или продажа изображений другого лица; штраф». Вирджиния. Получено 2020-01-01.
  22. ^ «Относительно создания уголовного преступления за фабрикацию ложного видео с намерением повлиять на исход выборов». Техас. 2019-06-14. Получено 2020-01-02. В этом разделе «глубоко фальшивое видео» означает видео, созданное с целью обмана, которое, как представляется, изображает реального человека, выполняющего действие, которого не было на самом деле.
  23. ^ Джонсон, Р.Дж. (2019-12-30). «Вот новые законы Калифорнии, которые вступят в силу в 2020 году». KFI. iHeartMedia. Получено 2020-01-01.
  24. ^ Михальчик, Кэрри (04.10.2019). «Законы Калифорнии стремятся расправиться deepfakes в политике и порно». cnet.com. CNET. Получено 2019-10-14.
  25. ^ «Китай стремится искоренить фейковые новости и дипфейки с помощью новых правил онлайн-контента». Reuters.com. Рейтер. 2019-11-29. Получено 2019-12-08.
  26. ^ Статт, Ник (29.11.2019). «Китай считает уголовным преступлением публикацию дипфейков или фейковых новостей без разглашения». Грани. Получено 2019-12-08.
  27. ^ МакГрегор, Шон (18.11.2020). «Когда системы ИИ терпят неудачу: введение в базу данных инцидентов ИИ». партнерствоonai.org. Партнерство по ИИ. Получено 2020-11-21. Чтобы избежать повторных отказов ИИ, необходимо сделать известными прошлые неудачи. Поэтому сегодня мы представляем систематизированный набор инцидентов, в которых интеллектуальные системы вызвали проблемы безопасности, справедливости или других реальных проблем: База данных AI инцидентов (AIID).
  28. ^ Синхронизировано (09.02.2019). "NVIDIA Open-Sources Hyper-Realistic Face Generator StyleGAN". Синхронизировано. Получено 2020-08-04.
  29. ^ Сайт публичной витрины StyleGAN
  30. ^ Портер, Джон (2019-09-20). «100 000 бесплатных снимков головы, созданных искусственным интеллектом, привлекают внимание фотокомпаний». Грани. Получено 2020-08-07.
  31. ^ "Что такое дипфейк?". PCMAG.com. Март 2020 г.. Получено 8 июн 2020.
  32. ^ Харвелл, Дрю. «Приложениям для знакомств нужны женщины. Рекламодателям нужно разнообразие. ИИ-компании предлагают решение: фальшивые люди». Вашингтон Пост. Получено 2020-08-04.
  33. ^ Портер, Джон (2019-09-20). «100 000 бесплатных снимков головы, созданных искусственным интеллектом, привлекают внимание фотокомпаний». Грани. Получено 2020-08-07.
  34. ^ а б Мерфи, Саманта (2011). "Scientific American: ваш аватар, ваш гид" (.pdf). Scientific American / Стэнфордский университет. Получено 2013-06-29.
  35. ^ "WaveNet: Генеративная модель для Raw Audio". Deepmind.com. 2016-09-08. Получено 2017-05-24.
  36. ^ «Adobe Voco 'Photoshop-for-voice' вызывает беспокойство». BBC.com. BBC. 2016-11-07. Получено 2016-07-05.
  37. ^ Цзя, Е; Чжан, Ю; Вайс, Рон Дж. (2018-06-12), «Перенос обучения от проверки говорящего на синтез речи для множества говорящих», Достижения в системах обработки нейронной информации, 31: 4485–4495, arXiv:1806.04558, Bibcode:2018arXiv180604558J
  38. ^ Бизнес, Рэйчел Мец, CNN. «Если ваше изображение размещено в Интернете, это может быть тренировка ИИ для распознавания лиц». CNN. Получено 2020-08-04.
  39. ^ «Фальшивые голоса» помогают кибер-преступникам воровать деньги'". bbc.com. BBC. 2019-07-08. Получено 2020-04-16.
  40. ^ Дрю, Харвелл (2020-04-16). «Сначала искусственный интеллект: программное обеспечение для имитации голоса, по сообщениям, использовалось в крупной краже». Washingtonpost.com. Вашингтон Пост. Получено 2019-09-08.