Компьютерная фотография - Computational photography

Для более широкого освещения этой темы см. Вычислительная визуализация.
Вычислительная фотография предоставляет много новых возможностей. В этом примере сочетается изображение HDR (расширенный динамический диапазон) с панорамой (сшивание изображений ), оптимально комбинируя информацию из нескольких по-разному экспонированных изображений перекрывающихся предметов[1][2][3][4][5]

Компьютерная фотография относится к методам захвата и обработки цифровых изображений, в которых вместо оптических процессов используются цифровые вычисления. Вычислительная фотография может улучшить возможности камеры или ввести функции, которые вообще были невозможны при съемке на пленку, или снизить стоимость или размер элементов камеры. Примеры компьютерной фотографии включают вычисление цифровых изображений в камере. панорамы,[6] изображения с высоким динамическим диапазоном, и камеры светового поля. В камерах светового поля используются новые оптические элементы для захвата трехмерной информации о сцене, которую затем можно использовать для создания трехмерных изображений, улучшенных глубина резкости, и выборочная расфокусировка (или «пост-фокус»). Увеличенная глубина резкости снижает потребность в механических фокусировка системы. Все эти функции используют методы компьютерной визуализации.

Определение компьютерной фотографии расширилось, чтобы охватить ряд предметных областей в компьютерная графика, компьютерное зрение, и применилоптика. Эти области представлены ниже в соответствии с таксономией, предложенной Шри К. Наяр[нужна цитата ]. В каждой области есть список техник, и для каждой техники цитируются одна или две репрезентативных статьи или книги. обработка изображений (смотрите также цифровая обработка изображений ) методы, применяемые к традиционно снятым изображениям для получения лучших изображений. Примеры таких методов:масштабирование изображения, сжатие динамического диапазона (т.е. отображение тонов ),Управление цветом, завершение изображения (также известное как рисование или заполнение отверстий),сжатие изображений, цифровые водяные знаки и художественные эффекты изображения. Также опущены методы, которые позволяют данные диапазона,объемные данные, 3D модели, 4D световые поля, 4D, 6D или 8D BRDF, или другие представления на основе изображений большой размерности. Фотография Эпсилон Подраздел компьютерной фотографии.

Влияние на фотографию

Фотографии, сделанные с помощью компьютерной фотографии, могут позволить любителям создавать фотографии, не уступающие по качеству профессиональным фотографам, но в настоящее время они не превосходят возможности использования оборудования профессионального уровня.[7]

Вычислительное освещение

Это структурированное управление фотографическим освещением с последующей обработкой захваченных изображений для создания новых изображений. Приложения включают в себя повторное освещение на основе изображений, улучшение изображения, удаление размытия изображения, восстановление геометрии / материалов и т. д.

Для создания изображений с расширенным динамическим диапазоном используются разные экспонированные изображения одной и той же сцены для расширения динамического диапазона.[8] Другие примеры включают обработку и объединение по-разному освещенных изображений одного и того же объекта («световое пространство»).

Вычислительная оптика

Это захват оптически закодированных изображений с последующим вычислительным декодированием для создания новых изображений.Кодированная апертура визуализация в основном применялась в астрономии или рентгеновских снимках для повышения качества изображения. Вместо одного точечного отверстия при визуализации применяется точечный рисунок, и деконволюция выполняется для восстановления изображения.[9] В кодированная экспозиция, состояние включения / выключения шторки закодировано для изменения ядра Размытость.[10] Таким образом, снятие размытия движения становится хорошо обусловленная проблема. Точно так же в кодированной апертуре на основе линзы апертуру можно изменить, вставив широкополосная маска.[11] Таким образом, удаление размытия вне фокуса становится хорошо обусловленной проблемой. Кодированная апертура также может улучшить качество получения светового поля с использованием оптики с преобразованием Адамара.

Закодированные шаблоны диафрагмы также могут быть разработаны с использованием цветных фильтров, чтобы применять разные коды на разных длинах волн.[12][13] Это позволяет увеличить количество света, попадающего на датчик камеры, по сравнению с бинарными масками.

Вычислительная визуализация

Вычислительная визуализация - это набор методов визуализации, которые объединяют сбор данных и обработку данных для создания изображения объекта косвенными средствами для получения повышенное разрешение, дополнительная информация, такая как оптическая фаза или 3D реконструкция. Информация часто записывается без использования обычная конфигурация оптического микроскопа или с ограниченными наборами данных.

Вычислительная визуализация позволяет выйти за рамки физических ограничений оптических систем, таких как числовая апертура,[14] или даже устраняет необходимость оптические элементы.[15]

Для частей оптический спектр где сложно изготовить элементы изображения, такие как объективы, или датчики изображения невозможно миниатюризировать, компьютерная визуализация предоставляет полезные альтернативы в таких областях, как Рентгеновский снимок[16] и ТГц излучения.

Общие техники

Среди распространенных методов построения изображений: безлинзовая визуализация, вычислительная спекл-визуализация,[17] птихография и Фурье-птихография.

Техника компьютерной визуализации часто использует сжатие или восстановление фазы методы, в которых восстанавливается угловой спектр объекта. Другие методы относятся к области компьютерной визуализации, например: цифровая голография, компьютерное зрение и обратные задачи, такие как томография.

Вычислительная обработка

Это обработка изображений без оптического кодирования для создания новых изображений.

Вычислительные датчики

Это детекторы, которые сочетают в себе обнаружение и обработку, как правило, аппаратно, например датчик двоичного изображения с избыточной дискретизацией.

Ранняя работа в области компьютерного зрения

Хотя вычислительная фотография в настоящее время является популярным модным словом в компьютерной графике, многие из ее методов впервые появились в литературе по компьютерному зрению либо под другими названиями, либо в статьях, направленных на анализ трехмерных форм.

История искусства

Носимый аппарат вычислительной фотографии 1981 года.
Носимая компьютерная фотография возникла в 1970-х и начале 1980-х годов и превратилась в более позднюю форму искусства. Это изображение было использовано на обложке учебника John Wiley and Sons по этому вопросу.

Вычислительная фотография как вид искусства практиковалась путем захвата разноэкспонированных изображений одного и того же объекта и их объединения. Это послужило источником вдохновения для разработки носимый компьютер в 1970-х - начале 1980-х гг. Вычислительная фотография была вдохновлена ​​работами Чарльз Вайкофф, и, таким образом, наборы данных компьютерной фотографии (например, разные экспонированные изображения одного и того же объекта, сделанные для создания единого составного изображения) иногда в его честь называют наборами Вайкоффа.

Ранние работы в этой области (совместная оценка проекции изображения и величины экспозиции) были предприняты Манном и Кандочча.

Чарльз Вайкофф посвятил большую часть своей жизни созданию специальных видов трехслойных фотопленок, которые позволяли снимать разные экспозиции одного и того же объекта. Фотография ядерного взрыва, сделанная в фильме Вайкоффа, появилась на обложке Журнал Life и показал динамический диапазон от темных внешних областей до внутреннего ядра.

Смотрите также

Рекомендации

  1. ^ Стив Манн. «Составление нескольких изображений одной и той же сцены», Труды 46-й ежегодной конференции по науке и технологиям в области визуализации, 9–14 мая, Кембридж, Массачусетс, 1993 г.
  2. ^ С. Манн, К. Мандерс и Дж. Фанг "Уравнение ограничения изменения светового пространства (LCCE) с практическим применением для оценки проекции + преобразование коэффициента усиления между несколькими изображениями одного и того же объекта. "Международная конференция IEEE по акустике, речи и обработке сигналов, 6–10 апреля 2003 г., стр. III - 481-4, том 3.
  3. ^ совместное оценивание параметров как в области, так и в диапазоне функций на одной орбите проективной группы Вайкоффа "", Международная конференция IEEE по обработке изображений, том 3, 16-19, стр.193-196 сентябрь 1996 г.
  4. ^ Фрэнк М. Кандосия: Совместная регистрация изображений в домене и диапазоне с помощью кусочно-линейного сравнительного анализа. IEEE Transactions по обработке изображений 12 (4): 409-419 (2003)
  5. ^ Фрэнк М. Кандосия: Одновременное гомографическое и компараметрическое совмещение изображений одной и той же сцены с множественной регулировкой экспозиции. IEEE Transactions по обработке изображений 12 (12): 1485-1494 (2003)
  6. ^ Стив Манн и Р. У. Пикард. "Виртуальные мехи: создание качественных кадров из видео. ", В материалах Первой международной конференции IEEE по обработке изображений, Остин, Техас, 13–16 ноября 1994 г.
  7. ^ «На грани компьютерной фотографии».
  8. ^ КАК БЫТЬ "НЕЦИФРОВЫМ" С ЦИФРОВЫМИ КАМЕРАМИ: РАСШИРЕНИЕ ДИНАМИЧЕСКОГО ДИАПАЗОНА ЗАСЛУЖИВАНИЕМ РАЗЛИЧНЫХ ИЗОБРАЖЕНИЙ, 48-й ежегодной конференции IS&T (Общества науки и технологий в области визуализации), Кембридж, Массачусетс, май 1995 г., страницы 422-428
  9. ^ Мартинелло, Мануэль. «Кодированная апертурная визуализация» (PDF).
  10. ^ Раскар, Рамеш; Агравал, Амит; Тамблин, Джек (2006). «Фотография с кодированной экспозицией: устранение размытости при движении с помощью трепещущего затвора». Получено 29 ноября, 2010.
  11. ^ Вирарагхаван, Ашок; Раскар, Рамеш; Агравал, Амит; Мохан, Анкит; Тамблин, Джек (2007). «Пятнистая фотография: камеры с улучшенной маской для гетеродинирования световых полей и кодированной рефокусировки апертуры». Получено 29 ноября, 2010.
  12. ^ Мартинелло, Мануэль; Вайс, Эндрю; Quan, Shuxue; Ли, Хэнк; Лим, Чиен; Ву, Тхэкун; Ли, Вонхо; Ким, Санг-Сик; Ли, Дэвид (2015). «Фотография с двойной апертурой: изображение и глубина с мобильной камеры» (PDF). Международная конференция по компьютерной фотографии.
  13. ^ Чакрабарти, А .; Циклер, Т. (2012). «Глубина и устранение размытости из спектрально меняющейся глубины резкости». Европейская конференция IEEE по компьютерному зрению. 7576: 648–666.
  14. ^ Ou et al., «Фурье-подптихография с высокой числовой апертурой: принцип, реализация и характеристика»Оптика Экспресс 23, 3 (2015)
  15. ^ Boominathan et al., "Безлинзовая визуализация: вычислительное ренессанс"[постоянная мертвая ссылка ] (2016)
  16. ^ Миякава и др., «Детектор с кодированной апертурой: датчик изображения с разрешением пикселей менее 20 нм», Оптика Экспресс 22, 16 (2014)
  17. ^ Кац и др., «Неинвазивная однократная визуализация через рассеивающие слои и вокруг углов с помощью спекл-корреляции», Nature Photonics 8, 784–790 (2014).

внешняя ссылка