Вычислительная визуализация - Computational imaging

Вычислительная визуализация - это процесс косвенного формирования изображений на основе измерений с использованием алгоритмов, требующих значительного объема вычислений. В отличие от традиционной визуализации, системы компьютерной визуализации предполагают тесную интеграцию сенсорной системы и вычислений для формирования интересующих изображений. Повсеместная доступность платформ быстрых вычислений (таких как многоядерные процессоры и GPU ), успехи в алгоритмах и современном оборудовании для зондирования привели к созданию систем визуализации со значительно расширенными возможностями. Системы компьютерной визуализации охватывают широкий спектр приложений, включая компьютерная микроскопия,[1] томографическое изображение, МРТ, ультразвуковая визуализация, компьютерная фотография, Радар с синтезированной апертурой (SAR), сейсмическая съемка и т. д. Интеграция считывания и вычислений в системах компьютерной визуализации позволяет получить доступ к информации, которая в противном случае была бы невозможна. Например:

  • Один рентгеновский снимок не показывает точное местоположение перелома, но компьютерная томография который работает путем объединения нескольких рентгеновских изображений, может определить точное местоположение одного в 3D
  • Обычное изображение камеры не может снимать из-за углов. Однако, разработав установку, которая включает посылку быстрых световых импульсов, запись принятого сигнала и использование алгоритма, исследователи продемонстрировали первые шаги в построении такой системы.[2]

Системы компьютерной визуализации также позволяют разработчикам систем преодолеть некоторые аппаратные ограничения оптики и датчиков (разрешение, шум и т. Д.), Преодолевая проблемы в области вычислений. Некоторые примеры таких систем включают когерентное дифракционное изображение, изображение с кодированной апертурой и ямаг супер-разрешение.

История

Системы компьютерной визуализации охватывают широкий спектр приложений. Хотя такие приложения, как SAR, компьютерная томография, сейсмическая инверсия хорошо известны, они претерпели значительные улучшения (более быстрое, более высокое разрешение, более низкие дозы облучения[3]) за счет достижений в сигнал и обработка изображений алгоритмы (в том числе сжатые методы зондирования ) и более быстрые вычислительные платформы. Фотография превратилась из чисто химической обработки в возможность захвата и компьютерного объединения нескольких цифровых изображений (компьютерная фотография )[4] такие техники, как HDR и панорамное изображение доступно большинству пользователей мобильных телефонов. Вычислительная визуализация также стала свидетелем появления методов, которые изменяют источник света, падающий на объект, используя известную структуру / шаблоны, а затем восстанавливают изображение из того, что получено (например: изображение с кодированной апертурой, микроскопия сверхвысокого разрешения, Фурье-птихография ). Достижения в разработке мощных платформ параллельных вычислений сыграли жизненно важную роль в достижении прогресса в области вычислительной визуализации.

Методы

Кодированная апертурная визуализация

Дальнейшая информация: Кодированная апертура
Смотрите также: Дальность изображения § Кодированная апертура

Изображение обычно получают в оптическом диапазоне с помощью линз и зеркал. Однако для рентгеновских лучей и гамма-лучей линзы и зеркала непрактичны, поэтому вместо них часто используются модулирующие апертуры. Камера-обскура является самой простой формой такого модуляционного формирователя изображения, но ее недостатком является низкая пропускная способность, поскольку ее маленькая апертура пропускает небольшое излучение. Поскольку только крошечная часть света проходит через точечное отверстие, что приводит к низкому отношению сигнал / шум, получение изображения через точечное отверстие требует неприемлемо длительных выдержек. Эту проблему можно до некоторой степени преодолеть, увеличив отверстие, что, к сожалению, приводит к снижению разрешения. Камеры-обскуры имеют несколько преимуществ перед объективами - они обладают бесконечной глубиной резкости и не страдают хроматической аберрацией, которую можно устранить с помощью рефракционной системы только с помощью многоэлементной линзы. Самая маленькая деталь, которую можно устранить с помощью точечного отверстия, имеет примерно такой же размер, как и само отверстие. Чем больше отверстие, тем более размытым становится изображение. Может показаться, что использование нескольких маленьких отверстий может помочь решить эту проблему, но это приводит к запутанному монтажу перекрывающихся изображений. Тем не менее, если шаблон отверстий тщательно выбран, можно восстановить исходное изображение с разрешением, равным разрешению одного отверстия.

В последние годы была проделана большая работа с использованием шаблонов отверстий из прозрачных и непрозрачных областей, составляющих так называемую кодированную апертуру. Мотивация к использованию методов визуализации с кодированной апертурой заключается в повышении эффективности сбора фотонов при сохранении высокого углового разрешения одиночного точечного отверстия. Получение изображений с кодированной апертурой (CAI) - это двухэтапный процесс построения изображений. Кодированное изображение получается путем свертки объекта с функцией рассеяния точки интенсивности (PSF) кодированной апертуры. Как только закодированное изображение сформировано, его нужно декодировать, чтобы получить изображение. Это декодирование может выполняться тремя способами, а именно корреляцией, дифракцией Френеля или деконволюцией. Оценка исходного изображения достигается путем свертки кодированного изображения с исходной кодированной апертурой. В общем, восстановленное изображение будет сверткой объекта с автокорреляцией закодированной апертуры и будет содержать артефакты, если его автокорреляция не является дельта-функцией.

Некоторые примеры кодированных апертур включают зонную пластину Френеля (FZP), случайные массивы (RA), неизбыточные массивы (NRA), равномерно избыточные массивы (URA), модифицированные равномерно избыточные массивы (MURA) и другие. Пластины зоны Френеля, названные в честь Огюстена-Жана Френеля, вообще не могут считаться кодированными апертурами, поскольку они состоят из набора радиально-симметричных колец, известных как зоны Френеля, которые чередуются между непрозрачными и прозрачными. Они используют дифракцию вместо преломления или отражения для фокусировки света. Свет, попадающий на FZP, будет рассеиваться вокруг непрозрачных зон, поэтому изображение будет создано при возникновении конструктивной интерференции. Непрозрачные и прозрачные зоны могут быть разнесены так, чтобы изображение происходило в разных фокусах.

На ранних этапах работы над кодированными апертурами микроотверстия случайным образом распределялись по маске и помещались перед анализируемым источником. Однако случайные паттерны создают трудности с реконструкцией изображения из-за отсутствия однородности в распределении точечных отверстий. Собственный шум возникает в результате присутствия малых членов в преобразовании Фурье случайных двоичных массивов большого размера. Эта проблема была решена путем разработки массивов с равномерным резервированием (URA). Если распределение прозрачных и непрозрачных элементов апертуры может быть представлено как массив двоичного кодирования A и массив декодирования как G, то A и G можно выбрать так, чтобы восстановленное изображение (корреляция A и G с добавлением некоторый шумовой сигнал N) аппроксимирует дельта-функцию. Экспериментально было показано, что URA предлагают значительные улучшения SNR по сравнению со случайно распределенными массивами, однако алгоритм, используемый для построения URA, ограничивает форму апертуры прямоугольником. Таким образом, модифицированный однородно избыточный массив (MURA) был введен с изменением алгоритма кодирования URA, позволяющим создавать новые массивы в линейной, гексагональной и квадратной конфигурациях. Метод проектирования URA был изменен таким образом, что новые массивы основывались на квадратичных остатках, а не на псевдошумовых (PN) последовательностях.

Компрессионная спектральная визуализация

Традиционные методы построения спектральных изображений обычно сканируют соседние зоны лежащей в основе спектральной сцены, а затем объединяют результаты для построения куба спектральных данных. Напротив, сжатая спектральная визуализация (CSI), которая естественным образом воплощает принципы сжатого зондирования (CS), включает сбор пространственно-спектральной информации в 2-мерных наборах мультиплексированных проекций. Замечательное преимущество сжатой спектральной визуализации заключается в том, что весь куб данных воспринимается всего за несколько измерений и в некоторых случаях всего за один снимок FPA, так что весь набор данных может быть получен в течение одного периода интеграции детектора.

Как правило, системы формирования спектральных изображений со сжатием используют различные оптические явления, такие как пространственное, спектральное или пространственно-спектральное кодирование и дисперсию, для получения результатов измерений сжимания. Существенным преимуществом CSI является то, что можно разработать протоколы считывания, которые собирают важную информацию из разреженных сигналов с меньшим количеством измерений. Поскольку количество захваченных проекций меньше количества вокселей в кубе спектральных данных, процесс восстановления выполняется с помощью алгоритмов численной оптимизации. Это этап, на котором вычислительная визуализация играет ключевую роль, потому что мощность вычислительных алгоритмов и математики используется для восстановления базового куба данных.

В литературе CSI можно встретить различные стратегии для достижения закодированных прогнозов.[5][6][7] Спектральный формирователь снимков с кодированной апертурой (CASSI) был первым спектральным формирователем изображения, созданным с использованием преимуществ теории сжатия.[8] CASSI использует апертуры с двоичным кодированием, которые создают шаблон передачи в каждом столбце, так что эти шаблоны ортогональны по отношению ко всем другим столбцам. Пространственно-спектральная проекция на детекторной матрице модулируется двоичной маской таким образом, что на каждую длину волны куба данных влияет смещенный код модуляции. Более современные системы CSI включают CASSI, использующие апертуры с цветным кодом (C-CASSI) вместо черно-белых масок; компактная версия цветного CASSI, называемая цветным сжатым спектральным формирователем снимков (SCCSI), и разновидность последнего, в которой используется черно-белая кодированная апертура в сверточной плоскости, известная как пространственно-спектральный кодированный гиперспектральный формирователь изображения (SSCSI ). Общие характеристики такого типа систем CSI включают использование дисперсионного элемента для разделения спектральной информации и элемента кодирования для кодирования входящих данных.

Алгоритмы

В то время как вычислительная визуализация охватывает широкий спектр приложений, алгоритмы, используемые в системах вычислительной визуализации, часто связаны с решением математическая обратная задача. Алгоритмы обычно делятся на методы прямой инверсии, которые часто бывают «быстрыми» и итеративная реконструкция методы, которые требуют больших вычислительных ресурсов, но позволяют моделировать более сложные физические процессы. Типичные шаги для разработки алгоритмов для систем компьютерной визуализации:

  1. Формулировка взаимосвязи между измерениями и оцениваемой величиной. Этот процесс требует математической модели того, как измерения связаны с неизвестным. Например: В изображение с высоким динамическим диапазоном, измерения представляют собой последовательность известные воздействия подлежащей визуализации области. В Рентгеновская компьютерная томография сканирование, измерения представляют собой рентгеновские изображения пациента, полученные с нескольких известные позиции источника рентгеновского излучения и камеры детектора с хорошо установленной взаимосвязью для распространения рентгеновского излучения.
  2. Выбор метрики для «инвертирования» измерений и восстановления интересующей величины. Это может быть простой показатель, например наименьших квадратов разница между измерениями и моделью или более сложная метрика, основанная на точном моделировании статистики шума детектора и модели для интересующего объекта. Этот выбор может быть связан с выбором статистический оценщик для количества, которое нужно восстановить.
  3. Разработка быстрых и надежных алгоритмов, которые вычисляют решение для шага 2. Эти алгоритмы часто используют методы из математическая оптимизация и отображение таких методов на быстрые вычислительные платформы для создания практических систем.

Рекомендации

  1. ^ CITRIS (2017-03-08), Компьютерная микроскопия, получено 2017-09-04
  2. ^ Март, Г. (20 марта 2012 г.). «Как заглядывать за угол». Новости природы. Дои:10.1038 / природа.2012.10258.
  3. ^ Джу, Юн Хе; Ли, Гивон; Ли, Джи Вон; Хонг, Сын Бэк; Су, Ён Джу; Чон, Ён Джу (8 августа 2017 г.). «Скрининговая компьютерная томография легких с ультранизкой дозой облучения с итеративной реконструкцией на основе модели: оценка качества изображения и заметности поражения». Acta Radiologica. 59 (5): 553–559. Дои:10.1177/0284185117726099. PMID  28786301.
  4. ^ «Пленарный доклад (Пейман Миланфар)» (PDF).
  5. ^ Хаген, Натан (13 июня 2012 г.). «Преимущество моментального снимка: обзор улучшения светосбора для параллельных систем измерения больших размеров» (PDF). Оптическая инженерия. 51 (11): 111702. Bibcode:2012OptEn..51k1702H. Дои:10.1117 / 1.OE.51.11.111702. ЧВК  3393130. PMID  22791926.
  6. ^ Хаген, Натан; Куденов, Михаил У. (23 сентября 2013 г.). «Обзор технологий построения спектральных снимков» (PDF). Оптическая инженерия. 52 (9): 090901. Bibcode:2013OptEn..52i0901H. Дои:10.1117 / 1.OE.52.9.090901.
  7. ^ Arce, Gonzalo R .; Руэда, Гувер; Correa, Claudia V .; Рамирес, Ана; Аргуэльо, Генри (15.02.2017). Снимки с компрессионных мультиспектральных камер. Энциклопедия электротехники и электроники Wiley. С. 1–22. Дои:10.1002 / 047134608X.W8345. ISBN  9780471346081.
  8. ^ Вагадарикар, Ашвин; Джон, Рену; Уиллетт, Ребекка; Брэди, Дэвид (8 февраля 2008 г.). «Конструкция с одним диспергатором для построения спектральных изображений снимков с кодированной апертурой». Прикладная оптика. 47 (10): B44-51. Bibcode:2008ApOpt..47B..44W. Дои:10.1364 / AO.47.000B44. PMID  18382550.

дальнейшее чтение

Достижения в области исследования компьютерной визуализации представлены на нескольких площадках, включая публикации СИГГРАФ и IEEE Transactions on Computational Imaging.