Объемный рендеринг - Volume rendering

Для рендеринг 3D каркасные модели, увидеть 3D рендеринг.

Множественный Рентгеновские томографы (с участием количественная калибровка минеральной плотности ) сложены, чтобы сформировать 3D-модель.

Объем визуализации CT сканирование предплечья с различными цветовыми схемами для мышц, жира, костей и крови

В научная визуализация и компьютерная графика, объемный рендеринг представляет собой набор методов, используемых для дискретного отображения 2D-проекции 3D отобранный набор данных, обычно 3D скалярное поле.

Типичный набор 3D-данных - это группа изображений 2D-срезов, полученных с помощью CT, МРТ, или МикроКТ сканер. Обычно они получаются по регулярному шаблону (например, один срез на каждый миллиметр) и обычно имеют регулярное количество изображений. пиксели по регулярному шаблону. Это пример регулярной объемной сетки с каждым элементом объема, или воксель представлен одним значением, которое получается путем выборки непосредственной области, окружающей воксель.

Чтобы визуализировать 2D-проекцию набора 3D-данных, сначала необходимо определить камера в пространстве относительно объема. Также необходимо определить непрозрачность и цвет каждого воксела. Обычно это определяется с помощью RGBA (для красного, зеленого, синего, альфа-канала) передаточная функция, которая определяет значение RGBA для каждого возможного значения вокселя.

Например, том можно просмотреть, извлекая изоповерхности (поверхности с равными значениями) из объема и рендеринг их как полигональные сетки или путем рендеринга тома напрямую как блока данных. В маршевые кубики Алгоритм - это распространенный метод извлечения изоповерхности из объемных данных. Прямая объемная визуализация - это вычислительно-ресурсоемкая задача, которую можно выполнить несколькими способами.

Объем

Виды презентаций Компьютерная томография, с двумя примерами объемного рендеринга.

Объемный рендеринг отличается от тонкого среза томография презентаций, а также обычно отличается от проекций 3D-моделей, в том числе проекция максимальной интенсивности.^[1] Тем не менее, технически все объемные визуализации становятся проекциями при просмотре на 2-мерный дисплей, делая различие между проекциями и объемной визуализацией немного расплывчатым. Тем не менее, воплощения моделей объемной визуализации представляют собой сочетание, например, окраски^[2] и затенение^[3] для создания реалистичных и / или наблюдаемых представлений.

Прямая визуализация объема

Модуль рендеринга прямого объема^[4][5] требует, чтобы каждое значение образца было сопоставлено с непрозрачностью и цветом. Это делается с помощью символа "функция передачи "который может быть простым пандусом, кусочно-линейная функция или произвольная таблица. После преобразования в Цветовая модель RGBA (для красного, зеленого, синего, альфа) значения, составленный результат RGBA проецируется на соответствующий пиксель буфера кадра. То, как это делается, зависит от техники рендеринга.

Возможна комбинация этих техник. Например, реализация деформации сдвига может использовать оборудование для текстурирования для рисования выровненных срезов в внеэкранный буфер.

Объемное лучевое литье

Основная статья: Объемное лучевое литье

Volume Ray Casting. Мумия крокодила предоставлена ​​Музеем антропологии Фиби А. Херст, Калифорнийский университет в Беркли. Данные компьютерной томографии были получены доктором Ребеккой Фариг из отделения радиологии Стэнфордского университета с использованием определения Siemens SOMATOM, Siemens Healthcare. Изображение было визуализировано с помощью движка Fovia High Definition Volume Rendering®.

Техника объемного лучевого литья может быть получена непосредственно из уравнение рендеринга. Он обеспечивает результаты очень высокого качества, обычно считающееся лучшим качеством изображения. Формирование объемных лучей классифицируется как метод объемного рендеринга на основе изображений, поскольку вычисления исходят из выходного изображения, а не из входных данных объема, как в случае с методами на основе объектов. В этом методе луч генерируется для каждого желаемого пикселя изображения. Используя простую модель камеры, луч начинается в центре проекции камеры (обычно в точке глаза) и проходит через пиксель изображения на воображаемой плоскости изображения, плавающей между камерой и визуализируемым объемом. Луч обрезается по границам объема для экономии времени. Затем выборка луча производится через регулярные или адаптивные интервалы по всему объему. Данные интерполируются в каждой точке выборки, передаточная функция применяется для формирования выборки RGBA, выборка накладывается на накопленный RGBA луча, и процесс повторяется до тех пор, пока луч не выйдет из объема. Цвет RGBA преобразуется в цвет RGB и помещается в соответствующий пиксель изображения. Процесс повторяется для каждого пикселя на экране, чтобы сформировать законченное изображение.

Брызги

Это техника, в которой качество меняется на скорость. Здесь каждый элемент объема забрызганный, как сказал Ли Вестовер, словно снежный ком, на поверхность обзора в заднем порядке. Эти знаки отображаются как диски, свойства которых (цвет и прозрачность) диаметрально различаются в нормальном (Гауссовский ) образом. Плоские диски и диски с другими видами распределения свойств также используются в зависимости от приложения.^[6][7]

Деформация сдвига

Пример рендеринга черепа мыши (CT) с использованием алгоритма деформации сдвига

Подход сдвиговой деформации к объемному рендерингу был разработан Кэмероном и Ундрилом, популяризирован Филиппом Лакрутом и Марк Левой.^[8] В этой технике просмотр трансформации преобразуется таким образом, что ближайшая грань объема становится осью, выровненной с изображением за пределами экрана буфер данных с фиксированным масштабом от вокселей до пикселей. Затем объем визуализируется в этот буфер с использованием гораздо более подходящего выравнивания памяти и фиксированных коэффициентов масштабирования и смешивания. После рендеринга всех срезов объема буфер деформируется в желаемую ориентацию и масштабируется на отображаемом изображении.

Этот метод относительно быстр в программном обеспечении за счет менее точной выборки и потенциально худшего качества изображения по сравнению с литьем лучей. Существуют накладные расходы на память для хранения нескольких копий тома из-за возможности иметь тома, выровненные по оси. Эти накладные расходы можно уменьшить, используя кодирование длины прогона.

Объемный рендеринг на основе текстур

Объемная визуализация головы трупа с выравниванием по виду наложение текстуры и диффузное отражение

Многие системы 3D-графики используют наложение текстуры для применения изображений или текстур к геометрическим объектам. Товарный ПК видеокарты быстро текстурируют и могут эффективно визуализировать срезы трехмерного объема с возможностью взаимодействия в реальном времени. Рабочая станция GPU работают еще быстрее и служат основой для большей части визуализации объемов производства, используемых в медицинская визуализация, нефть и газ и другие рынки (2007 г.). Раньше специальные системы трехмерного наложения текстур использовались в графических системах, таких как Силиконовая Графика Бесконечная реальность, HP Визуализировать FX графический ускоритель, и другие. Этот метод был впервые описан Билл Хиббард и Дэйв Сантек.^[9]

Эти срезы могут быть выровнены по объему и визуализированы под углом к ​​зрителю, или выровнены по плоскости просмотра и взяты из невыровненных срезов по объему. Для второго метода требуется графическая аппаратная поддержка 3D-текстур.

Текстурирование с выравниванием по объему дает изображения приемлемого качества, хотя часто наблюдается заметный переход при повороте объема.

Объемный рендеринг с аппаратным ускорением

Из-за чрезвычайно параллельной природы прямого объемного рендеринга аппаратное обеспечение объемного рендеринга специального назначения было обширной темой исследований до GPU объемный рендеринг стал достаточно быстрым. Наиболее широко цитируемой технологией была система Ray Casting в реальном времени VolumePro, разработанная Ханспетер Пфистер и ученые Исследовательские лаборатории Mitsubishi Electric,^[10] который использовал высокую пропускную способность памяти и грубую силу для рендеринга с использованием алгоритма преобразования лучей. Технология была передана TeraRecon, Inc., и было произведено и продано два поколения ASIC. VP1000^[11] был выпущен в 2002 году, а VP2000^[12] в 2007.

Недавно использованная техника для ускорения традиционных алгоритмов объемного рендеринга, таких как ray-casting, - это использование современных видеокарт. Начиная с программируемого пиксельные шейдеры, люди осознали силу параллельных операций над несколькими пикселями и начали выполнять универсальные вычисления на графических процессорах (ГПГПУ). В пиксельные шейдеры могут произвольно читать и записывать данные из видеопамяти и выполнять некоторые основные математические и логические вычисления. Эти SIMD процессоры использовались для выполнения общих вычислений, таких как рендеринг полигонов и обработка сигналов. В последнее время GPU поколения, пиксельные шейдеры теперь могут функционировать как MIMD процессоры (теперь с возможностью независимого ветвления), использующие до 1 ГБ памяти текстур с форматами с плавающей запятой. С такой мощностью практически любой алгоритм с шагами, которые можно выполнять параллельно, например объемное литье лучей или томографическая реконструкция, может выполняться с огромным ускорением. Программируемый пиксельные шейдеры может использоваться для моделирования изменений характеристик освещения, тени, отражения, цвета излучения и т. д. Такие симуляции могут быть написаны с использованием высокого уровня языки затенения.

Методы оптимизации

Основная цель оптимизации - пропустить как можно большую часть объема. Типичный набор медицинских данных может иметь размер 1 ГБ. Для рендеринга со скоростью 30 кадров / с требуется чрезвычайно быстрая шина памяти. Пропуск вокселей означает, что нужно обрабатывать меньше информации.

Пропуск пустого места

Часто система объемного рендеринга имеет систему для определения областей объема, не содержащих видимого материала. Эту информацию можно использовать, чтобы избежать рендеринга этих прозрачных областей.^[13]

Раннее прекращение луча

Этот метод используется, когда объем отображается в порядке от начала до конца. При прохождении луча через пиксель, как только будет обнаружен достаточно плотный материал, дальнейшие сэмплы не будут вносить существенного вклада в пиксель, и ими можно пренебречь.

Подразделение Octree и BSP пространства

Использование иерархических структур, таких как октодерево и BSP -tree может быть очень полезным как для сжатия объемных данных, так и для оптимизации скорости процесса объемного лучевого литья.

Сегментация объема

Сегментация объема включает автоматическое удаление кости, как показано на правом изображении на этом рисунке. КТ ангиография.

Объемная сегментация 3D-рендеринга компьютерная томография из грудная клетка: Передняя стенка грудной клетки, дыхательные пути и легочные сосуды перед корнем легкого были удалены цифровым способом, чтобы визуализировать грудное содержимое:
- синий: легочные артерии
- красный: легочные вены (а также брюшная стенка )
- желтый: the средостение
- Виолетта: the диафрагма

Сегментация изображения это ручная или автоматическая процедура, которая может быть использована для разделения больших частей объема, которые перед рендерингом кажутся неинтересными, количество вычислений, которые необходимо выполнить с помощью преобразования лучей или смешивания текстур, можно значительно сократить. Это уменьшение может быть от O (n) до O (log n) для n последовательно индексированных вокселей. Сегментация объема также имеет значительные преимущества в производительности для других трассировка лучей алгоритмы. Сегментация объема впоследствии может быть использована для выделения интересующих структур.

Представление с множественным и адаптивным разрешением

Представляя менее интересные области объема в более грубом разрешении, можно уменьшить накладные расходы на ввод данных. При ближайшем рассмотрении данные в этих областях могут быть заполнены либо путем чтения из памяти или с диска, либо с помощью интерполяция. Объем с более грубым разрешением повторно дискретизируется до меньшего размера так же, как 2D-изображение MIP-карты создается из оригинала. Эти меньшие объемы также используются сами по себе при повороте объема в новую ориентацию.

Предварительно интегрированный объемный рендеринг

Предварительно интегрированный объемный рендеринг^[14] - это метод, который может уменьшить количество артефактов выборки путем предварительного вычисления большей части необходимых данных. Это особенно полезно в приложениях с аппаратным ускорением.^[15][16] потому что это улучшает качество без большого ущерба для производительности. В отличие от большинства других оптимизаций, здесь не пропускаются воксели. Скорее он уменьшает количество выборок, необходимых для точного отображения области вокселей. Идея состоит в том, чтобы визуализировать интервалы между сэмплами, а не сами сэмплы. Этот метод позволяет улавливать быстро меняющийся материал, например переход от мышцы к кости, с гораздо меньшими затратами.

Создание сетки на основе изображений

Создание сетки на основе изображений это автоматизированный процесс создания компьютерных моделей из данных трехмерного изображения (например, МРТ, CT, Промышленный КТ или микротомография ) для вычислительного анализа и проектирования, например CAD, CFD и FEA.

Временное повторное использование вокселей

Для полного представления дисплея требуется отображать только один воксель на пиксель (передний) (хотя для сглаживания изображения можно использовать больше), если требуется анимация, передние воксели, которые должны отображаться, могут быть кэшированы, а их расположение относительно камеры можно пересчитывать по мере ее движения. Там, где отображаемые воксели становятся слишком далеко друг от друга, чтобы покрыть все пиксели, новые передние воксели могут быть найдены с помощью преобразования лучей или подобного, а если два вокселя находятся в одном пикселе, передний может быть сохранен.

Смотрите также

• Изоповерхность, поверхность, которая представляет точки постоянного значения (например, давления, температуры, скорости, плотности) в объеме пространства.
• Визуализация потока, техника для визуализации векторные поля
• Объемная сетка, полигональное изображение внутреннего объема объекта

Программного обеспечения

Открытый исходный код

• 3D слайсер - программный комплекс для научной визуализации и анализа изображений
• ClearVolume - библиотека трехмерной визуализации в реальном времени на основе GPU-лучей, разработанная для объемных световых микроскопов высшего класса.
• ParaView - кроссплатформенное приложение для анализа и визуализации больших данных. Пользователи ParaView могут быстро создавать визуализации для анализа своих данных с использованием качественных и количественных методов. ParaView построен на VTK (см. Ниже).
• Студирфенстер (StudierFenster) - бесплатная некоммерческая онлайн-платформа Open Science для обработки медицинских изображений (MIP) на основе клиент / сервер.
• Vaa3D - платформа объемного рендеринга и анализа изображений 3D, 4D и 5D для гигабайт и терабайт больших изображений (на основе OpenGL), особенно в области микроскопических изображений. Также кроссплатформенный с версиями Mac, Windows и Linux. Включите комплексный интерфейс плагинов и 100 плагинов для анализа изображений. Также визуализируйте несколько типов объектов поверхности.
• Посещение - кроссплатформенный интерактивный инструмент параллельной визуализации и графического анализа для просмотра научных данных.
• Объемная картография - программное обеспечение с открытым исходным кодом, используемое для восстановления Свиток Эн-Геди.
• Ворин - кроссплатформенная среда быстрой разработки приложений для интерактивной визуализации и анализа многомодальных наборов объемных данных. Он предоставляет методы объемного рендеринга и анализа данных на основе графического процессора.
• VTK - универсальный инструментарий C ++ для обработки данных, визуализации, трехмерного взаимодействия, вычислительной геометрии с привязками Python и Java. Также VTK.js предоставляет реализацию JavaScript.

Коммерческий

• Рабочая станция Ambivu 3D - рабочая станция медицинской визуализации, которая предлагает ряд режимов объемной визуализации (на основе OpenGL)
• Амира - программное обеспечение для трехмерной визуализации и анализа для ученых и исследователей (в области наук о жизни и биомедицины)
• Имарис - научный программный модуль, который предоставляет все необходимые функции для управления данными, визуализации, анализа, сегментации и интерпретации наборов данных 3D и 4D микроскопии
• MeVisLab - кроссплатформенное программное обеспечение для обработки и визуализации медицинских изображений (на основе OpenGL и Open Inventor)
• Открыть Inventor - 3D API высокого уровня для разработки программного обеспечения для 3D-графики (C ++, .NET, Java)
• ScanIP - обработка изображений и построение сетки на основе изображений платформа, которая может отображать данные сканирования (МРТ, КТ, Микро-КТ ...) в 3D сразу после импорта.

Пример мозга мухи, визуализированный с помощью моделей поверхности его отсеков с помощью Vaa3D

• томвиз - платформа 3D-визуализации для ученых и исследователей, которые могут использовать скрипты Python для расширенной обработки 3D-данных.
• VoluMedic - программное обеспечение для объемной нарезки и рендеринга

использованная литература

1. Фишман, Эллиот К.; Ней, Дерек Р .; Хит, Дэвид Дж .; Корл, Франк М .; Хортон, Карен М .; Джонсон, Памела Т. (2006). «Объемная визуализация по сравнению с проекцией максимальной интенсивности в КТ-ангиографии: что лучше всего работает, когда и почему». РадиоГрафика. 26 (3): 905–922. Дои:10.1148 / rg.263055186. ISSN  0271-5333. PMID  16702462.
2. Сильверштейн, Джонатан С .; Парсад, Найджел М .; Цирлин, Виктор (2008). «Автоматическое создание перцепционной цветовой карты для реалистичной визуализации объема». Журнал биомедицинской информатики. 41 (6): 927–935. Дои:10.1016 / j.jbi.2008.02.008. ISSN  1532-0464. ЧВК  2651027. PMID  18430609.
3. Стр. Решебника 185 в Лейф Коббельт (2006). Видение, моделирование и визуализация 2006: Труды, 22-24 ноября. IOS Press. ISBN  9783898380812.
4. Марк Левой, "Отображение поверхностей на основе объемных данных", IEEE CG&A, май 1988 г. Архив документов
5. Дребин, Роберт А .; Карпентер, Лорен; Ханрахан, Пэт (1988). «Объемный рендеринг». ACM SIGGRAPH Компьютерная графика. 22 (4): 65. Дои:10.1145/378456.378484. Дребин, Роберт А .; Карпентер, Лорен; Ханрахан, Пэт (1988). Материалы 15-й ежегодной конференции по компьютерной графике и интерактивным техникам - SIGGRAPH '88. п. 65. Дои:10.1145/54852.378484. ISBN  978-0897912754.
6. Вестовер, Ли Алан (июль 1991 г.). «SPLATTING: параллельный алгоритм объемного рендеринга с прямой связью» (PDF). Получено 28 июн 2012.
7. Хуан, Цзянь (весна 2002 г.). "Брызги" (PPT). Получено 5 августа 2011.
8. Лакрут, Филипп; Левой, Марк (1994-01-01). Быстрый объемный рендеринг с использованием факторизации сдвига и деформации преобразования просмотра. Материалы 21-й ежегодной конференции по компьютерной графике и интерактивным технологиям. СИГГРАФ '94. Нью-Йорк, Нью-Йорк, США: ACM. С. 451–458. CiteSeerX  10.1.1.75.7117. Дои:10.1145/192161.192283. ISBN  978-0897916677.
9. Хиббард В., Сантек Д., «Интерактивность - это ключ», Семинар в Чапел-Хилл по визуализации объемов, Университет Северной Каролины, Чапел-Хилл, 1989 г., стр. 39–43.
10. Пфистер, Ханспетер; Харденберг, Ян; Knittel, Джим; Лауэр, Хью; Зайлер, Ларри (1999). Система Ray Casting в реальном времени VolumePro. Материалы 26-й ежегодной конференции по компьютерной графике и интерактивным методам - ​​SIGGRAPH '99. п. 251. CiteSeerX  10.1.1.471.9205. Дои:10.1145/311535.311563. ISBN  978-0201485608.
11. Ву, Инь; Бхатия, Вишал; Лауэр, Хью; Зайлер, Ларри (2003). Объемный рендеринг с использованием лучевого литья в порядке сдвига изображения. Proceeding I3D '03 Proceedings of the 2003 Symposium on Interactive 3D Graphics. п. 152. Дои:10.1145/641480.641510. ISBN  978-1581136456.
12. TeraRecon. «Объявление о продукте». healthimaging.com. Получено 27 августа 2018.
13. Шербонди А., Хьюстон М., Напель С .: Быстрая сегментация объемов с одновременной визуализацией с использованием программируемого графического оборудования. В трудах IEEE Визуализация (2003), стр. 171–176.
14. Макс Н., Ханрахан П., Кроуфис Р .: Согласованность по площади и объему для эффективной визуализации трехмерных скалярных функций. В компьютерной графике (семинар в Сан-Диего по объемной визуализации, 1990), т. 24. С. 27–33.
15. Энгель, Клаус; Краус, Мартин; Эртл, Томас (2001). Высококачественный предварительно интегрированный объемный рендеринг с аппаратным ускорением пиксельного затенения. Материалы семинара ACM SIGGRAPH / EUROGRAPHICS по графическому оборудованию - HWWS '01. п. 9. CiteSeerX  10.1.1.458.1814. Дои:10.1145/383507.383515. ISBN  978-1581134070.
16. Лум Э., Уилсон Б., Ма К .: Качественное освещение и эффективная предварительная интеграция для объемной визуализации. В Eurographics /IEEE Симпозиум по визуализации 2004 г.

дальнейшее чтение

• М. Икиц, Дж. Книсс, А. Лефон и К. Хансен: Методы объемной визуализации. В: Камни GPU, Глава 39 (онлайн-версия в зоне разработчиков Nvidia).
• Объемный рендеринг, Учебное пособие по основам объемной визуализации от доктора философии Омер Дженгиз ЧЕЛЕБИ
• Бартольд Лихтенбелт, Рэнди Крейн, Шаз Накви, Введение в объемную визуализацию (Профессиональные книги Hewlett-Packard), компания Hewlett-Packard 1998.
• Пэн Х., Руан, З., Лонг, Ф, Симпсон, Дж. Х., Майерс, EW: V3D обеспечивает трехмерную визуализацию в реальном времени и количественный анализ крупномасштабных наборов данных биологических изображений. Природная биотехнология, 2010 г. Дои:10.1038 / nbt.1612 Объемная визуализация больших данных изображений высокой размерности.
• Даниэль Вайскопф (2006). Методы интерактивной визуализации на основе графического процессора. Springer Science & Business Media. ISBN  978-3-540-33263-3.