Датчик двоичного изображения с передискретизацией - Oversampled binary image sensor

An датчик двоичного изображения с избыточной дискретизацией является датчик изображений с возможностями нелинейного отклика, напоминающими традиционные фотопленка.^[1][2] Каждый пиксель в датчике имеет двоичный ответ, что дает только однобитное квантованное измерение локальной интенсивности света. Функция отклика датчика изображения нелинейна и аналогична логарифмической функции, что делает датчик пригодным для визуализация с высоким динамическим диапазоном.^[1]

Принцип работы

До появления цифровых датчиков изображения фотография на протяжении большей части своей истории использовала пленку для записи световой информации. В основе любой фотопленки лежит большое количество светочувствительных зерен галогенид серебра кристаллы.^[3] Во время экспонирования каждое зерно микронного размера имеет двоичную судьбу: либо оно поражается падающими фотонами и становится «обнаженным», либо оно пропускается фотонной бомбардировкой и остается «неэкспонированным». В последующем процессе проявления пленки экспонированные зерна из-за их измененных химических свойств превращаются в металлическое серебро, что способствует образованию непрозрачных пятен на пленке; Неэкспонированные зерна смываются в химической ванне, оставляя на пленке прозрачные участки. Таким образом, по сути, фотопленка представляет собой среду двоичного изображения, использующую локальные плотности непрозрачных серебряных зерен для кодирования исходной информации об интенсивности света. Благодаря небольшому размеру и большому количеству этих зерен, эту квантованную природу пленки при просмотре на расстоянии почти не замечаешь, наблюдая только сплошной серый тон.

Датчик двоичного изображения с передискретизацией напоминает фотопленку. Каждый пиксель в датчике имеет двоичный ответ, что дает только однобитное квантованное измерение локальной интенсивности света. В начале периода экспонирования все пиксели устанавливаются на 0. Затем пиксель устанавливается на 1, если количество фотонов, достигающих его во время экспонирования, по крайней мере, равно заданному порогу. q. Один из способов создания таких двоичных датчиков - это модификация стандартной технологии микросхем памяти, в которой каждая битовая ячейка памяти разработана так, чтобы быть чувствительной к видимому свету.^[4] С современной технологией CMOS уровень интеграции таких систем может превышать 10⁹~10¹⁰ (то есть от 1 гига до 10 гига) пикселей на чип. В этом случае соответствующие размеры пикселей (около 50 нм ^[5]) намного ниже дифракционного предела света, поэтому датчик изображения передискретизация оптическое разрешение светового поля. Интуитивно можно использовать эту пространственную избыточность для компенсации потери информации из-за однобитного квантования, что является классическим при передискретизации. дельта-сигма конверсии.^[6]

Создание двоичного сенсора, имитирующего процесс создания фотопленки, впервые было задумано Fossum,^[7] кто придумал название цифровой датчик пленки (теперь называется датчик изображения кванта^[8]). Первоначальная мотивация была вызвана в основном технической необходимостью. Миниатюризация систем камер требует постоянного уменьшения размеров пикселей. Однако в определенный момент ограниченная полноъямная емкость (т. Е. Максимальное количество фотонов-электронов, которое может удерживать пиксель) маленьких пикселей становится узким местом, обеспечивая очень низкий уровень отношения сигнал / шум (SNR) и плохое динамические диапазоны. Напротив, бинарный датчик, пиксели которого должны обнаруживать только несколько фотонов-электронов около небольшого порога. q предъявляет гораздо меньшие требования к полной емкости, что позволяет еще больше уменьшать размеры пикселей.

Модель изображения

Объектив

Рис.1 Модель изображения. Упрощенная архитектура системы визуализации с ограничением дифракции. Поле падающего света ${\displaystyle \lambda _{0}(x)}$ проходит через оптическую линзу, которая действует как линейная система с функцией рассеяния точки, ограниченной дифракцией (PSF). В результате получается сглаженное световое поле. ${\displaystyle \lambda (x)}$, который впоследствии фиксируется датчиком изображения.

Рассмотрим упрощенную модель камеры, показанную на рисунке 1. В ${\displaystyle \lambda _{0}(x)}$ - поле интенсивности падающего света. Предполагая, что интенсивность света остается постоянной в течение короткого периода воздействия, поле можно моделировать только как функцию пространственной переменной. ${\displaystyle x}$. После прохождения через оптическую систему исходное световое поле ${\displaystyle \lambda _{0}(x)}$ фильтруется линзой, которая действует как линейная система с заданной импульсной характеристикой. Из-за дефектов (например, аберраций) линзы импульсная характеристика, также известная как функция разброса точки (PSF) оптической системы, не может быть дельтой Дирака, что накладывает ограничение на разрешение наблюдаемого светового поля. Однако более фундаментальный физический предел связан с светом. дифракция.^[9] В результате, даже если объектив идеален, PSF неизбежно остается небольшим размытым пятном. В оптике такое дифракционно ограниченное пятно часто называют Диск Эйри,^[9] чей радиус ${\displaystyle R_{a}}$ можно вычислить как

${\displaystyle R_{a}=1.22\,wf,}$

куда ${\displaystyle w}$ это длина волны света и ${\displaystyle f}$ это F-число оптической системы. Из-за НЧ (сглаживающий) характер PSF, в результате ${\displaystyle \lambda (x)}$ имеет конечное пространственное разрешение, т. е. конечное число степени свободы на единицу площади.

Датчик

Рис.2 Модель датчика двоичного изображения. Пиксели (обозначенные как «корзины») собирают фотоны, количество которых сравнивается с порогом квантования. q. На рисунке показан случай, когда q = 2. Выходы пикселей являются двоичными: ${\displaystyle b_{m}=1}$ (т. е. белые пиксели), если пиксель принимает не менее двух фотонов; иначе, ${\displaystyle b_{m}=0}$ (т.е. серые пиксели).

Рис.2 иллюстрирует модель бинарного датчика. В ${\displaystyle s_{m}}$ обозначают значения экспозиции, накопленные пикселями датчика. В зависимости от местных значений ${\displaystyle s_{m}}$, каждый пиксель (обозначенный на рисунке как «ведра») собирает разное количество фотонов, попадающих на его поверхность. ${\displaystyle y_{m}}$ количество фотонов, падающих на поверхность ${\displaystyle m}$th пиксель во время контакт период. Связь между ${\displaystyle s_{m}}$ и счет фотонов ${\displaystyle y_{m}}$ стохастический. В частности, ${\displaystyle y_{m}}$ можно моделировать как реализации пуассоновской случайной величины, параметр интенсивности которой равен ${\displaystyle s_{m}}$,

Как светочувствительный Устройство, каждый пиксель в датчике изображения преобразует фотоны в электрические сигналы, амплитуда которых пропорциональна количеству фотонов, падающих на этот пиксель. В традиционной конструкции датчика аналоговые электрические сигналы затем квантуются с помощью Аналого-цифровой преобразователь на 8–14 бит (обычно чем больше бит, тем лучше). Но в двоичном датчике квантователь 1 бит. На Рис.2, ${\displaystyle b_{m}}$ квантованный выход ${\displaystyle m}$-й пиксель. Поскольку фотон считается ${\displaystyle y_{m}}$ взяты из случайных величин, как и двоичный выход датчика ${\displaystyle b_{m}}$.

Пространственная и временная передискретизация

Если разрешена временная передискретизация, т. Е. Взятие нескольких последовательных и независимых кадров без изменения общего времени экспозиции ${\displaystyle \tau }$, производительность двоичного датчика эквивалентна датчику с таким же количеством пространственной передискретизации при определенных условиях.^[2] Это означает, что люди могут выбирать между пространственной передискретизацией и временной передискретизацией. Это очень важно, поскольку технология обычно дает ограничение на размер пикселей и время экспозиции.

Преимущества перед традиционными датчиками

Из-за ограниченной емкости обычного пикселя изображения на всю лунку пиксель будет насыщаться, когда интенсивность света слишком велика. Это причина того, что динамический диапазон пикселя низкий. Для датчика двоичного изображения с избыточной дискретизацией динамический диапазон определяется не для одного пикселя, а для группы пикселей, что делает динамический диапазон высоким.^[2]

Реконструкция

Рис.4 Восстановление изображения из бинарных измерений, сделанных SPAD^[10] сенсор, с пространственным разрешением 32 × 32 пикселя. Окончательное изображение (нижний правый угол) получается путем включения 4096 последовательных кадров, 11 из которых показаны на рисунке.

Одной из наиболее важных задач при использовании датчика двоичного изображения с избыточной дискретизацией является восстановление интенсивности света. ${\displaystyle \lambda (x)}$ из двоичного измерения ${\displaystyle b_{m}}$. Оценка максимального правдоподобия можно использовать для решения этой проблемы.^[2] На рис.4 показаны результаты восстановления интенсивности света из 4096 двоичных изображений, полученных однофотонные лавинные диоды (SPADs) камера.^[10] Лучшее качество реконструкции с меньшим количеством временных измерений и более быстрая, дружественная к оборудованию реализация может быть достигнута с помощью более сложных алгоритмов.^[11]

Рекомендации

1. Л. Сбайз, Ф. Янг, Э. Чарбон, С. Зюстранк и М. Веттерли, камера Gigavision, Труды Международной конференции IEEE по акустике, речи и обработке сигналов (ICASSP), с. 1093 - 1096, 2009.
2. Ф. Ян, Ю.М. Лу, Л. Сайбз и М. Веттерли, Биты из фотонов: получение передискретизированного изображения с использованием двоичной статистики Пуассона, IEEE Transactions по обработке изображений, т. 21, выпуск 4, стр. 1421-1436, 2012.
3. Джеймс Т. Теория фотографического процесса, 4-е изд., Нью-Йорк: Macmillan Publishing Co., Inc., 1977.
4. С. А. Чиарсия, Чип динамического ОЗУ 64 КБ является визуальным датчиком в этой цифровой камере, Журнал Byte, pp.21-31, сентябрь 1983.
5. Ю. К. Парк, С. Х. Ли, Дж. В. Ли и др., Полностью интегрированная 56-нм технология DRAM для DRAM 1 ГБ, в Симпозиум IEEE по технологии СБИС, Киото, Япония, июнь 2007 г.
6. Дж. К. Кэнди и Г. К. Темес, Преобразователи дельта-сигма с избыточной суммой - теория, проектирование и моделирование. Нью-Йорк, штат Нью-Йорк: IEEE Press, 1992.
7. Э. Р. Фоссум, Что делать с пикселями субдифракционного предела (SDL)? - Предложение по гигапиксельному цифровому пленочному сенсору (DFS) в г. Семинар IEEE по устройствам с зарядовой связью и усовершенствованным датчикам изображения, Нагано, Япония, июнь 2005 г., стр. 214–217.
8. Э. Р. Фоссум, Дж. Ма, С. Масудиан, Л. Анзагира и Р. Зицца, Датчик изображения квантов: на счету каждый фотон, Датчики MDPI, т. 16, нет. 8, 1260; Август 2016 г. doi: 10.3390 / s16081260 (специальный выпуск о датчиках изображения с функцией подсчета фотонов)
9. М. Борн и Э. Вольф, Принципы оптики, 7-е изд. Кембридж: Издательство Кембриджского университета, 1999 г.
10. Л. Каррара, К. Никласс, Н. Шайдеггер, Х. Ши и Э. Чарбон, КМОП-датчик изображения, устойчивый к гамма-, рентгеновскому и протонному излучению высоких энергий, для космических приложений, в IEEE International Solid-State Circuits Conference, февраль 2009 г., стр. 40-41.
11. Литания, Или; Ремез, Таль; Бронштейн, Алекс (06.12.2015). «Восстановление изображения из плотных двоичных пикселей». Обработка сигналов с помощью адаптивных разреженных структурных представлений (SPARS 2015). arXiv:1512.01774. Bibcode:2015arXiv151201774L.