Обнаружение углов - Corner detection
Обнаружение функции |
---|
Обнаружение края |
Обнаружение углов |
Обнаружение капли |
Обнаружение гребня |
Преобразование Хафа |
Структурный тензор |
Обнаружение аффинно-инвариантных признаков |
Описание функции |
Масштабировать пространство |
Обнаружение углов это подход, используемый в компьютерное зрение системы для извлечения определенных видов Особенности и вывести содержание изображения. Обнаружение углов часто используется в обнаружение движения, регистрация изображения, видео слежение, мозаика изображений, сшивание панорамы, 3D реконструкция и распознавание объекта. Обнаружение углов перекликается с темой обнаружение точки интереса.
Формализация
Угол можно определить как пересечение двух ребер. Угол также можно определить как точку, для которой существуют два доминирующих и разных направления кромок в локальной окрестности точки.
Интересующая точка - это точка на изображении, которая имеет четко определенное положение и может быть надежно обнаружена. Это означает, что точка интереса может быть углом, но она также может быть, например, изолированной точкой локального максимума или минимума интенсивности, окончанием линии или точкой на кривой, где кривизна локально максимальна.
На практике большинство так называемых методов обнаружения углов обнаруживают точки интереса в целом, и фактически термины «угол» и «точка интереса» используются более или менее взаимозаменяемо в литературе.[1] Как следствие, если должны быть обнаружены только углы, необходимо провести локальный анализ обнаруженных точек интереса, чтобы определить, какие из них являются реальными углами. Примеры обнаружения кромок, которые можно использовать с постобработкой для обнаружения углов: Оператор Кирша и маскировочный набор Frei-Chen.[2]
«Угол», «точка интереса» и «особенность» в литературе используются как синонимы, что сбивает с толку. В частности, есть несколько детекторы капель которые можно назвать «операторами точки интереса», но иногда ошибочно называют «детекторами углов». Более того, существует понятие обнаружение гребня чтобы запечатлеть наличие удлиненных предметов.
Угловые детекторы обычно не очень надежны и часто требуют введения большого количества избыточных данных, чтобы предотвратить преобладание влияния отдельных ошибок на задачу распознавания.
Одним из факторов, определяющих качество детектора углов, является его способность обнаруживать один и тот же угол на нескольких похожих изображениях в условиях разного освещения, перемещения, поворота и других преобразований.
Простой подход к обнаружению углов на изображениях - использование корреляция, но это становится очень затратным с точки зрения вычислений и неоптимально. Часто используемый альтернативный подход основан на методе, предложенном Харрисом и Стивенсом (ниже), который, в свою очередь, является усовершенствованием метода Моравека.
Алгоритм определения углов Moravec
Это один из самых ранних алгоритмов обнаружения углов, определяющий угол быть точкой с низким самоподобием.[3] Алгоритм проверяет каждый пиксель в изображении, чтобы увидеть, присутствует ли угол, учитывая, насколько похож патч с центром на пикселе на соседние, в значительной степени перекрывающиеся участки. Сходство измеряется как сумма квадратов разностей (SSD) между соответствующими пикселями двух участков. Меньшее число указывает на большее сходство.
Если пиксель находится в области с одинаковой интенсивностью, то соседние участки будут выглядеть одинаково. Если пиксель находится на краю, то ближайшие участки в направлении, перпендикулярном краю, будут выглядеть совершенно иначе, но соседние участки в направлении, параллельном краю, приведут только к небольшому изменению. Если пиксель находится на объекте с вариациями во всех направлениях, то ни один из ближайших участков не будет выглядеть одинаково.
Сила угла определяется как наименьший SSD между патчем и его соседями (по горизонтали, вертикали и по двум диагоналям). Причина в том, что если это число велико, то вариация по всем сдвигам либо равна ему, либо больше, поэтому при захвате все соседние участки выглядят по-разному.
Если число прочности угла вычисляется для всех местоположений, то, что оно является максимальным для одного местоположения, указывает на то, что в нем присутствует интересующий объект.
Как указывает Моравец, одна из основных проблем с этим оператором заключается в том, что он не изотропный: если присутствует край, который не находится в направлении соседей (горизонтальный, вертикальный или диагональный), тогда самый маленький SSD будет большим, и край будет неправильно выбран в качестве точки интереса.[4]
Алгоритмы определения углов Харриса и Стивенса / Ши – Томази
Видеть Угловой детектор Харриса.
Харрис и Стивенс[5] усовершенствован детектор углов Moravec за счет непосредственного учета разницы угловых баллов относительно направления вместо использования смещенных участков. (Этот угловой результат часто называют автокорреляция, поскольку этот термин используется в статье, в которой описывается этот детектор. Однако математические данные в статье ясно показывают, что используется сумма квадратов разностей.)
Не умаляя общности, мы будем предполагать, что используется двухмерное изображение в градациях серого. Пусть это изображение задается . Рассмотрите возможность нанесения пятна изображения на область и сдвигая его . Взвешенный сумма квадратов разностей (SSD) между этими двумя патчами, обозначенными , дан кем-то:
можно аппроксимировать Расширение Тейлора. Позволять и быть частичным производные из , так что
Это дает приближение
который можно записать в матричной форме:
куда А это структурный тензор,
На словах мы находим ковариация частной производной интенсивности изображения с уважением к и топоры.
Угловые скобки обозначают усреднение (т.е. суммирование по ). обозначает тип окна, которое скользит по изображению. Если Коробчатый фильтр используется ответ будет анизотропный, но если Гауссовский используется, то ответ будет изотропный.
Угол (или вообще интересная точка) характеризуется большим разбросом во всех направлениях вектора . Анализируя собственные значения , эту характеристику можно выразить следующим образом: должен иметь два "больших" собственных значения для точки интереса. На основании величин собственных значений на основании этого аргумента можно сделать следующие выводы:
- Если и тогда этот пиксель не имеет интересных особенностей.
- Если и имеет большое положительное значение, то обнаруживается ребро.
- Если и имеют большие положительные значения, то угол найден.
Харрис и Стивенс отмечают, что точное вычисление собственных значений требует больших вычислительных ресурсов, так как требует вычисления квадратный корень, и вместо этого предложите следующую функцию , куда - настраиваемый параметр чувствительности:
Следовательно, алгоритм[6] не обязательно вычислять разложение на собственные значения матрицы а вместо этого достаточно оценить детерминант и след из найти углы, а точнее интересные места в целом.
Ши – Томази[7] угловой детектор непосредственно вычисляет потому что при определенных предположениях углы более стабильны для отслеживания. Обратите внимание, что этот метод также иногда называют угловым детектором Канаде – Томази.
Значение должен определяться эмпирически, и в литературе значения в диапазоне 0,04–0,15 указаны как возможные.
Можно избежать установки параметра используя Noble's[8] угловая мера что составляет гармоническое среднее собственных значений:
будучи небольшой положительной константой.
Если можно интерпретировать как матрица точности для углового положения ковариационная матрица для углового положения , т.е.
Сумма собственных значений , который в этом случае можно интерпретировать как обобщенная дисперсия (или «полная неопределенность») углового положения, связана с угловой мерой Нобла по следующему уравнению:
Угловой извещатель Förstner
В некоторых случаях может потребоваться вычислить положение угла с точностью до субпикселей. Чтобы достичь приблизительного решения, Förstner[9] Алгоритм находит точку, ближайшую ко всем касательным линиям угла в данном окне, и является решением методом наименьших квадратов. Алгоритм основан на том факте, что для идеального угла касательные линии пересекаются в одной точке.
Уравнение касательной в пикселях дан кем-то:
куда вектор градиента изображения в .
Смысл ближе всего ко всем касательным линиям в окне является:
Расстояние от к касательным линиям взвешивается по величине градиента, что придает большее значение касательным, проходящим через пиксели с сильными градиентами.
Решение для :
определяются как:
Минимизировать это уравнение можно путем дифференцирования по и установив его равным 0:
Обратите внимание, что это структурный тензор. Чтобы уравнение имело решение, должно быть обратимым, что означает, что должен быть полного ранга (ранг 2). Таким образом, решение
существует только там, где в окне есть реальный угол .
Методика выполнения автоматический выбор масштаба для этого метода угловой локализации был представлен Линдебергом.[10][11] минимизируя нормированный остаток
по весам. Таким образом, способ имеет возможность автоматически адаптировать уровни шкалы для вычисления градиентов изображения к уровню шума в данных изображения, выбирая более грубые уровни шкалы для зашумленных данных изображения и более тонкие уровни шкалы для почти идеальных угловидных структур.
Примечания:
- можно рассматривать как невязку при вычислении решения методом наименьших квадратов: если , значит ошибки не было.
- этот алгоритм можно модифицировать для вычисления центров круговых объектов, заменив касательные на нормальные.
Многомасштабный оператор Харриса
Вычисление второй матрицы моментов (иногда также называемой структурный тензор ) в операторе Харриса требует вычисления производные изображения в области изображений, а также суммирование нелинейных комбинаций этих производных по локальным окрестностям. Поскольку вычисление производных обычно включает этап сглаживания масштабного пространства, операционное определение оператора Харриса требует двух масштабных параметров: (i) a местный масштаб для сглаживания перед вычислением производные изображения, и (ii) масштаб интеграции для накопления нелинейных операций над производными операторами в интегрированном дескрипторе изображения.
С обозначая интенсивность исходного изображения, пусть обозначить представление масштабного пространства из полученный сверткой с гауссовым ядром
с параметром местного масштаба :
и разреши и обозначим частные производные от Кроме того, введем гауссову оконную функцию с параметром масштаба интегрирования . Затем многомасштабная матрица второго момента [12][13][14] можно определить как
Затем мы можем вычислить собственные значения аналогично собственным значениям и определить многомасштабная угловая мера Харриса в качестве
- .
По поводу выбора параметра локального масштаба и параметр масштаба интегрирования , эти параметры масштаба обычно связаны с параметром относительного масштаба интегрирования такой, что , куда обычно выбирается в интервале .[12][13] Таким образом, мы можем вычислить многомасштабную угловую меру Харриса в любом масштабе в масштабном пространстве, чтобы получить многомасштабный детектор углов, который реагирует на угловые структуры различных размеров в области изображения.
На практике этот многомасштабный детектор углов часто дополняется шаг выбора шкалы, где нормированный на масштаб лапласов оператор[11][12]
вычисляется в каждом масштабе в масштабном пространстве и масштабировать адаптированные угловые точки с автоматическим выбором масштаба («оператор Харриса-Лапласа») вычисляются из точек, которые одновременно:[15]
- пространственные максимумы многомасштабной угловой меры
- локальные максимумы или минимумы на масштабах нормированного на масштаб оператора лапласа[11] :
Подход кривизны кривой уровня
Более ранний подход к обнаружению углов заключался в обнаружении точек, в которых кривизна кривых уровня и величина градиента равны одновременно высоко.[16][17] Дифференциальный способ обнаружения таких точек - вычисление измененная кривизна кривой уровня (произведение кривизны кривой уровня и величины градиента в степени трех)
и для обнаружения положительных максимумов и отрицательных минимумов этого дифференциального выражения в некотором масштабе в представление масштабного пространства исходного изображения.[10][11] Однако основная проблема при вычислении объекта кривизны перемасштабированной кривой уровня в едином масштабе состоит в том, что он может быть чувствительным к шуму и к выбору уровня шкалы. Лучшим методом является вычисление -нормализованная кривизна измененной кривой уровня
с и обнаружить знаковые экстремумы масштабного пространства этого выражения, то есть точки и масштабы, которые являются положительными максимумами и отрицательными минимумами как по пространству, так и по масштабу
в сочетании с дополнительным этапом локализации, чтобы справиться с увеличением ошибки локализации в более грубых масштабах.[10][11][12] Таким образом, большие значения масштаба будут связаны с закругленными углами большой пространственной протяженности, тогда как меньшие значения масштаба будут связаны с острыми углами с малой пространственной протяженностью. Этот подход является первым детектором углов с автоматическим выбором масштаба (до «оператора Харриса-Лапласа» выше) и использовался для отслеживания углов при крупномасштабных вариациях в области изображения.[18] и для согласования угловых характеристик с краями для вычисления структурных характеристик изображения для геон распознавание объектов.[19]
Лапласиан гауссиана, разности гауссианов и определитель точек интереса масштабного пространства Гессе
Бревно[11][12][15] это аббревиатура, обозначающая Лапласиан Гаусса, Собака[20] это аббревиатура, обозначающая разница гауссиан (DoG - это приближение к LoG), а DoH - это аббревиатура, обозначающая определитель гессиана.[11] Все эти масштабно-инвариантные точки интереса извлекаются путем обнаружения экстремумов в масштабном пространстве нормализованных по масштабу дифференциальных выражений, то есть точек в масштабном пространстве, где соответствующие нормализованные по масштабу дифференциальные выражения принимают локальные экстремумы как по пространству, так и по масштабу[11]
куда обозначает соответствующий дифференцированный объект с нормализованной шкалой (определен ниже).
Эти детекторы более подробно описаны в обнаружение капли. Нормированный по масштабу лапласиан гауссовских и разностных гауссовских функций (Lindeberg 1994, 1998; Lowe 2004)[11][12][20]
не обязательно создавать высокоселективные функции, поскольку эти операторы также могут приводить к откликам на краях. Чтобы улучшить способность обнаружения углов различий детектора Гауссианы, детектор признаков, используемый в ПРОСЕЯТЬ[20] поэтому система использует дополнительный этап постобработки, на котором собственные значения из Гессен изображения в масштабе обнаружения рассматриваются аналогично оператору Харриса. Если соотношение собственных значений слишком велико, тогда локальное изображение рассматривается как слишком похожее на кромку, поэтому признак отклоняется. Также можно определить лапласиан Линдеберга гауссовского детектора признаков, включающий дополнительную пороговую обработку для дополнительного дифференциального инварианта для подавления откликов вблизи краев.[21]
Нормализованный по масштабу определитель оператора Гессе (Линдеберг, 1994, 1998)[11][12]
с другой стороны, очень селективен к хорошо локализованным функциям изображения и реагирует только тогда, когда есть значительные вариации уровня серого в двух направлениях изображения[11][14] и в этом, и в других отношениях является лучшим детектором точки интереса, чем лапласиан гауссиана. Определитель гессиана является аффинно-ковариантным дифференциальным выражением и имеет лучшие свойства выбора масштаба при преобразованиях аффинных изображений, чем оператор Лапласа (Lindeberg 2013, 2015).[21][22] Экспериментально это означает, что детерминант гессианских точек интереса имеет лучшие свойства повторяемости при локальной деформации изображения, чем лапласовские точки интереса, что, в свою очередь, приводит к лучшей производительности сопоставления на основе изображений с точки зрения более высоких показателей эффективности и более низких оценок точности 1.[21]
Свойства выбора масштаба, свойства аффинного преобразования и экспериментальные свойства этих и других детекторов точек интереса в масштабном пространстве подробно анализируются в (Lindeberg 2013, 2015).[21][22]
Пространственно-масштабные точки интереса, основанные на мерах силы признаков Линдеберга-Гессе
Вдохновленный структурно схожими свойствами матрицы Гессе функции и матрица второго момента (структурный тензор) , как, например, проявляться в терминах своих аналогичных свойств преобразования при деформациях аффинных изображений[13][21]
- ,
- ,
Линдеберг (2013, 2015)[21][22] предложил определить четыре меры силы признаков из матрицы Гессе родственными способами, поскольку операторы Харриса и Ши-и Томази определены из структурного тензора (матрицы второго момента). В частности, он определил следующие беззнаковые и подписанные меры силы гессенских признаков :
- мера силы I беззнакового гессенского элемента: