Обнаружение углов - Corner detection

Выход типичного алгоритма обнаружения углов

Обнаружение углов это подход, используемый в компьютерное зрение системы для извлечения определенных видов Особенности и вывести содержание изображения. Обнаружение углов часто используется в обнаружение движения, регистрация изображения, видео слежение, мозаика изображений, сшивание панорамы, 3D реконструкция и распознавание объекта. Обнаружение углов перекликается с темой обнаружение точки интереса.

Формализация

Угол можно определить как пересечение двух ребер. Угол также можно определить как точку, для которой существуют два доминирующих и разных направления кромок в локальной окрестности точки.

Интересующая точка - это точка на изображении, которая имеет четко определенное положение и может быть надежно обнаружена. Это означает, что точка интереса может быть углом, но она также может быть, например, изолированной точкой локального максимума или минимума интенсивности, окончанием линии или точкой на кривой, где кривизна локально максимальна.

На практике большинство так называемых методов обнаружения углов обнаруживают точки интереса в целом, и фактически термины «угол» и «точка интереса» используются более или менее взаимозаменяемо в литературе.[1] Как следствие, если должны быть обнаружены только углы, необходимо провести локальный анализ обнаруженных точек интереса, чтобы определить, какие из них являются реальными углами. Примеры обнаружения кромок, которые можно использовать с постобработкой для обнаружения углов: Оператор Кирша и маскировочный набор Frei-Chen.[2]

«Угол», «точка интереса» и «особенность» в литературе используются как синонимы, что сбивает с толку. В частности, есть несколько детекторы капель которые можно назвать «операторами точки интереса», но иногда ошибочно называют «детекторами углов». Более того, существует понятие обнаружение гребня чтобы запечатлеть наличие удлиненных предметов.

Угловые детекторы обычно не очень надежны и часто требуют введения большого количества избыточных данных, чтобы предотвратить преобладание влияния отдельных ошибок на задачу распознавания.

Одним из факторов, определяющих качество детектора углов, является его способность обнаруживать один и тот же угол на нескольких похожих изображениях в условиях разного освещения, перемещения, поворота и других преобразований.

Простой подход к обнаружению углов на изображениях - использование корреляция, но это становится очень затратным с точки зрения вычислений и неоптимально. Часто используемый альтернативный подход основан на методе, предложенном Харрисом и Стивенсом (ниже), который, в свою очередь, является усовершенствованием метода Моравека.

Алгоритм определения углов Moravec

Это один из самых ранних алгоритмов обнаружения углов, определяющий угол быть точкой с низким самоподобием.[3] Алгоритм проверяет каждый пиксель в изображении, чтобы увидеть, присутствует ли угол, учитывая, насколько похож патч с центром на пикселе на соседние, в значительной степени перекрывающиеся участки. Сходство измеряется как сумма квадратов разностей (SSD) между соответствующими пикселями двух участков. Меньшее число указывает на большее сходство.

Если пиксель находится в области с одинаковой интенсивностью, то соседние участки будут выглядеть одинаково. Если пиксель находится на краю, то ближайшие участки в направлении, перпендикулярном краю, будут выглядеть совершенно иначе, но соседние участки в направлении, параллельном краю, приведут только к небольшому изменению. Если пиксель находится на объекте с вариациями во всех направлениях, то ни один из ближайших участков не будет выглядеть одинаково.

Сила угла определяется как наименьший SSD между патчем и его соседями (по горизонтали, вертикали и по двум диагоналям). Причина в том, что если это число велико, то вариация по всем сдвигам либо равна ему, либо больше, поэтому при захвате все соседние участки выглядят по-разному.

Если число прочности угла вычисляется для всех местоположений, то, что оно является максимальным для одного местоположения, указывает на то, что в нем присутствует интересующий объект.

Как указывает Моравец, одна из основных проблем с этим оператором заключается в том, что он не изотропный: если присутствует край, который не находится в направлении соседей (горизонтальный, вертикальный или диагональный), тогда самый маленький SSD будет большим, и край будет неправильно выбран в качестве точки интереса.[4]

Алгоритмы определения углов Харриса и Стивенса / Ши – Томази

Видеть Угловой детектор Харриса.

Харрис и Стивенс[5] усовершенствован детектор углов Moravec за счет непосредственного учета разницы угловых баллов относительно направления вместо использования смещенных участков. (Этот угловой результат часто называют автокорреляция, поскольку этот термин используется в статье, в которой описывается этот детектор. Однако математические данные в статье ясно показывают, что используется сумма квадратов разностей.)

Не умаляя общности, мы будем предполагать, что используется двухмерное изображение в градациях серого. Пусть это изображение задается . Рассмотрите возможность нанесения пятна изображения на область и сдвигая его . Взвешенный сумма квадратов разностей (SSD) между этими двумя патчами, обозначенными , дан кем-то:

можно аппроксимировать Расширение Тейлора. Позволять и быть частичным производные из , так что

Это дает приближение

который можно записать в матричной форме:

куда А это структурный тензор,

На словах мы находим ковариация частной производной интенсивности изображения с уважением к и топоры.

Угловые скобки обозначают усреднение (т.е. суммирование по ). обозначает тип окна, которое скользит по изображению. Если Коробчатый фильтр используется ответ будет анизотропный, но если Гауссовский используется, то ответ будет изотропный.

Угол (или вообще интересная точка) характеризуется большим разбросом во всех направлениях вектора . Анализируя собственные значения , эту характеристику можно выразить следующим образом: должен иметь два "больших" собственных значения для точки интереса. На основании величин собственных значений на основании этого аргумента можно сделать следующие выводы:

  1. Если и тогда этот пиксель не имеет интересных особенностей.
  2. Если и имеет большое положительное значение, то обнаруживается ребро.
  3. Если и имеют большие положительные значения, то угол найден.

Харрис и Стивенс отмечают, что точное вычисление собственных значений требует больших вычислительных ресурсов, так как требует вычисления квадратный корень, и вместо этого предложите следующую функцию , куда - настраиваемый параметр чувствительности:

Следовательно, алгоритм[6] не обязательно вычислять разложение на собственные значения матрицы а вместо этого достаточно оценить детерминант и след из найти углы, а точнее интересные места в целом.

Ши – Томази[7] угловой детектор непосредственно вычисляет потому что при определенных предположениях углы более стабильны для отслеживания. Обратите внимание, что этот метод также иногда называют угловым детектором Канаде – Томази.

Значение должен определяться эмпирически, и в литературе значения в диапазоне 0,04–0,15 указаны как возможные.

Можно избежать установки параметра используя Noble's[8] угловая мера что составляет гармоническое среднее собственных значений:

будучи небольшой положительной константой.

Если можно интерпретировать как матрица точности для углового положения ковариационная матрица для углового положения , т.е.

Сумма собственных значений , который в этом случае можно интерпретировать как обобщенная дисперсия (или «полная неопределенность») углового положения, связана с угловой мерой Нобла по следующему уравнению:

Угловой извещатель Förstner

Обнаружение углов с использованием алгоритма Ферстнера

В некоторых случаях может потребоваться вычислить положение угла с точностью до субпикселей. Чтобы достичь приблизительного решения, Förstner[9] Алгоритм находит точку, ближайшую ко всем касательным линиям угла в данном окне, и является решением методом наименьших квадратов. Алгоритм основан на том факте, что для идеального угла касательные линии пересекаются в одной точке.

Уравнение касательной в пикселях дан кем-то:

куда вектор градиента изображения в .

Смысл ближе всего ко всем касательным линиям в окне является:

Расстояние от к касательным линиям взвешивается по величине градиента, что придает большее значение касательным, проходящим через пиксели с сильными градиентами.

Решение для :

определяются как:

Минимизировать это уравнение можно путем дифференцирования по и установив его равным 0:

Обратите внимание, что это структурный тензор. Чтобы уравнение имело решение, должно быть обратимым, что означает, что должен быть полного ранга (ранг 2). Таким образом, решение

существует только там, где в окне есть реальный угол .

Методика выполнения автоматический выбор масштаба для этого метода угловой локализации был представлен Линдебергом.[10][11] минимизируя нормированный остаток

по весам. Таким образом, способ имеет возможность автоматически адаптировать уровни шкалы для вычисления градиентов изображения к уровню шума в данных изображения, выбирая более грубые уровни шкалы для зашумленных данных изображения и более тонкие уровни шкалы для почти идеальных угловидных структур.

Примечания:

  • можно рассматривать как невязку при вычислении решения методом наименьших квадратов: если , значит ошибки не было.
  • этот алгоритм можно модифицировать для вычисления центров круговых объектов, заменив касательные на нормальные.

Многомасштабный оператор Харриса

Вычисление второй матрицы моментов (иногда также называемой структурный тензор ) в операторе Харриса требует вычисления производные изображения в области изображений, а также суммирование нелинейных комбинаций этих производных по локальным окрестностям. Поскольку вычисление производных обычно включает этап сглаживания масштабного пространства, операционное определение оператора Харриса требует двух масштабных параметров: (i) a местный масштаб для сглаживания перед вычислением производные изображения, и (ii) масштаб интеграции для накопления нелинейных операций над производными операторами в интегрированном дескрипторе изображения.

С обозначая интенсивность исходного изображения, пусть обозначить представление масштабного пространства из полученный сверткой с гауссовым ядром

с параметром местного масштаба :

и разреши и обозначим частные производные от Кроме того, введем гауссову оконную функцию с параметром масштаба интегрирования . Затем многомасштабная матрица второго момента [12][13][14] можно определить как

Затем мы можем вычислить собственные значения аналогично собственным значениям и определить многомасштабная угловая мера Харриса в качестве

.

По поводу выбора параметра локального масштаба и параметр масштаба интегрирования , эти параметры масштаба обычно связаны с параметром относительного масштаба интегрирования такой, что , куда обычно выбирается в интервале .[12][13] Таким образом, мы можем вычислить многомасштабную угловую меру Харриса в любом масштабе в масштабном пространстве, чтобы получить многомасштабный детектор углов, который реагирует на угловые структуры различных размеров в области изображения.

На практике этот многомасштабный детектор углов часто дополняется шаг выбора шкалы, где нормированный на масштаб лапласов оператор[11][12]

вычисляется в каждом масштабе в масштабном пространстве и масштабировать адаптированные угловые точки с автоматическим выбором масштаба («оператор Харриса-Лапласа») вычисляются из точек, которые одновременно:[15]

  • пространственные максимумы многомасштабной угловой меры
  • локальные максимумы или минимумы на масштабах нормированного на масштаб оператора лапласа[11] :

Подход кривизны кривой уровня

Более ранний подход к обнаружению углов заключался в обнаружении точек, в которых кривизна кривых уровня и величина градиента равны одновременно высоко.[16][17] Дифференциальный способ обнаружения таких точек - вычисление измененная кривизна кривой уровня (произведение кривизны кривой уровня и величины градиента в степени трех)

и для обнаружения положительных максимумов и отрицательных минимумов этого дифференциального выражения в некотором масштабе в представление масштабного пространства исходного изображения.[10][11] Однако основная проблема при вычислении объекта кривизны перемасштабированной кривой уровня в едином масштабе состоит в том, что он может быть чувствительным к шуму и к выбору уровня шкалы. Лучшим методом является вычисление -нормализованная кривизна измененной кривой уровня

с и обнаружить знаковые экстремумы масштабного пространства этого выражения, то есть точки и масштабы, которые являются положительными максимумами и отрицательными минимумами как по пространству, так и по масштабу

в сочетании с дополнительным этапом локализации, чтобы справиться с увеличением ошибки локализации в более грубых масштабах.[10][11][12] Таким образом, большие значения масштаба будут связаны с закругленными углами большой пространственной протяженности, тогда как меньшие значения масштаба будут связаны с острыми углами с малой пространственной протяженностью. Этот подход является первым детектором углов с автоматическим выбором масштаба (до «оператора Харриса-Лапласа» выше) и использовался для отслеживания углов при крупномасштабных вариациях в области изображения.[18] и для согласования угловых характеристик с краями для вычисления структурных характеристик изображения для геон распознавание объектов.[19]

Лапласиан гауссиана, разности гауссианов и определитель точек интереса масштабного пространства Гессе

Бревно[11][12][15] это аббревиатура, обозначающая Лапласиан Гаусса, Собака[20] это аббревиатура, обозначающая разница гауссиан (DoG - это приближение к LoG), а DoH - это аббревиатура, обозначающая определитель гессиана.[11] Все эти масштабно-инвариантные точки интереса извлекаются путем обнаружения экстремумов в масштабном пространстве нормализованных по масштабу дифференциальных выражений, то есть точек в масштабном пространстве, где соответствующие нормализованные по масштабу дифференциальные выражения принимают локальные экстремумы как по пространству, так и по масштабу[11]

куда обозначает соответствующий дифференцированный объект с нормализованной шкалой (определен ниже).

Эти детекторы более подробно описаны в обнаружение капли. Нормированный по масштабу лапласиан гауссовских и разностных гауссовских функций (Lindeberg 1994, 1998; Lowe 2004)[11][12][20]

не обязательно создавать высокоселективные функции, поскольку эти операторы также могут приводить к откликам на краях. Чтобы улучшить способность обнаружения углов различий детектора Гауссианы, детектор признаков, используемый в ПРОСЕЯТЬ[20] поэтому система использует дополнительный этап постобработки, на котором собственные значения из Гессен изображения в масштабе обнаружения рассматриваются аналогично оператору Харриса. Если соотношение собственных значений слишком велико, тогда локальное изображение рассматривается как слишком похожее на кромку, поэтому признак отклоняется. Также можно определить лапласиан Линдеберга гауссовского детектора признаков, включающий дополнительную пороговую обработку для дополнительного дифференциального инварианта для подавления откликов вблизи краев.[21]

Нормализованный по масштабу определитель оператора Гессе (Линдеберг, 1994, 1998)[11][12]

с другой стороны, очень селективен к хорошо локализованным функциям изображения и реагирует только тогда, когда есть значительные вариации уровня серого в двух направлениях изображения[11][14] и в этом, и в других отношениях является лучшим детектором точки интереса, чем лапласиан гауссиана. Определитель гессиана является аффинно-ковариантным дифференциальным выражением и имеет лучшие свойства выбора масштаба при преобразованиях аффинных изображений, чем оператор Лапласа (Lindeberg 2013, 2015).[21][22] Экспериментально это означает, что детерминант гессианских точек интереса имеет лучшие свойства повторяемости при локальной деформации изображения, чем лапласовские точки интереса, что, в свою очередь, приводит к лучшей производительности сопоставления на основе изображений с точки зрения более высоких показателей эффективности и более низких оценок точности 1.[21]

Свойства выбора масштаба, свойства аффинного преобразования и экспериментальные свойства этих и других детекторов точек интереса в масштабном пространстве подробно анализируются в (Lindeberg 2013, 2015).[21][22]

Пространственно-масштабные точки интереса, основанные на мерах силы признаков Линдеберга-Гессе

Вдохновленный структурно схожими свойствами матрицы Гессе функции и матрица второго момента (структурный тензор) , как, например, проявляться в терминах своих аналогичных свойств преобразования при деформациях аффинных изображений[13][21]

,
,

Линдеберг (2013, 2015)[21][22] предложил определить четыре меры силы признаков из матрицы Гессе родственными способами, поскольку операторы Харриса и Ши-и Томази определены из структурного тензора (матрицы второго момента). В частности, он определил следующие беззнаковые и подписанные меры силы гессенских признаков :

  • мера силы I беззнакового гессенского элемента:
  • подписанная мера силы гессенских элементов I:
  • беззнаковая мера силы гессенской характеристики II:
  • подписанная мера силы гессенских признаков II:

куда и обозначим след и определитель матрицы Гессе представления масштабного пространства в любом масштабе , в то время как

обозначают собственные значения матрицы Гессе.[23]

Беззнаковая мера силы гессенской особенности реагирует на локальные экстремумы положительными значениями и не чувствителен к седловым точкам, тогда как мера силы знаковых гессенских особенностей дополнительно реагирует на седловые точки отрицательными значениями. Беззнаковая мера силы гессенского элемента нечувствителен к локальной полярности сигнала, тогда как знаковая мера силы гессенской характеристики реагирует на локальную полярность сигнала знаком его выхода.

В Линдеберге (2015)[21] эти четыре дифференциальных объекта были объединены с выбором локального масштаба на основе обнаружения экстремумов в пространстве масштаба

или масштабное связывание. Кроме того, подписанные и неподписанные гессенские особенности меры прочности и были объединены с дополнительным пороговым значением на .

Путем экспериментов по сопоставлению изображений при преобразованиях масштабирования на наборе данных плаката с 12 плакатами с согласованием нескольких ракурсов при преобразованиях масштабирования до коэффициента масштабирования до 6 и вариациями направления обзора до угла наклона 45 градусов с локальными дескрипторами изображения, определенными из переформулировок было показано, что дескрипторы чистого изображения в операторах SIFT и SURF для измерения изображения в терминах операторов производной Гаусса (Gauss-SIFT и Gauss-SURF) вместо исходного SIFT, как определено из пирамиды изображения или исходного SURF, как определено из вейвлетов Хаара, было показано обнаружение интересующей точки в пространстве масштаба на основе беззнаковой меры силы гессенской характеристики позволили обеспечить лучшую производительность и лучшую производительность, чем точки интереса в пространстве масштаба, полученные из определителя гессиана . Оба беззнаковых показателя силы гессенских признаков , мера прочности гессенского элемента со знаком и определитель гессиана позволил добиться лучшей производительности, чем лапласиан гауссовского . В сочетании с привязкой шкалы и дополнительным порогом , мера прочности гессенского элемента со знаком дополнительно учитывал лучшую производительность, чем лапласиан гауссовского .

Кроме того, было показано, что все эти дифференциальные детекторы точек интереса в масштабном пространстве, определенные на основе матрицы Гессе, позволяют обнаруживать большее количество точек интереса и лучше согласовывать характеристики по сравнению с операторами Харриса и Ши-и-Томази, определенными из структуры тензор (матрица второго момента).

Теоретический анализ свойств выбора шкалы этих четырех мер силы признаков Гессе и других дифференциальных сущностей для обнаружения точек интереса в пространстве масштаба, включая лапласиан гауссиана и определитель гессиана, приведен в Lindeberg (2013).[22] и анализ их свойств аффинного преобразования, а также экспериментальных свойств в Lindeberg (2015).[21]

Аффинно-адаптированные операторы точки интереса

Точки интереса, полученные с помощью многомасштабного оператора Харриса с автоматическим выбором масштаба, инвариантны к сдвигам, поворотам и равномерному изменению масштаба в пространственной области. Однако изображения, входящие в систему компьютерного зрения, также подвержены перспективным искажениям. Чтобы получить оператор точки интереса, более устойчивый к перспективным преобразованиям, естественным подходом является разработка детектора признаков, который инвариантен к аффинным преобразованиям. На практике аффинно-инвариантные точки интереса можно получить, применяя адаптация аффинной формы где форма сглаживающего ядра итеративно деформируется, чтобы соответствовать локальной структуре изображения вокруг интересующей точки, или, что эквивалентно, локальный участок изображения итеративно деформируется, в то время как форма сглаживающего ядра остается вращательно-симметричной (Lindeberg 1993, 2008; Lindeberg and Garding 1997; Миколайзчик и Шмид 2004).[12][13][14][15] Следовательно, помимо широко используемого многомасштабного оператора Харриса, адаптация аффинной формы может применяться к другим детекторам углов, перечисленным в этой статье, а также к дифференциальные детекторы капель такие как лапласиан / разность гауссовского оператора, определитель гессиана[14] и оператор Гессе – Лапласа.

Алгоритм обнаружения углов Ванга и Брэди

Ван и Брэди[24] детектор считает изображение поверхностью и ищет места, где есть большие кривизна по краю изображения. Другими словами, алгоритм ищет места, где край быстро меняет направление. Угловой счет, , дан кем-то:

куда - единичный вектор, перпендикулярный градиенту, и определяет степень фобии края детектора. Авторы также отмечают, что для уменьшения шума требуется сглаживание (предлагается гауссово).

Сглаживание также вызывает смещение углов, поэтому авторы получают выражение для смещения угла 90 градусов и применяют его в качестве поправочного коэффициента к обнаруженным углам.

Угловой извещатель SUSAN

СЬЮЗЕН[25] это аббревиатура, обозначающая наименьший однозначный сегмент ассимилирующего ядра. Этот метод является предметом патента Великобритании 1994 года, который больше не действует.[26]

Для обнаружения признаков SUSAN накладывает круговую маску на проверяемый пиксель (ядро). Область маски , а пиксель в этой маске представлен как . Ядро находится на . Каждый пиксель сравнивается с ядром с помощью функции сравнения:

куда порог разницы яркости,[27] - яркость пикселя, а степень экспоненты была определена эмпирически. Эта функция имеет вид сглаженной цилиндрическая или прямоугольная функция. Площадь СУЗАНА определяется по:

Если - прямоугольная функция, то количество пикселей в маске, которые находятся в пределах ядра. Ответ оператора SUSAN дает:

куда называется "геометрическим порогом". Другими словами, оператор SUSAN получает положительную оценку только в том случае, если область достаточно мала. Наименьший локальный SUSAN можно найти с помощью немаксимального подавления, и это полный оператор SUSAN.

Значение определяет, насколько похожими должны быть точки для ядра, прежде чем они будут считаться частью однозначного сегмента. Значение определяет минимальный размер однозначного сегмента. Если достаточно большой, тогда это становится детектор края.

Для определения угла используются еще два шага. Во-первых, центроид СУЗАНА найден. В правильном углу центр тяжести находится далеко от ядра. Второй шаг требует, чтобы все точки на линии от ядра через центроид до края маски находились в SUSAN.

Угловой детектор Трайковича и Хедли

Подобно SUSAN, этот детектор[28] непосредственно проверяет, является ли патч под пикселем самоподобным, исследуя соседние пиксели. - рассматриваемый пиксель, и точка на круге сосредоточено вокруг . Смысл точка противоположна по диаметру.

Функция ответа определяется как:

Это будет большим, если нет направления, в котором центральный пиксель похож на два соседних пикселя по диаметру. это дискретизированный круг ( Круг Брезенхема ), так интерполяция используется для промежуточных диаметров, чтобы дать более изотропный отклик. Поскольку любое вычисление дает верхнюю оценку , сначала проверяются горизонтальное и вертикальное направления, чтобы увидеть, стоит ли продолжать полное вычисление .

Детекторы признаков на основе AST

AST - это аббревиатура, обозначающая ускоренный сегментный тест. Этот тест является упрощенной версией критерия угла SUSAN. Вместо оценки круглого диска, только пиксели в Круг Брезенхема радиуса вокруг точки-кандидата. Если смежные пиксели все ярче ядра как минимум на или все темнее ядра на , то пиксель под ядром считается признаком. Сообщается, что этот тест дает очень стабильные функции.[29] Выбор порядка проверки пикселей - это так называемый Проблема "Двадцать вопросов". Построение коротких деревьев решений для этой проблемы приводит к наиболее эффективным с точки зрения вычислений детекторам признаков.

Первый алгоритм обнаружения углов, основанный на AST, - БЫСТРЫЙ (особенности из ускоренного тестирования сегмента ).[29] Несмотря на то что в принципе может принимать любое значение, FAST использует только значение 3 (соответствует окружности в 16 пикселей), а тесты показывают, что наилучшие результаты достигаются с равное 9. Это значение это самый низкий уровень, на котором края не обнаруживаются. Порядок проверки пикселей определяется Алгоритм ID3 из обучающего набора изображений. Как ни странно, название детектора несколько похоже на название статьи, описывающей детектор Трайковича и Хедли.

Автоматический синтез детекторов

Трухильо и Олаге[30] представил метод, с помощью которого генетическое программирование используется для автоматического синтеза операторов изображений, которые могут обнаруживать точки интереса. Наборы терминалов и функций содержат примитивные операции, которые являются общими для многих ранее предложенных искусственных конструкций. Фитнес измеряет стабильность каждого оператора с помощью коэффициента повторяемости и способствует равномерному распределению обнаруженных точек по плоскости изображения. Работоспособность усовершенствованных операторов была подтверждена экспериментально с помощью обучающих и тестовых последовательностей прогрессивно преобразованных изображений. Следовательно, предложенный алгоритм GP считается конкурентоспособным для человека в задаче обнаружения точки интереса.

Детекторы пространственно-временных точек интереса

Оператор Харриса был расширен на пространство-время Лаптевым и Линдебергом.[31]Позволять обозначают пространственно-временную матрицу второго момента, определенную как

Затем для подходящего выбора , пространственно-временные точки интереса обнаруживаются из пространственно-временных экстремумов следующей пространственно-временной меры Харриса:

Определитель оператора Гессе был расширен на совместное пространство-время Виллемсом и др. [32] и Линдеберг,[33] что приводит к следующему нормированному по масштабу дифференциальному выражению:

В работе Виллемса и др.[32] более простое выражение, соответствующее и использовался. В Линдеберге,[33] было показано, что и подразумевает лучшие свойства масштабного выбора в том смысле, что выбранные масштабные уровни, полученные из пространственно-временного гауссова блоба с пространственной протяженностью и временная протяженность будет идеально соответствовать пространственной протяженности и временной продолжительности блоба, при этом выбор масштаба выполняется путем обнаружения пространственно-временных экстремумов масштабного пространства дифференциального выражения.

Оператор Лапласа был распространен на пространственно-временные видеоданные Линдебергом,[33] что приводит к следующим двум пространственно-временным операторам, которые также представляют собой модели рецептивных полей нейронов без задержки и нейронов в LGN:

Для первого оператора свойства выбора масштаба требуют использования и , если мы хотим, чтобы этот оператор принимал максимальное значение в пространственно-временных масштабах на уровне пространственно-временного масштаба, отражающем пространственную протяженность и временную продолжительность начинающегося гауссова блоба. Для второго оператора свойства выбора масштаба требуют использования и , если мы хотим, чтобы этот оператор принимал максимальное значение в пространственно-временных масштабах на пространственно-временном масштабном уровне, отражающем пространственную протяженность и временную длительность мигающего гауссова блоба.

Цветовые расширения пространственно-временных детекторов точек интереса были исследованы Everts et al.[34]

Библиография

  1. ^ Эндрю Уиллис и Юньфэн Суй (2009). «Алгебраическая модель для быстрого обнаружения углов». 2009 12-я Международная конференция IEEE по компьютерному зрению. IEEE. С. 2296–2302. Дои:10.1109 / ICCV.2009.5459443. ISBN  978-1-4244-4420-5.
  2. ^ Шапиро, Линда и Джордж К. Стокман (2001). Компьютерное зрение, п. 257. Prentice Books, Верхняя Седл-Ривер. ISBN  0-13-030796-3.
  3. ^ Х. Моравец (1980). «Избегание препятствий и навигация в реальном мире с помощью робота-вездехода-видящего». Технический отчет CMU-RI-TR-3 Университет Карнеги-Меллона, Институт робототехники.
  4. ^ Избегание препятствий и навигация в реальном мире с помощью видящего робота-вездехода, Ханс Моравец, март 1980 г., факультет компьютерных наук Стэнфордского университета (докторская диссертация)
  5. ^ К. Харрис и М. Стивенс (1988). «Комбинированный детектор угла и края» (PDF). Материалы 4-й конференции Alvey Vision. С. 147–151.
  6. ^ Хавьер Санчес, Нельсон Монсон и Агустин Сальгадо (2018). «Анализ и реализация детектора угла Харриса» (PDF). Обработка изображений в режиме онлайн. 8: 305–328. Дои:10.5201 / ipol.2018.229. Архивировано из оригинал на 2018-10-03.
  7. ^ Дж. Ши и К. Томази (июнь 1994 г.). «Хорошие возможности для отслеживания». 9-я конференция IEEE по компьютерному зрению и распознаванию образов. Springer. С. 593–600. CiteSeerX  10.1.1.36.2669. Дои:10.1109 / CVPR.1994.323794.
    {{cite techreport | автор = C. Томази и Т. Канаде | title = Обнаружение и отслеживание точечных объектов | год = 1991 | номер = CMU-CS-91-132 | учреждение = Школа компьютерных наук, Университет Карнеги-Меллона | citeseerx = 10.1.1.45.5770
  8. ^ А. Ноубл (1989). Описание поверхностей изображения (Кандидат наук.). Департамент инженерных наук Оксфордского университета. п. 45.
  9. ^ Förstner, W; Гюльх (1987). «Быстрый оператор для обнаружения и точного определения местоположения отличных точек, углов и центров круговых объектов» (PDF). ISPRS.[постоянная мертвая ссылка ]
  10. ^ а б c Т. Линдеберг (1994). «Обнаружение стыков с автоматическим выбором шкал обнаружения и шкал локализации». Proc. 1-я Международная конференция по обработке изображений. я. Остин, Техас. С. 924–928.
  11. ^ а б c d е ж грамм час я j k Тони Линдеберг (1998). «Обнаружение признаков с автоматическим выбором шкалы». Международный журнал компьютерного зрения. 30 (2). С. 77–116.
  12. ^ а б c d е ж грамм час Т. Линдеберг (1994). Теория масштабного пространства в компьютерном зрении. Springer. ISBN  978-0-7923-9418-1.
  13. ^ а б c d Т. Линдеберг и Дж. Гардинг "Сглаживание с учетом формы в оценке трехмерных сигналов глубины на основе аффинных искажений локальной двумерной структуры". Image and Vision Computing 15 (6): pp 415–434, 1997.
  14. ^ а б c d Т. Линдеберг (2008). «Масштаб-Пространство». В Бенджамине Ва (ред.). Энциклопедия компьютерных наук и инженерии Wiley. IV. Джон Уайли и сыновья. С. 2495–2504. Дои:10.1002 / 9780470050118.ecse609. ISBN  978-0-470-05011-8.
  15. ^ а б c К. Миколайчик, К. и К. Шмид (2004). «Масштабные и аффинно-инвариантные детекторы точек интереса» (PDF). Международный журнал компьютерного зрения. 60 (1): 63–86. Дои:10.1023 / B: VISI.0000027790.02288.f2.
  16. ^ Л. Китчен и А. Розенфельд (1982). «Определение углов на уровне серого». Письма с распознаванием образов. 1 (2). С. 95–102.
  17. ^ Дж. Дж. Кендеринк и У. Ричардс (1988). «Двумерные операторы кривизны». Журнал Оптического общества Америки A. 5 (7). С. 1136–1141.
  18. ^ Л. Бретцнер и Т. Линдеберг (1998). «Отслеживание объектов с автоматическим выбором пространственных масштабов». Компьютерное зрение и понимание изображений. 71. С. 385–392.
  19. ^ Т. Линдеберг и М.-Х. Ли (1997). «Сегментация и классификация ребер с использованием аппроксимации минимальной длины описания и дополнительных точек соединения». Компьютерное зрение и понимание изображений. 67 (1). С. 88–98.
  20. ^ а б c Д. Лоу (2004). «Отличительные особенности изображения от ключевых точек, не зависящих от масштаба». Международный журнал компьютерного зрения. 60 (2): 91. CiteSeerX  10.1.1.73.2924. Дои:10.1023 / B: VISI.0000029664.99615.94.
  21. ^ а б c d е ж грамм час Т. Линдеберг, «Сопоставление изображений с использованием обобщенных точек интереса в масштабном пространстве», Journal of Mathematical Imaging and Vision, том 52, номер 1, страницы 3-36, 2015.
  22. ^ а б c d Т. Линдеберг "Свойства масштабного выбора детекторов точек интереса обобщенного масштабного пространства", Журнал математической визуализации и зрения, том 46, выпуск 2, страницы 177-210, 2013.
  23. ^ Линдеберг, Т. (1998). «Обнаружение края и обнаружение гребня с автоматическим выбором шкалы». Международный журнал компьютерного зрения. 30 (2): 117–154. Дои:10.1023 / А: 1008097225773.
  24. ^ Х. Ван и М. Брэди (1995). «Алгоритм определения угла в реальном времени для оценки движения». Вычисления изображений и зрения. 13 (9): 695–703. Дои:10.1016 / 0262-8856 (95) 98864-П.
  25. ^ С. М. Смит и Дж. М. Брэди (май 1997 г.). «SUSAN - новый подход к обработке изображений низкого уровня». Международный журнал компьютерного зрения. 23 (1): 45–78. Дои:10.1023 / А: 1007963824710.
    С. М. Смит и Дж. М. Брэди (январь 1997 г.), «Метод цифровой обработки изображений для определения положения краев и / или углов в них для управления беспилотным транспортным средством». Патент Великобритании 2272285, владелец: министр обороны Великобритании.
  26. ^ Патент Великобритании 2272285, список изобретателей (свободный формат), "Определение положения краев и углов на изображениях", опубликовано 11 мая 1994 г., выпущено 11 мая 1994 г., поручено Secr Defense 
  27. ^ "Детектор края SUSAN в деталях".
  28. ^ М. Трайкович и М. Хедли (1998). «Быстрое обнаружение углов». Вычисления изображений и зрения. 16 (2): 75–87. Дои:10.1016 / S0262-8856 (97) 00056-5.
  29. ^ а б Э. Ростен и Т. Драммонд (май 2006 г.). «Машинное обучение для высокоскоростного обнаружения углов». Европейская конференция по компьютерному зрению.
  30. ^ Леонардо Трухильо и Густаво Олаге (2008). «Автоматизированный дизайн операторов изображений, которые обнаруживают точки интереса» (PDF). Эволюционные вычисления. 16 (4): 483–507. Дои:10.1162 / evco.2008.16.4.483. PMID  19053496. Архивировано из оригинал (PDF) на 2011-07-17.
  31. ^ Иван Лаптев и Тони Линдеберг (2003). "Пространственно-временные точки интереса". Международная конференция по компьютерному зрению. IEEE. С. 432–439.
  32. ^ а б Герт Виллемс, Тинне Тайтелаарс и Люк ван Гул (2008). «Эффективный плотный и масштабно-инвариантный пространственно-временный детектор точек интереса». Европейская конференция по компьютерному зрению. Конспект лекций Springer по информатике. 5303. С. 650–663. Дои:10.1007/978-3-540-88688-4_48.
  33. ^ а б c Тони Линдеберг (2018). «Выбор пространственно-временного масштаба в видеоданных». Журнал математической визуализации и зрения. 60 (4). С. 525–562. Дои:10.1007 / s10851-017-0766-9.
  34. ^ И. Эвертс, Дж. Ван Гемерт и Т. Геверс (2014). «Оценка цветовых пространственно-временных точек интереса для распознавания действий человека». IEEE Transactions по обработке изображений. 23 (4). С. 1569–1589. Дои:10.1109 / TIP.2014.2302677.

Эталонные реализации

В этом разделе представлены внешние ссылки на эталонные реализации некоторых детекторов, описанных выше. Эти эталонные реализации предоставлены авторами статьи, в которой детектор впервые описывается. Они могут содержать детали, не представленные или явные в документах, описывающих функции.

Смотрите также

внешняя ссылка