Модель активного контура - Active contour model

Модель активного контура, также называемый змеи, это фреймворк в компьютерное зрение представлен Майкл Касс, Андрей Уиткин, и Деметри Терзопулос [1] для выделения контура объекта из возможного шумный 2D изображение. Модель змей популярна в компьютерном зрении, а змеи широко используются в таких приложениях, как отслеживание объектов, распознавание форм и т. Д. сегментация, обнаружение края и стерео согласование.

Змея - минимизирующая энергию, деформируемая сплайн под влиянием ограничений и сил изображения, которые притягивают его к контурам объекта, и внутренних сил, сопротивляющихся деформации. Змеи можно рассматривать как частный случай общей техники согласования деформируемой модели с изображением посредством минимизации энергии.[1] В двух измерениях активная модель формы представляет собой дискретную версию этого подхода, использующую преимущества модель распределения точек чтобы ограничить диапазон формы явной областью, полученной из обучающего набора.

Змеи - активные деформируемые модели

Змеи не решают всей проблемы нахождения контуров на изображениях, так как метод требует заранее знать желаемую форму контура. Скорее, они зависят от других механизмов, таких как взаимодействие с пользователем, взаимодействие с некоторым процессом понимания изображения более высокого уровня или информация из данных изображения, смежных во времени или пространстве.

Мотивация

В компьютерном зрении контурные модели описывают границы форм на изображении. Змеи, в частности, предназначены для решения задач, в которых известна приблизительная форма границы. Будучи деформируемой моделью, змеи могут приспосабливаться к различиям и шуму при стереосогласовании и отслеживании движения. Дополнительно метод может найти Иллюзорные контуры на изображении, игнорируя отсутствующую информацию о границах.

По сравнению с классическими методами извлечения признаков у змей есть несколько преимуществ:

  • Они автономно и адаптивно ищут состояние минимума.
  • Силы внешнего изображения действуют на змею интуитивно.
  • Включение сглаживания по Гауссу в функцию энергии изображения вводит масштабную чувствительность.
  • Их можно использовать для отслеживания динамических объектов.

Основные недостатки традиционных змей:

  • Они чувствительны к состояниям локальных минимумов, которым можно противодействовать с помощью методов моделирования отжига.
  • При минимизации энергии по всему контуру часто игнорируются мелкие детали.
  • Их точность зависит от политики конвергенции.[2]

Формулировка энергии

Простая эластичная змея определяется набором п точки за , член внутренней упругой энергии , и член внешней энергии на краю . Назначение члена внутренней энергии состоит в том, чтобы управлять деформациями змеи, а цель члена внешней энергии - контролировать подгонку контура к изображению. Внешняя энергия обычно представляет собой комбинацию сил, обусловленных самим изображением. и силы ограничения, введенные пользователем

Энергетическая функция змеи - это сумма ее внешней энергии и внутренней энергии, или

Внутренняя энергия

Внутренняя энергия змеи складывается из непрерывности контура и гладкость контура .

[3]

Это можно расширить как

куда и - веса, определяемые пользователем; они управляют чувствительностью функции внутренней энергии к величине растяжения змейки и величине кривизны змейки, соответственно, и тем самым контролируют количество ограничений на форму змейки.

На практике большой вес поскольку термин непрерывности наказывает изменения расстояний между точками контура. Большой вес поскольку термин «гладкость» снижает колебания контура и заставляет контур действовать как тонкая пластина.

Энергия изображения

Энергия изображения - это некоторая функция характеристик изображения. Это одна из наиболее частых модификаций производных методов. Элементы изображений и самих изображений можно обрабатывать множеством различных способов.

Для изображения , линий, краев и окончаний, присутствующих на изображении, общая формулировка энергии из-за изображения

куда , , веса этих характерных черт. Более высокие веса указывают на то, что характерный элемент будет иметь больший вклад в силу изображения.

Линия функциональная

Линейный функционал - это интенсивность изображения, которую можно представить как

Знак определит, будет ли линия притягиваться темными или светлыми линиями.

На изображении может быть использовано сглаживание или шумоподавление, после чего линейный функционал выглядит как

Edge функционал

Функционал краев основан на градиенте изображения. Одна из реализаций этого -

Змея, исходящая далеко от желаемого контура объекта, может ошибочно сходиться к некоторому локальному минимуму. Чтобы избежать этих локальных минимумов, можно использовать продолжение пространства масштаба. Это достигается за счет использования фильтра размытия на изображении и уменьшения степени размытия по мере выполнения расчетов для уточнения соответствия змейки. Функционал энергии с использованием продолжения масштабного пространства равен

куда гауссиан со стандартным отклонением . Минимумы этой функции приходятся на нулевые переходы из которые определяют края согласно Марр-Хилдрет теория.

Завершение функциональное

Кривизну линий уровня на слегка сглаженном изображении можно использовать для определения углов и концов изображения. Используя этот метод, пусть быть сглаженным изображением

с углом наклона

единичные векторы вдоль направления градиента

и единичные векторы, перпендикулярные направлению градиента

Функционал прекращения энергии можно представить в виде

Энергия ограничения

Некоторые системы, включая исходную реализацию змей, позволяли взаимодействовать с пользователем, чтобы направлять змей не только в исходное положение, но и с точки зрения их энергии. Такая энергия ограничения может использоваться для интерактивного направления змей к определенным объектам или от них.

Оптимизация за счет градиентного спуска

Учитывая начальное предположение о змеи, функция энергии змеи итеративно минимизируется. Градиентный спуск минимизация - одна из простейших оптимизаций, которые можно использовать для минимизации энергии змеи.[4] Каждая итерация делает один шаг в отрицательном градиенте точки с контролируемым размером шага. найти локальные минимумы. Эта минимизация градиентного спуска может быть реализована как

Где - сила, действующая на змейку, которая определяется отрицательной величиной градиента энергетического поля.

Предполагая веса и постоянны относительно , этот итерационный метод можно упростить до

Дискретное приближение

На практике изображения имеют конечное разрешение и могут быть интегрированы только за конечные временные интервалы. . Таким образом, для практической реализации змей должны быть сделаны дискретные приближения.

Энергетическая функция змеи может быть аппроксимирована с помощью дискретных точек на змеи.

Следовательно, силы змеи можно аппроксимировать как

Градиентная аппроксимация может быть сделана любым методом конечной аппроксимации относительно s, Такие как Конечная разница.

Числовая нестабильность из-за дискретного времени

Введение дискретного времени в алгоритм может вводить обновления, которые перемещают змейку за минимумы, к которым она привлекается; это в дальнейшем может вызвать колебания вокруг минимумов или привести к обнаружению других минимумов.

Этого можно избежать, настроив временной шаг таким образом, чтобы размер шага никогда не превышал пиксель из-за сил изображения. Однако в областях с низким энергопотреблением при обновлении будут преобладать внутренние энергии.

В качестве альтернативы, силы изображения могут быть нормализованы для каждого шага, так что силы изображения обновляют змейку только на один пиксель. Это можно сформулировать как

куда близка к значению размера пикселя. Это позволяет избежать проблемы доминирования внутренних энергий, возникающей при настройке временного шага.[5]

Числовая нестабильность из-за дискретного пространства

Энергии в непрерывном изображении могут иметь нулевые переходы, которые не существуют в виде пикселя в изображении. В этом случае точка змейки будет колебаться между двумя пикселями, которые находятся рядом с этим переходом через нуль. Этого колебания можно избежать, используя интерполяцию между пикселями вместо ближайшего соседа.[5]

Выполнение

Следующее псевдокод реализует метод змей в общем виде

функцияv =змеи (Я, в)% INPUT: N на M изображение I, контур v из n контрольных точек  % OUTPUT: сходящийся контур v из n контрольных точек  E_image = generateImageEnergy (я);  пока не сходится    F_cont = масса.альфа * contourDerivative(v, 2);    F_curv = масса.бета * contourDerivative(v, 4);    F_image = Interp2 (E_image, v(:,2), v(:,1));    F_image_norm = масса.k * F_image ./ норма (F_image);    F_con = inputForces();    F_internal = F_cont + масса.внешний * F_curv;    F_external = масса.внешний * (F_image + F_con);    v = updateSnake(v, F_internal, F_external);    checkConvergence ();  конецконец

Где generateImageEnergy (I) можно записать как

функцияE_image =generateImageEnergy (я)[C, Сх, Сай, Cxx, Cxy, Cyy] = generateGradients (я);  E_line = я;  E_edge = -(Сх.^2 + Сай.^2)^0.5;  E_term = (Cyy.*Сх.^2 - 2*Cxy.*Сх.*Сай + Cxx.*Сай.^2)./((1 + Сх.^2 + Сай.^2).^(1.5));  E_image = масса.линия * E_line + масса.край * E_edge + масса.срок * E_term;конец

Некоторые варианты змей

Метод змей по умолчанию имеет различные ограничения и угловые случаи, когда сходимость работает плохо. Существует несколько альтернатив, которые решают проблемы метода по умолчанию, хотя и со своими собственными компромиссами. Некоторые из них перечислены здесь.

Модель змеи GVF

В векторный градиент потока (GVF) модель змеи[6] решает две проблемы со змеями:

  • низкая производительность сходимости для вогнутых границ
  • низкая производительность сходимости при инициализации змейки далеко от минимума

В 2D векторное поле GVF минимизирует функционал энергии

куда - управляемый сглаживающий член. Это можно решить, решив уравнения Эйлера

Это может быть решено путем итераций к установившемуся значению.

Этот результат заменяет внешнюю силу по умолчанию.

Основная проблема с использованием GVF - это условие сглаживания вызывает закругление краев контура. Снижение стоимости уменьшает округление, но ослабляет степень сглаживания.

Модель воздушного шара

Модель воздушного шара[5] решает эти проблемы с помощью активной модели контура по умолчанию:

  • Далекие края змейки не привлекают.
  • Змея сожмется внутрь, если на нее не действуют существенные силы изображения.
  • змейка, размер которой превышает контур минимума, в конечном итоге сжимается в нее, но змейка, размер которой меньше контура минимума, не найдет минимума и вместо этого продолжит сжиматься.

Модель воздушного шара вводит инфляционный член в силы, действующие на змею.

куда нормальный унитарный вектор кривой в точке и - величина силы. должен иметь ту же величину, что и коэффициент нормализации изображения и быть меньше по стоимости, чем чтобы силы на краях изображения преодолевали силу накачивания.

При использовании модели воздушного шара возникают три проблемы:

  • Вместо того, чтобы сжиматься, змейка расширяется до минимумов и не находит контуров минимумов меньше их.
  • Внешняя сила приводит к тому, что контур немного больше фактических минимумов. Это можно решить, уменьшив силу баллона после того, как будет найдено стабильное решение.
  • Сила накачивания может пересилить силы от слабых краев, усугубляя проблему из-за того, что змеи игнорируют более слабые элементы изображения.

Модель диффузных змей

Модель диффузной змеи[7] устраняет чувствительность змей к шуму, беспорядку и непрозрачности. Реализует модификацию Функционал Мамфорда – Шаха и его предел мультипликации и включает статистические знания формы. Функционал энергии изображения по умолчанию заменяется на

куда основан на модифицированном функционале Мамфорда – Шаха

куда - кусочно гладкая модель изображения домена . Границы определены как

куда являются квадратичными базисными B-сплайн-функциями и являются контрольными точками шлицев. Модифицированный предел мультипликации получается как и является допустимой конфигурацией .

Функционал основан на обучении по бинарным изображениям различных контуров и контролируется по силе параметром . Для гауссовского распределения векторов контрольных точек со средним вектором контрольной точки и ковариационная матрица квадратичная энергия, соответствующая гауссовской вероятности, равна

Сила этого метода зависит от мощности обучающих данных, а также от настройки модифицированного функционала Мамфорда – Шаха. Для разных змей потребуются разные наборы данных для обучения и настройки.

Геометрические активные контуры

Геометрический активный контур или геодезический активный контур (GAC)[8] или конформные активные контуры[9] использует идеи из Сокращение евклидовой кривой эволюция. Контуры разделяются и объединяются в зависимости от обнаружения объектов на изображении. Эти модели во многом вдохновлены наборы уровней, и широко использовались в обработка медицинских изображений.

Например, уравнение эволюции кривой градиентного спуска GAC имеет вид [8]

куда это функция остановки, c множитель Лагранжа, кривизна, а - это единица, направленная внутрь нормально. Эта конкретная форма уравнения эволюции кривой зависит только от скорости в нормальном направлении. Следовательно, его можно эквивалентно переписать в эйлеровой форме, вставив функция установки уровня в него следующим образом

Это простое, но мощное преобразование набора уровней позволяет активным контурам обрабатывать изменения топологии во время эволюции кривой градиентного спуска. Он вдохновил на огромный прогресс в смежных областях, и использование численных методов для решения переформулировки набора уровней теперь широко известно как метод установки уровня. Хотя метод установки уровня стал довольно популярным инструментом для реализации активных контуров, Ван и Чан утверждали, что не все уравнения эволюции кривых должны быть напрямую решено этим.[10]

Более поздние разработки в области активных контуров касаются моделирования региональных свойств, включения априорных значений гибкой формы и полностью автоматической сегментации и т. Д.

Статистические модели, сочетающие локальные и глобальные особенности, были сформулированы Лэнктоном и Аллен Танненбаум.[11]

Связь с разрезами графа

Разрезы графа, или же макс. расход / мин. резка, является общим методом минимизации особой формы энергии, называемой энергией марковского случайного поля (MRF). Метод разрезов графика также применялся к сегментации изображения, и иногда он превосходит метод установки уровня, когда модель является MRF или может быть аппроксимирована MRF.

Рекомендации

  1. ^ а б Касс, М .; Виткин, А.; Терзопулос, Д. (1988). «Змеи: активные контурные модели» (PDF). Международный журнал компьютерного зрения. 1 (4): 321. CiteSeerX  10.1.1.124.5318. Дои:10.1007 / BF00133570. Архивировано из оригинал (PDF) на 2016-01-12. Получено 2015-08-29.
  2. ^ Змеи: активная модель, Рамани Пичумани, http://homepages.inf.ed.ac.uk/rbf/CVonline/LOCAL_COPIES/RAMANI1/node31.html
  3. ^ Д-р Джордж Бебис, Университет Невады, http://www.cse.unr.edu/~bebis/CS791E/Notes/DeformableContours.pdf
  4. ^ Понимание изображения, Брайан С. Морс, Университет Бригама Янга, 1998–2000 гг. http://homepages.inf.ed.ac.uk/rbf/CVonline/LOCAL_COPIES/MORSE/iu.pdf
  5. ^ а б c Лоран Д. Коэн, Об активных контурных моделях и воздушных шарах, CVGIP: Image Understanding, Volume 53, Issue 2, March 1991, Pages 211–218, ISSN 1049-9660, Дои:10.1016 / 1049-9660 (91) 90028-Н
  6. ^ Ч. Сюй и Дж. Л. Принс, "Векторный градиентный поток: новая внешняя сила для змей", Proc. IEEE Conf. на комп. Vis. Патт. Recog. (CVPR), Лос-Аламитос: Comp. Soc. Press, стр. 66–71, июнь 1997 г., http://iacl.ece.jhu.edu/pubs/p087c.pdf
  7. ^ Cremers, D .; Schnorr, C .; Вейкерт, Дж. (2001). Диффузионные змеи: объединение статистических данных о формах и информации об изображениях в вариационной структуре. Ход работы. Семинар IEEE по. 50. С. 137–144. CiteSeerX  10.1.1.28.3639. Дои:10.1109 / VLSM.2001.938892. ISBN  978-0-7695-1278-5.
  8. ^ а б Геодезические активные контуры, В. Казеллес, Р. Киммель, Дж. Сапиро http://citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.21.2196
  9. ^ Потоки конформной кривизны: от фазовых переходов к активному зрению, Сатьянад Киченассами, Арун Кумар, Питер Олвер, Аллен Танненбаум и Энтони Йеззи https://doi.org/10.1007%2FBF00379537
  10. ^ Ван, Цзюньянь; Чан, Кап Лук (2014-07-08). «Активный контур с тангенциальной составляющей». Журнал математической визуализации и зрения. 51 (2): 229–247. arXiv:1204.6458. Дои:10.1007 / s10851-014-0519-у. ISSN  0924-9907.
  11. ^ Lankton, S .; Танненбаум, А., «Локализация активных контуров на основе области», Обработка изображений, IEEE Transactions on, том 17, № 11, стр. 2029,2039, ноябрь 2008 г. doi: 10.1109 / TIP.2008.2004611 http://ieeexplore.ieee.org/xpls/abs_all.jsp?arnumber=4636741&tag=1

внешняя ссылка

Образец кода