Эллипсоидный метод - Ellipsoid method

Итерация метода эллипсоида

В математическая оптимизация, то эллипсоидный метод является итерационный метод для сведение к минимуму выпуклые функции. Когда специализируется на решении выполнимых линейная оптимизация проблемы с рациональными данными, метод эллипсоидов является алгоритм которая находит оптимальное решение за конечное число шагов.

Метод эллипсоида генерирует последовательность эллипсоиды объем которого равномерно уменьшается на каждом шаге, таким образом заключая минимизатор выпуклая функция.

История

Эллипсоидный метод имеет долгую историю. Как итерационный метод, предварительная версия была представлена Наум З. Шор. В 1972 г. алгоритм аппроксимации серьезно выпуклая минимизация был изучен Аркадий Немировский и Давид Б. Юдин (Юдин). Как алгоритм решения линейное программирование В задачах с рациональными данными алгоритм эллипсоида изучался Леонид Хачиян: Достижением Хачияна было доказать полиномиальное время разрешимость линейных программ.

После работы Хачияна метод эллипсоидов был единственным алгоритмом для решения линейных программ, время выполнения которых было доказано как полиномиальное до тех пор, пока Алгоритм Кармаркара. Однако Кармаркар метод внутренней точки и варианты симплексный алгоритм намного быстрее, чем метод эллипсоида на практике. Алгоритм Кармаркара в худшем случае также работает быстрее.

Однако эллипсоидальный алгоритм позволяет теоретики сложности для достижения (в худшем случае) границ, которые зависят от размера проблемы и размера данных, но не от количества строк, поэтому это оставалось важным в комбинаторная оптимизация теория на долгие годы.^[1][2][3][4] Только в 21 веке появились алгоритмы внутренней точки с аналогичными свойствами сложности.^{[нужна цитата ]}

Описание

Основная статья: Выпуклая оптимизация

Задача выпуклой минимизации состоит из выпуклая функция ${displaystyle f_{0}(x):mathbb {R} ^{n} o mathbb {R} }$ быть минимизированным по переменной Икс, выпуклые ограничения-неравенства вида ${displaystyle f_{i}(x)leqslant 0}$, где функции ${displaystyle f_{i}}$ выпуклые, а ограничения линейного равенства вида ${displaystyle h_{i}(x)=0}$. Нам также дается начальная эллипсоид ${displaystyle {mathcal {E}}^{(0)}subset mathbb {R} ^{n}}$ определяется как

${displaystyle {mathcal {E}}^{(0)}=left{zin mathbb {R} ^{n} : (z-x_{0})^{T}P_{(0)}^{-1}(z-x_{0})leqslant 1ight}}$

содержащий минимизатор ${displaystyle x^{*}}$, где ${displaystyle P_{(0)}succ 0}$ и ${displaystyle x_{0}}$ это центр ${displaystyle {mathcal {E}}}$. Наконец, мы требуем существования рубанок оракул для функции ж. Один из примеров секущей плоскости дается субградиент г из ж.

Безусловная минимизация

На k-й итерации алгоритма имеем точку ${displaystyle x^{(k)}}$ в центре эллипсоида

${displaystyle {mathcal {E}}^{(k)}=left{xin mathbb {R} ^{n} : left(x-x^{(k)}ight)^{T}P_{(k)}^{-1}left(x-x^{(k)}ight)leqslant 1ight}.}$

Мы запрашиваем у оракула отсекающей плоскости вектор ${displaystyle g^{(k+1)}in mathbb {R} ^{n}}$ такой, что

${displaystyle g^{(k+1)T}left(x^{*}-x^{(k)}ight)leqslant 0.}$

Таким образом, мы заключаем, что

${displaystyle x^{*}in {mathcal {E}}^{(k)}cap left{z : g^{(k+1)T}left(z-x^{(k)}ight)leqslant 0ight}.}$

Мы установили ${displaystyle {mathcal {E}}^{(k+1)}}$ быть эллипсоидом минимального объема, содержащим полуэллипсоид, описанный выше, и вычислить ${displaystyle x^{(k+1)}}$. Обновление предоставлено

${displaystyle {egin{aligned}x^{(k+1)}&=x^{(k)}-{frac {1}{n+1}}P_{(k)}{ ilde {g}}^{(k+1)}P_{(k+1)}&={frac {n^{2}}{n^{2}-1}}left(P_{(k)}-{frac {2}{n+1}}P_{(k)}{ ilde {g}}^{(k+1)}{ ilde {g}}^{(k+1)T}P_{(k)}ight)end{aligned}}}$

где

${displaystyle { ilde {g}}^{(k+1)}=left({frac {1}{sqrt {g^{(k+1)T}P_{(k)}g^{(k+1)}}}}ight)g^{(k+1)}.}$

Критерий остановки задается тем свойством, что

${displaystyle {sqrt {g^{(k)T}P_{(k)}g^{(k)}}}leqslant epsilon quad Rightarrow quad fleft(x^{(k)}ight)-fleft(x^{*}ight)leqslant epsilon .}$

Примерная последовательность итераций

${displaystyle k=0}$	${displaystyle k=1}$	${displaystyle k=2}$
${displaystyle k=3}$	${displaystyle k=4}$	${displaystyle k=5}$

Минимизация с учетом неравенства

На k-й итерации алгоритма условной минимизации имеем точку ${displaystyle x^{(k)}}$ в центре эллипсоида ${displaystyle {mathcal {E}}^{(k)}}$ как прежде. Мы также должны вести список ценностей ${displaystyle f_{m {best}}^{(k)}}$ запись наименьшего объективного значения из возможных на данный момент итераций. В зависимости от того, действительно ли дело ${displaystyle x^{(k)}}$ выполнимо, выполняем одну из двух задач:

• Если ${displaystyle x^{(k)}}$ возможно, выполнить практически такое же обновление, что и в случае без ограничений, путем выбора субградиента ${displaystyle g_{0}}$ это удовлетворяет

${displaystyle g_{0}^{T}left(x^{*}-x^{(k)}ight)+f_{0}left(x^{(k)}ight)-f_{m {best}}^{(k)}leqslant 0}$

• Если ${displaystyle x^{(k)}}$ неосуществимо и нарушает j-е ограничение, обновите эллипсоид с разрезом выполнимости. Наш расчет осуществимости может быть субградиентом ${displaystyle g_{j}}$ из ${displaystyle f_{j}}$ который должен удовлетворить

${displaystyle g_{j}^{T}left(z-x^{(k)}ight)+f_{j}left(x^{(k)}ight)leqslant 0}$

для всех возможных z.

Приложение к линейному программированию

Минимизация с учетом неравенства функции, которая всюду равна нулю, соответствует задаче простого определения любой допустимой точки. Оказывается, любую задачу линейного программирования можно свести к задаче линейной выполнимости (например, минимизировать нулевую функцию с учетом некоторых ограничений линейного неравенства и равенства). Один из способов сделать это - объединить прямую и двойственную линейные программы вместе в одну программу и добавить дополнительное (линейное) ограничение, заключающееся в том, что значение прямого решения равно не хуже чем значение двойственного решения. Другой способ - рассматривать цель линейной программы как дополнительное ограничение и использовать двоичный поиск для поиска оптимального значения.^{[нужна цитата ]}

Спектакль

Метод эллипсоидов используется в задачах малой размерности, таких как задачи плоского местоположения, где он численно стабильный. Даже на задачах «небольшого» размера он страдает численной нестабильностью и низкой производительностью на практике.

Однако метод эллипсоидов - важный теоретический метод в комбинаторная оптимизация. В теория сложности вычислений, алгоритм эллипсоида привлекателен тем, что его сложность зависит от количества столбцов и цифрового размера коэффициентов, но не от количества строк. В 21 веке внутренняя точка появились алгоритмы с похожими свойствами^{[нужна цитата ]}.

Заметки

1. М. Грётшель, Л. Ловас, А. Шрайвер: Геометрические алгоритмы и комбинаторная оптимизация, Спрингер, 1988.
2. Л. Ловас: Алгоритмическая теория чисел, графов и выпуклости, CBMS-NSF Regional Conference Series in Applied Mathematics 50, SIAM, Philadelphia, Pennsylvania, 1986.
3. В. Чандру, М. Р. Рао, Линейное программирование, Глава 31 в Справочник по алгоритмам и теории вычислений, Отредактировано М. Дж. Аталлах, CRC Press 1999, с 31-1 по 31-37.
4. В. Чандру, М. Р. Рао, Целочисленное программирование, глава 32 в Справочник по алгоритмам и теории вычислений, отредактированный М.Дж. Аталлахом, CRC Press 1999, с 32-1 по 32-45.

дальнейшее чтение

• Дмитрис Алеврас и Манфред В. Падберг, Линейная оптимизация и расширения: проблемы и расширения, Universitext, Springer-Verlag, 2001. (Задачи Падберга с решениями).
• В. Чандру, М. Р. Рао, Линейное программирование, Глава 31 в Справочник по алгоритмам и теории вычислений, отредактированный М.Дж. Аталлахом, CRC Press 1999, с 31-1 по 31-37.
• В. Чандру, М. Р. Рао, Целочисленное программирование, глава 32 в Справочник по алгоритмам и теории вычислений, отредактированный М.Дж. Аталлахом, CRC Press 1999, с 32-1 по 32-45.
• Джордж Б. Данциг и Мукунд Н. Тапа. 1997 г. Линейное программирование 1: Введение. Springer-Verlag.
• Джордж Б. Данциг и Мукунд Н. Тапа. 2003 г. Линейное программирование 2: теория и расширения. Springer-Verlag.
• Л. Ловас: Алгоритмическая теория чисел, графов и выпуклости, CBMS-NSF Regional Conference Series in Applied Mathematics 50, SIAM, Philadelphia, Pennsylvania, 1986
• Каттта Дж. Мурти, Линейное программирование, Wiley, 1983.
• М. Падберг, Линейная оптимизация и расширения, Второе издание, Springer-Verlag, 1999.
• Христос Х. Пападимитриу и Кеннет Стейглиц, Комбинаторная оптимизация: алгоритмы и сложность, Исправленное переиздание с новым предисловием, Dover.
• Александр Шрайвер, Теория линейного и целочисленного программирования. Джон Уайли и сыновья, 1998 г., ISBN  0-471-98232-6

внешние ссылки

• EE364b, домашняя страница Стэнфордского курса