Идентификация нелинейной системы - Nonlinear system identification

Идентификация системы это метод выявления или измерения математическая модель из система от измерений входов и выходов системы. Приложения идентификации системы включают любую систему, в которой можно измерить входы и выходы, и включают: промышленные процессы, Системы управления, экономические данные, биология и Науки о жизни, лекарство, социальные системы и многое другое.

А нелинейная система определяется как любая система, которая не является линейной, то есть любая система, которая не удовлетворяет принцип суперпозиции. Это отрицательное определение скрывает, что существует очень много разных типов нелинейных систем. Исторически сложилось так, что системная идентификация для нелинейных систем^[1][2] был разработан с упором на конкретные классы систем и может быть в целом разделен на пять основных подходов, каждый из которых определяется классом модели:

1. Вольтерра серия модели
2. Блочно-структурированные модели,
3. Нейронная сеть модели
4. Модели NARMAX и
5. Государственное пространство модели.

Для идентификации системы необходимо выполнить четыре шага: сбор данных, постулат модели, идентификация параметров и проверка модели. Сбор данных считается первой и важной частью терминологии идентификации, используемой в качестве исходных данных для модели, которая будет подготовлена ​​позже. Он состоит из выбора подходящего набора данных, предварительной обработки и обработки. Он включает в себя реализацию известных алгоритмов вместе с записью полетных лент, хранением данных и управлением данными, калибровкой, обработкой, анализом и представлением. Более того, проверка модели необходима, чтобы получить уверенность в конкретной модели или отвергнуть ее. В частности, оценка параметров и проверка модели являются неотъемлемыми частями идентификации системы. Валидация относится к процессу подтверждения концептуальной модели и демонстрации адекватного соответствия между результатами вычислений модели и фактическими данными.^[3]

Методы серии Вольтерра

В ранних работах преобладали методы, основанные на Вольтерра серия, который в случае дискретного времени может быть выражен как

${\displaystyle {\begin{aligned}y(k)&=h_{0}+\sum \limits _{m_{1}=1}^{M}h_{1}(m_{1})u(k-m_{1})+\sum \limits _{m_{1}=1}^{M}\sum \limits _{m_{2}=1}^{M}h_{2}(m_{1},m_{2})u(k-m_{1})u(k-m_{2})\\&{}\quad {}+\sum \limits _{m_{1}=1}^{M}\sum \limits _{m_{2}=1}^{M}\sum \limits _{m_{3}=1}^{M}h_{3}(m_{1},m_{2},m_{3})u(k-m_{1})u(k-m_{2})u(k-m_{3})+\cdots \end{aligned}}}$

куда ты(k), у(k); k = 1, 2, 3, ... - измеренные вход и выход соответственно и ${\displaystyle h_{\ell }(m_{1},\ldots ,m_{\ell })}$ это лядро Вольтерра-го порядка, или лНелинейная импульсная характеристика-го порядка. Серия Вольтерра является продолжением линейного свертка интеграл. Большинство более ранних алгоритмов идентификации предполагали, что присутствуют только первые два, линейное и квадратичное, ядра Вольтерра и использовали специальные входные данные, такие как гауссовский белый шум и методы корреляции, для идентификации двух ядер Вольтерра. В большинстве этих методов входные данные должны быть гауссовскими и белыми, что является серьезным ограничением для многих реальных процессов. Позднее эти результаты были расширены, чтобы включить первые три ядра Volterra, чтобы обеспечить возможность ввода различных данных и другие связанные разработки, включая Винера серия. Винер, Ли, Бозе и его коллеги из Массачусетского технологического института разработали очень важную работу с 1940-х по 1960-е годы, включая знаменитый метод Ли и Шетцена.^[4][5] Хотя эти методы все еще активно изучаются сегодня, существует несколько основных ограничений. К ним относятся необходимость знать количество членов ряда Вольтерра априори, использование специальных входных данных и большое количество оценок, которые необходимо идентифицировать. Например, для системы, в которой ядро ​​Вольтерра первого порядка описывается, скажем, 30 выборками, 30x30 точек потребуется для ядра второго порядка, 30x30x30 для третьего порядка и так далее, и, следовательно, количество данных, необходимых для получения хороших оценок, становится равным. чрезмерно большой.^[6] Эти числа можно уменьшить, используя определенные симметрии, но требования по-прежнему являются чрезмерными, независимо от того, какой алгоритм используется для идентификации.

Блочно-структурированные системы

Из-за проблем идентификации моделей Вольтерра были исследованы другие формы моделей в качестве основы для идентификации нелинейных систем. Были введены или повторно представлены различные формы блочных нелинейных моделей.^[6][7] Модель Хаммерштейна состоит из статического однозначного нелинейного элемента, за которым следует линейный динамический элемент.^[8] Модель Винера является обратной этой комбинации, так что линейный элемент находится перед статической нелинейной характеристикой.^[9] Модель Винера-Хаммерштейна состоит из статического нелинейного элемента, зажатого между двумя динамическими линейными элементами, и доступны несколько других форм модели. Модель Хаммерштейна-Винера состоит из линейного динамического блока, зажатого между двумя статическими нелинейными блоками. ^[10]. Модель Урысона ^[11][12] отличается от других блочных моделей, он не состоит из последовательных линейных и нелинейных блоков, но описывает как динамические, так и статические нелинейности в выражении ядра оператора^[13]. Все эти модели могут быть представлены серией Volterra, но в этом случае ядра Volterra в каждом случае принимают особую форму. Идентификация состоит из методов на основе корреляции и оценки параметров. Методы корреляции используют определенные свойства этих систем, что означает, что если используются определенные входные данные, часто белый гауссовский шум, отдельные элементы можно идентифицировать по одному. Это приводит к управляемым требованиям к данным, и отдельные блоки иногда могут быть связаны с компонентами в исследуемой системе.

Более поздние результаты основаны на оценке параметров и решениях на основе нейронных сетей. Было представлено много результатов, и эти системы продолжают углубляться. Одна из проблем состоит в том, что эти методы применимы только к очень специальной форме модели в каждом случае, и обычно эта форма модели должна быть известна до идентификации.

Нейронные сети

Искусственные нейронные сети попробуйте свободно имитировать сеть нейронов в мозгу, где вычисления происходят с помощью большого количества простых элементов обработки. Типичная нейронная сеть состоит из ряда простых процессоров, связанных между собой, образуя сложную сеть. Слои таких модулей организованы таким образом, что данные вводятся на входном уровне и проходят через один или несколько промежуточных слоев, прежде чем попасть на выходной уровень. В контролируемое обучение сеть обучается, оперируя разницей между фактическим и желаемым выходом сети, ошибкой прогнозирования, чтобы изменить силу соединения между узлами. Путем итерации веса изменяются до тех пор, пока ошибка вывода не достигнет приемлемого уровня. Этот процесс называется машинным обучением, потому что сеть регулирует веса таким образом, чтобы воспроизводился выходной паттерн. Нейронные сети были тщательно изучены, и есть много отличных учебников, посвященных этой теме в целом.^[1][14] и более специализированные учебники, в которых особое внимание уделяется системам управления и приложениям.^[1][15]Существует два основных типа задач, которые можно изучать с помощью нейронных сетей: статические задачи и динамические задачи. Статические проблемы включают распознавание образов, классификация, и приближение. Динамические проблемы связаны с запаздывающими переменными и больше подходят для идентификации системы и связанных приложений. В зависимости от архитектуры сети задача обучения может быть либо нелинейной по параметрам, которая включает оптимизацию, либо линейной по параметрам, которая может быть решена с использованием классических подходов. Алгоритмы обучения можно разделить на контролируемое, неконтролируемое обучение или обучение с подкреплением. Нейронные сети обладают отличными аппроксимационными свойствами, но обычно они основаны на результатах аппроксимации стандартных функций, например, с использованием Weierstrass Теорема, которая одинаково хорошо применима к многочленам, рациональным функциям и другим хорошо известным моделям. Нейронные сети широко применяются для решения проблем идентификации систем, которые связаны с нелинейными и динамическими отношениями. Однако классические нейронные сети - это чисто статические аппроксимирующие машины. Внутри сети динамики нет. Следовательно, при подгонке динамических моделей вся динамика возникает за счет выделения запаздывающих входов и выходов входному слою сети. Затем процедура обучения создает наилучшее статическое приближение, которое связывает лаговые переменные, назначенные входным узлам, с выходными. Существуют более сложные сетевые архитектуры, включая повторяющиеся сети,^[1] которые создают динамику, вводя во входные узлы возрастающие порядки запаздывающих переменных. Но в этих случаях очень легко переопределить задержки, что может привести к переобучению и плохим свойствам обобщения. У нейронных сетей есть несколько преимуществ; они концептуально просты, легки в обучении и использовании, обладают отличными аппроксимирующими свойствами, важна концепция локальной и параллельной обработки, которая обеспечивает целостность и отказоустойчивое поведение. Самая большая критика классических моделей нейронных сетей заключается в том, что созданные модели полностью непрозрачны и обычно не могут быть записаны или проанализированы. Поэтому очень сложно узнать, что к чему, проанализировать модель или вычислить динамические характеристики по модели. Некоторые из этих моментов актуальны не для всех приложений, но они предназначены для динамического моделирования.

Методы NARMAX

В понлайнар ауторпрогрессивный мовладевать асредняя модель с eИксприродные входы (модель NARMAX) могут представлять широкий класс нелинейных систем,^[2] и определяется как

${\displaystyle {\begin{aligned}y(k)&=F[y(k-1),y(k-2),\ldots ,y(k-n_{y}),u(k-d),u(k-d-1),\ldots ,u(k-d-n_{u}),\\&{}\quad e(k-1),e(k-2),\ldots ,e(k-n_{e})]+e(k)\end{aligned}}}$

куда у(k), ты(k) и е(k) - выходные, входные и шумовые последовательности системы соответственно; ${\displaystyle n_{y}}$, ${\displaystyle n_{u}}$, и ${\displaystyle n_{e}}$ - максимальные лаги для выхода, входа и шума системы; F [•] - некоторая нелинейная функция, d - время задержки, обычно устанавливаемое на d = 1. Модель, по сути, представляет собой расширение прошлых входов, выходов и шумов. Поскольку шум моделируется явно, несмещенные оценки модели системы могут быть получены в присутствии ненаблюдаемого высококоррелированного и нелинейного шума. Вольтерра, блочно-структурированные модели и многие архитектуры нейронных сетей могут рассматриваться как подмножества модели NARMAX. С момента появления NARMAX, доказывая, какой класс нелинейных систем может быть представлена ​​этой моделью, на основе этого описания были получены многие результаты и алгоритмы. Большая часть ранних работ была основана на полиномиальных расширениях модели NARMAX. Это все еще самые популярные методы сегодня, но другие, более сложные формы, основанные на вейвлеты и другие расширения были введены для представления сильно нелинейных и очень сложных нелинейных систем. Значительная часть нелинейных систем может быть представлена ​​моделью NARMAX, включая системы с экзотическим поведением, такие как хаос, бифуркации, и субгармоники. В то время как NARMAX начинался как название модели, теперь он превратился в философию идентификации нелинейных систем.^[2] Подход NARMAX состоит из нескольких этапов:

• Определение структуры: какие термины присутствуют в модели
• Оценка параметров: определение коэффициентов модели
• Проверка модели: является ли модель объективной и правильной
• Прогноз: каков результат в будущем
• Анализ: каковы динамические свойства системы

Обнаружение структуры составляет наиболее фундаментальную часть NARMAX. Например, модель NARMAX, которая состоит из одного запаздывающего входного и одного запаздывающего выходных членов, трех запаздывающих шумовых членов, развернутых в виде кубического полинома, будет состоять из восьмидесяти двух возможных членов-кандидатов. Такое количество возможных членов возникает из-за того, что расширение по определению включает все возможные комбинации в рамках кубического расширения. Наивный подход к оценке модели, включающей все эти термины, с последующим отсечением приведет к численным и вычислительным проблемам, и этого следует всегда избегать. Однако в модели часто важны лишь несколько членов. Поэтому критически важно обнаружение структуры, которое направлено на выбор терминов по одному. Этих целей легко достичь, используя метод наименьших квадратов. ^[2] алгоритм и его производные для выбора членов модели NARMAX по одному. Эти идеи также могут быть адаптированы для распознавание образов и выбор функции и предоставить альтернативу Анализ главных компонентов но с тем преимуществом, что функции раскрываются как базовые функции, которые легко связаны с исходной проблемой.
Методы NARMAX предназначены не только для поиска наилучшей аппроксимирующей модели. Идентификацию системы можно разделить на две цели. Первый включает аппроксимацию, где ключевой целью является разработка модели, которая аппроксимирует набор данных, чтобы можно было делать хорошие прогнозы. Есть много приложений, в которых уместен этот подход, например, для прогнозирования погодных условий, цен на акции, речи, отслеживания целей, классификации шаблонов и т. Д. В таких приложениях форма модели не так важна. Цель состоит в том, чтобы найти схему аппроксимации, которая дает минимальные ошибки прогнозирования. Вторая цель идентификации системы, которая включает первую цель как подмножество, включает в себя гораздо больше, чем просто поиск модели для достижения наилучших среднеквадратичных ошибок. Эта вторая цель является причиной разработки философии NARMAX и связана с идеей поиска простейшей структуры модели. Цель здесь - разработать модели, воспроизводящие динамические характеристики базовой системы, найти простейшую возможную модель и, если возможно, связать ее с компонентами и поведением исследуемой системы. Таким образом, основная цель этого второго подхода к идентификации состоит в том, чтобы идентифицировать и раскрыть правило, которое представляет систему. Эти цели имеют отношение к моделированию моделирования и проектированию систем управления, но все чаще используются для приложений в медицине, неврологии и науках о жизни. Здесь цель состоит в том, чтобы идентифицировать модели, часто нелинейные, которые можно использовать для понимания основных механизмов работы и поведения этих систем, чтобы мы могли манипулировать ими и использовать их. Методы NARMAX также были разработаны в частотной и пространственно-временной областях.

Стохастические нелинейные модели

В общем случае может случиться так, что некоторое внешнее неопределенное возмущение проходит через нелинейную динамику и влияет на выходы. Класс модели, который является достаточно общим, чтобы отразить эту ситуацию, - это класс стохастических нелинейных модели в пространстве состояний. Модель в пространстве состояний обычно получается с использованием первых принципов законов,^[16] такие как механические, электрические или термодинамические физические законы, и определяемые параметры обычно имеют какое-то физическое значение или значение.

Модель в пространстве состояний с дискретным временем может быть определена с помощью разностных уравнений:

${\displaystyle {\begin{aligned}x_{t+1}&=f(x_{t},u_{t},w_{t};\theta ),\\y_{t}&=g(x_{t},u_{t},v_{t};\theta ),\quad t=1,2,\dots \end{aligned}}}$

в котором ${\displaystyle t}$ положительное целое число, относящееся ко времени. Функции ${\displaystyle f}$ и ${\displaystyle g}$ - общие нелинейные функции. Первое уравнение известно как уравнение состояния, а второе - как уравнение выхода. Все сигналы моделируются с использованием случайные процессы. Процесс ${\displaystyle x_{t}}$ называется государственным процессом, ${\displaystyle w_{t}}$ и ${\displaystyle v_{t}}$ обычно предполагаются независимый и взаимно независимы, так что ${\displaystyle w_{t}\sim p(w;\theta ),\;v_{t}\sim p(v;\theta )}$. Параметр ${\displaystyle \theta }$ обычно является конечномерным (реальным) параметром, подлежащим оценке (с использованием экспериментальных данных). Обратите внимание, что процесс состояния не обязательно должен быть физическим сигналом, и обычно он не наблюдается (не измеряется). Набор данных представлен как набор пар ввода-вывода. ${\displaystyle (y_{t},u_{t})}$ за ${\displaystyle t=1,\dots ,N}$ для некоторого конечного положительного целого значения ${\displaystyle N}$.

К сожалению, из-за нелинейного преобразования ненаблюдаемых случайных величин функция правдоподобия выходов аналитически сложно решить; он дается в виде многомерного интеграла маргинализации. Следовательно, часто используемые методы оценки параметров, такие как Метод максимального правдоподобия или метод ошибки предсказания на основе оптимального предсказателя на один шаг вперед^[16] аналитически неразрешимы. В последнее время алгоритмы на основе последовательный Монте-Карло методы были использованы для аппроксимации условного среднего выходных значений или, в сочетании с Ожидание-максимизация алгоритм, чтобы аппроксимировать оценку максимального правдоподобия.^[17] Эти методы, хотя и асимптотически оптимальны, требуют вычислений, и их использование ограничено конкретными случаями, когда можно избежать фундаментальных ограничений применяемых фильтров частиц. Альтернативным решением является применение метода ошибки предсказания с использованием неоптимального предсказателя.^[18][19][20] Можно показать, что полученная оценка является строго согласованной и асимптотически нормальной и может быть оценена с использованием относительно простых алгоритмов.^[21][20]

Смотрите также

• Математический портал

• Модель серого ящика
• Статистическая модель

Рекомендации

1. Неллес О. "Идентификация нелинейных систем: от классических подходов к нейронным сетям". Springer Verlag, 2001 г.
2. Billings S.A. "Нелинейная идентификация систем: методы NARMAX во временной, частотной и пространственно-временной областях". Вайли, 2013
3. Несай, Сепер; Раиси, Камран (01.12.2011). Das, Vinu V .; Арива, Эзенду; Rahayu, Syarifah Bahiyah (ред.). Рассмотрение обработки данных и проверка модели при идентификации системы летательного аппарата. Конспект лекций Института компьютерных наук, социальной информатики и телекоммуникационной техники. Springer Berlin Heidelberg. С. 269–274. Дои:10.1007/978-3-642-32573-1_46. ISBN  978-3-642-32572-4.
4. Шетцен М. "Теории Вольтерра и Винера нелинейных систем". Вайли, 1980
5. Rugh W.J. "Теория нелинейных систем - подход Вольтерра Винера". Издательство Университета Джона Хопкинса, 1981
6. Billings S.A. "Идентификация нелинейных систем: обзор ". IEE Proceedings Part D 127 (6), 272–285,1980
7. Хабер Р., Кевички Л. "Подход к моделированию нелинейной идентификации системы - входа и выхода". Том I и II, Kluwer, 1980
8. Хаммерштейн (Acta Math 1930) занимался не системным анализом, а краевыми задачами и собственными значениями нелинейных операторов.
9. Этот термин широко используется, но он неточен, поскольку Винер никогда не использовал эту простую модель. Его модель была дана сразу после стр. 50 в обзоре Биллингса 1980 г., о котором говорится в ссылках ниже.
10. А. Уиллс, Т. Шён, Л. Люнг, Б. Ниннесс, Идентификация моделей Хаммерштейна – Винера, Automatica 29 (2013), 70-81
11. М.Полуэктов и А.Поляр. Моделирование нелинейных систем управления с помощью дискретного оператора урысона. 2018. Отправлено arXiv: 1802.01700.
12. A.Polar. http://ezcodesample.com/urysohn/urysohn.html
13. М.Полуэктов и А.Поляр. Адаптивный фильтр Урысона. 2019.
14. Хайкин С. "Нейронные сети: комплексный фундамент". Макмиллан, 1999 г.
15. Уорвик К., Ирвин Г.В., Хант К.Дж. «Нейронные сети для управления и систем». Питер Перегринус, 1992
16. Леннарт., Льюнг (1999). Идентификация системы: теория для пользователя (2-е изд.). Река Аппер Сэдл, Нью-Джерси: Prentice Hall PTR. ISBN  978-0136566953. OCLC  38884169.
17. Schön, Thomas B .; Линдстен, Фредрик; Далин, Йохан; Вогберг, Йохан; Naesseth, Christian A .; Свенссон, Андреас; Дай, Лян (2015). «Последовательные методы Монте-Карло для идентификации систем **. Работа была поддержана проектами« Обучение сложных динамических систем »(номер контракта: 637-2014-466) и« Вероятностное моделирование динамических систем »(номер контракта: 621-2013-5524), оба финансируется Шведским исследовательским советом ". Документы IFACOnLine. 48 (28): 775–786. arXiv:1503.06058. Дои:10.1016 / j.ifacol.2015.12.224.
18. М. Абдалмоаты, «Изучение стохастических нелинейных динамических систем с использованием нестационарных линейных предикторов», Лицензионная диссертация, Стокгольм, Швеция, 2017. Урна: nbn: se: kth: diva-218100
19. Абдалмоати, Мохамед Рашид; Hjalmarsson, Håkan (2017). «Моделируемая псевдо-максимальная правдоподобная идентификация нелинейных моделей». Документы IFACOnLine. 50 (1): 14058–14063. Дои:10.1016 / j.ifacol.2017.08.1841.
20. Абдалмоати, Мохамед (2019). «Идентификация стохастических нелинейных динамических моделей с использованием оценивающих функций». Дива.
21. Абдалмоати, Мохамед Рашид-Хилми; Хьялмарссон, Хокан (2019). «Методы линейного прогнозирования ошибок для стохастических нелинейных моделей». Automatica. 105: 49–63. Дои:10.1016 / j.automatica.2019.03.006.

дальнейшее чтение

• Леннарт Юнг: Идентификация системы - теория для пользователя, 2-е изд., PTR Prentice Hall, Upper Saddle River, N.J., 1999.
• Р. Пинтелон, Дж. Сукенс, Идентификация системы: подход в частотной области, IEEE Press, Нью-Йорк, 2001. ISBN  978-0-7803-6000-6
• Т. Седерстрём, П. Стойка, Идентификация системы, Prentice Hall, Upper Saddle River, Нью-Джерси, 1989. ISBN  0-13-881236-5
• Р. К. Пирсон: Дискретно-временные динамические модели. Издательство Оксфордского университета, 1999.
• П. Мармарелис, В. Мармарелис, В. Анализ физиологических систем, Пленум, 1978.
• К. Уорден, Г. Р. Томлинсон, Нелинейность в структурной динамике, Издательство Института Физики, 2001.