Информационные нечеткие сети - Information fuzzy networks

Информационные нечеткие сети (IFN) это жадный машинное обучение алгоритм за контролируемое обучение. структура данных формируемый алгоритмом обучения, также называется информационной нечеткой сетью. конструкция IFN очень похожа на деревья решений ' конструкция. Однако IFN строит ориентированный граф а не дерево.IFN также использует условная взаимная информация метрика для выбора функций на этапе строительства, в то время как деревья решений обычно используют другие метрики, такие как энтропия или же Джини.

IFN и этапы процесса открытия знаний

Атрибуты IFN

  1. Модель IFN частично решает проблему фрагментации, которая возникает в деревьях решений (чем глубже узел, тем меньше записей он представляет. Следовательно, количество записей может быть слишком низким для Статистическая значимость индикация), поскольку на каждом слое используется весь набор записей.
  2. Каждый узел внутри сети называется внутренним или скрытым узлом.
  3. В IFN каждая переменная может появляться только в одном слое, и в слое не может быть более одного атрибута. Не все атрибуты должны использоваться.
  4. Увеличение условного MI целевой переменной после построения сети равно сумме увеличения условного MI во всех слоях.
  5. В дуги от конечных узлов до узлов целевой переменной взвешиваются (конечные узлы - это узлы, напрямую подключенные к узлам целевой переменной). Вес условная взаимная информация из-за дуги.
  6. IFN сравнивали на нескольких общих наборах данных с c4.5 Древо решений алгоритм. В модели IFN обычно используется меньше переменных и меньше узлов. В точность IFN было меньше, чем в дереве решений. Модель IFN обычно более устойчива, а это означает, что небольшие изменения в обучающей выборке повлияют на нее меньше, чем в других моделях.

Алгоритм построения IFN

Вход: список входных переменных, которые можно использовать, список записей данных (обучающий набор) и минимальная статистическая значимость, используемая для принятия решения о том, разделять узел или нет (по умолчанию 0,1%).

  1. Создайте корневой узел и слой целевой переменной.
  2. Повторяйте цикл до тех пор, пока мы не израсходуем все атрибуты или пока не сможем улучшить условная взаимная информация больше с любым Статистическая значимость.
    1. Найдите атрибут с максимальным условная взаимная информация.
    2. Убедитесь, что вклад атрибута имеет статистическую значимость, используя тест отношения правдоподобия.
    3. Разделите любой узел в предыдущем слое, если вклад текущего атрибута имеет статистическую значимость. В противном случае создайте узел из этого узла в один из узлов значений целевой переменной в соответствии с принцип большинства.
  3. возвращает список переменных, выбранных для использования сетью и самой сетью.

внешняя ссылка