Отображение данных - Data mapping

Преобразование данных
Концепции
Языки трансформации
Техники и трансформации
Приложения
Связанный

В вычисление и управление данными, отображение данных это процесс создания элемент данных сопоставления между двумя разными модели данных. Отображение данных используется в качестве первого шага для самых разных интеграция данных задачи, в том числе:[1]

  • Преобразование данных или же передача данных между источником данных и местом назначения
  • Идентификация отношений данных как часть происхождение данных анализ
  • Обнаружение скрытых конфиденциальных данных, таких как последние четыре цифры номера социального страхования, скрытых в другом идентификаторе пользователя как часть маскировки данных или деидентификация проект
  • Укрепление из нескольких баз данных в единую базу данных и определение избыточных столбцов данных для консолидации или исключения

Например, компания, которая хотела бы передавать и получать покупки и счета с другими компаниями, может использовать сопоставление данных для создания карт данных из данных компании в стандартизованные ANSI ASC X12 сообщения для таких товаров, как заказы на покупку и счета-фактуры.

Стандарты

Стандарты X12 являются общими Обмен электронными данными (EDI) стандарты, позволяющие Компания обменять данные с любой другой компанией, независимо от отрасли. Стандарты поддерживаются Аккредитованным комитетом по стандартам X12 (ASC X12), при этом Американский национальный институт стандартов (ANSI) аккредитована для установления стандартов EDI. Стандарты X12 часто называют ANSI ASC X12 стандарты.

В будущем инструменты на основе семантическая сеть языки, такие как Структура описания ресурсов (RDF), Язык веб-онтологий (OWL) и стандартизированные реестр метаданных сделает отображение данных более автоматическим процессом. Этот процесс будет ускорен, если каждое приложение выполняется публикация метаданных. Полностью автоматизированное отображение данных - очень сложная проблема (см. семантический перевод ).

Написанное вручную графическое руководство

Сопоставления данных могут выполняться различными способами с использованием процедурного кода, создавая XSLT преобразования или с помощью инструментов графического отображения, которые автоматически создают исполняемые программы преобразования. Это графические инструменты, которые позволяют пользователю «рисовать» линии от полей одного набора данных к полям другого. Некоторые инструменты графического отображения данных позволяют пользователям «автоматически связывать» источник и место назначения. Эта функция зависит от источника и назначения имя элемента данных быть таким же. Программы трансформации создаются автоматически в SQL, XSLT, Язык программирования Java, или же C ++. Подобные графические инструменты можно найти в большинстве ETL (извлечение, преобразование и загрузка) в качестве основного средства ввода карт данных для поддержки перемещения данных. Примеры включают SAP BODS и Informatica PowerCenter.

Картирование на основе данных

Это новейший подход к отображению данных, который включает одновременную оценку фактических значений данных в двух источниках данных с использованием эвристики и статистики для автоматического обнаружения сложных сопоставлений между двумя наборами данных. Этот подход используется для поиска преобразований между двумя наборами данных, обнаружения подстрок, конкатенаций, арифметика, операторы case, а также другие виды логики преобразования. Этот подход также обнаруживает исключения данных, которые не соответствуют обнаруженной логике преобразования.

Семантическое отображение

Семантическое отображение аналогична функции автоматического подключения средств отображения данных за исключением того, что реестр метаданных можно проконсультироваться, чтобы найти синонимы элементов данных. Например, если исходная система перечисляет Имя но списки назначения PersonGivenName, сопоставления все равно будут выполнены, если эти элементы данных указаны как синонимы в реестре метаданных. Семантическое сопоставление может только обнаруживать точные совпадения между столбцами данных и не обнаруживает никакой логики преобразования или исключений между столбцами.

Происхождение данных - это отслеживание жизненного цикла каждой части данных по мере того, как она принимается, обрабатывается и выводится системой аналитики. Это обеспечивает наглядность конвейера аналитики и упрощает отслеживание ошибок до их источников. Это также позволяет воспроизводить определенные части или входы потока данных для пошаговой отладки или восстановления потерянного вывода. Фактически, системы баз данных уже использовали такую ​​информацию, называемую происхождением данных, для решения аналогичных задач проверки и отладки.[2]

Смотрите также

Рекомендации

  1. ^ Шахбаз, К. (2015). Отображение данных для проектирования хранилищ данных. Эльзевир. п. 180. ISBN  9780128053355. Получено 29 мая 2018.
  2. ^ Де, Сумьярупа. (2012). Newt: архитектура для воспроизведения и отладки на основе происхождения в системах DISC. Калифорнийский университет в Сан-Диего: b7355202. Извлекаются из: https://escholarship.org/uc/item/3170p7zn

внешняя ссылка