Постановка (данные) - Staging (data)

А плацдарм, или же зона посадки, является промежуточной областью хранения, используемой для обработки данных во время извлечение, преобразование и загрузка (ETL) процесс. Промежуточная область данных находится между источником (ами) данных и целью (ами) данных, которые часто хранилища данных, витрины данных, или другие хранилища данных.^[1]

Промежуточные области данных часто носят временный характер, их содержимое стирается перед запуском процесса ETL или сразу после успешного завершения процесса ETL. Однако существуют архитектуры промежуточной области, которые предназначены для хранения данных в течение длительных периодов времени для архивирования или устранения неполадок.

Выполнение

Промежуточные области могут быть реализованы в виде таблиц в реляционных базах данных, текстовых плоских файлов (или файлов XML), хранящихся в файловых системах, или двоичных файлов в собственном формате, хранимых в файловых системах.^[2] Архитектуры промежуточной области варьируются по сложности от набора простых реляционных таблиц в целевой базе данных до автономных экземпляров базы данных или файловых систем.^[3] Хотя исходные системы и целевые системы, поддерживаемые процессами ETL, часто являются реляционными базами данных, промежуточные области, которые находятся между источниками данных и целевыми объектами, не обязательно должны быть реляционными базами данных.^[4]

Функции

Промежуточные области могут быть спроектированы таким образом, чтобы обеспечить множество преимуществ, но основными мотивами их использования являются повышение эффективности процессов ETL, обеспечение целостности данных и поддержка операций по обеспечению качества данных. К функциям промежуточной зоны относятся:

Укрепление

Одна из основных функций, выполняемых промежуточной областью, - это консолидация данных из нескольких исходных систем.^[2] При выполнении этой функции промежуточная область действует как большое «ведро», в которое данные из нескольких исходных систем могут быть временно помещены для дальнейшей обработки. Обычно данные в промежуточной области помечаются дополнительными метаданными, указывающими на источник происхождения, и отметками времени, указывающими, когда данные были помещены в промежуточную область.

Выравнивание

Данные согласования включают стандартизацию справочные данные в нескольких исходных системах и проверка взаимосвязей между записями и элементами данных из разных источников.^[2] Согласование данных в промежуточной области - это функция, тесно связанная с и действующая в поддержку, управление основными данными возможности.^[5]

Минимизация конкуренции

Промежуточная область и процессы ETL, которые она поддерживает, часто разрабатываются с целью минимизировать конкуренцию в исходных системах. Копирование необходимых данных из исходных систем в промежуточную область за один раз часто бывает более эффективным, чем получение отдельных записей (или небольших наборов записей) на разовой основе. Первый метод использует преимущества технической эффективности, такие как технологии потоковой передачи данных, снижение накладных расходов за счет минимизации необходимости разрывать и повторно устанавливать соединения с исходными системами и оптимизации управления блокировкой параллелизма в многопользовательских исходных системах. Копируя исходные данные из исходных систем и ожидая выполнения интенсивной обработки и преобразования в промежуточной области, процесс ETL обеспечивает большую степень контроля над проблемы параллелизма во время обработки.

Независимое планирование / несколько целей

Промежуточная область может поддерживать размещение данных, которые должны обрабатываться по независимым расписаниям, и данных, предназначенных для направления на несколько целей.^[2] В некоторых случаях данные могут поступать в промежуточную область в разное время для одновременного хранения и обработки. Такая ситуация может возникнуть, например, когда корпоративная обработка данных выполняется в нескольких часовых поясах каждую ночь. В других случаях данные могут быть перенесены в область подготовки для обработки в разное время; или промежуточная область может использоваться для передачи данных в несколько целевых систем. Например, ежедневные оперативные данные могут быть отправлены в хранилище оперативных данных (ODS) в то время как те же данные могут отправляться в ежемесячной агрегированной форме в хранилище данных.

Обнаружение изменений

Промежуточная область поддерживает эффективные операции обнаружения изменений в целевых системах. Эта функция особенно полезна, когда исходные системы не поддерживают надежные формы обнаружения изменений, такие как принудительная установка временных меток, отслеживание изменений или сбор данных изменений (CDC).

Очищение данных

Очистка данных включает идентификацию и удаление (или обновление) недействительных данных из исходных систем. Процесс ETL, использующий промежуточную область, может использоваться для реализации бизнес-логики для выявления и обработки «недействительных» данных. Недействительные данные часто определяются сочетанием бизнес-правил и технических ограничений. Технические ограничения могут быть дополнительно наложены на структуры промежуточной области (такие как ограничения таблиц в реляционной базе данных) для обеспечения соблюдения правил достоверности данных.^[2]

Предварительный расчет агрегатов

Предварительный расчет агрегатов, сложные вычисления и применение сложной бизнес-логики могут выполняться в промежуточной области для поддержки высокочувствительных соглашений об уровне обслуживания (SLA) для сводной отчетности в целевых системах.^[3]

Архивирование данных и устранение неполадок

Архивирование данных может выполняться в промежуточной области или поддерживаться ею. В этом сценарии промежуточная область может использоваться для ведения исторических записей во время процесса загрузки или может использоваться для передачи данных в целевую структуру архива. Кроме того, данные могут храниться в промежуточной области в течение длительных периодов времени для поддержки технического устранения неполадок процесса ETL.^[3]