Подготовка данных - Data preparation

Подготовка данных это акт манипулирования (или предварительной обработки) необработанные данные (которые могут поступать из разных источников данных) в форму, которая может быть легко и точно проанализирована, например для деловых целей.^[1]

Подготовка данных - это первый шаг в проектах по анализу данных и может включать в себя множество дискретных задач, таких как загрузка или прием данных, слияние данных, очистка данных, увеличение данных, и доставка данных.^[2]

Проблемы, которые необходимо решить, делятся на две основные категории:

систематические ошибки, связанные с большим количеством записей данных, вероятно, потому, что они происходят из разных источников;
отдельные ошибки, влияющие на небольшое количество записей данных, вероятно, из-за ошибок в исходной записи данных.

Спецификация данных

Первый шаг - изложить полную и подробную спецификацию формата каждого поля данных и значения этих записей. При этом следует тщательно учитывать:

самое главное, консультации с пользователями данных
любая доступная спецификация системы, которая будет использовать данные для выполнения анализа
полное понимание имеющейся информации и любых пробелов в исходных данных.

Смотрите также Спецификация определения данных.

Пример

Предположим, есть двухсимвольное буквенное поле, которое указывает географическое положение. Возможно, что в одном источнике данных код «EE» означает «Европа», а в другом источнике данных тот же код означает «Эстония». Потребуется разработать однозначный набор кодов и соответствующим образом изменить код в одном наборе записей.

Кроме того, «географическая зона» может относиться к любому из, например, адрес доставки, адрес для выставления счетов, адрес, с которого поставляются товары, валюта выставления счетов или применимые национальные правила. Все эти вопросы должны быть отражены в спецификации.

В этом поле могут быть записи с «X» или «555». Ясно, что это неверные данные, так как они не соответствуют спецификации. Если таких записей мало, их можно исправить вручную или, если точность не важна, просто удалить эти записи из файла. Другой вариант - создать категорию «неизвестно».

Другие примеры неверных данных, требующих исправления

Телефонные номера имеют правильный формат и правильные значения для территории, указанной в поле географического местоположения. Код страны может присутствовать в одних записях, но не в других: его следует либо удалить, либо вставить (в зависимости от географического положения) в зависимости от спецификации данных. Точно так же форматы дат и единиц измерения (веса, длины) могут быть несовместимыми.
В некоторых случаях недостающие данные должны быть предоставлены из внешних источников (например, поиск почтового индекса адреса через внешний источник данных)
Данные должны быть согласованными между разными, но связанными записями данных (например, один и тот же человек может иметь разные даты рождения в разных записях или наборах данных).

По возможности и с экономической точки зрения данные следует проверять по авторитетному источнику (например, деловая информация сопоставляется с D&B.^{[требуется разъяснение ]} база данных для обеспечения точности)

^[3]^[4]

Учитывая разнообразие источников данных (например, базы данных, бизнес-приложения ), которые предоставляют данные и форматы когда данные могут поступать, подготовка данных может быть довольно сложной и сложной. Есть много инструментов и технологий^[5] которые используются для подготовки данных. Стоимость очистки данных всегда должна соотноситься с ценностью повышения точности.

Самостоятельная подготовка данных

Традиционные инструменты и технологии, такие как языки сценариев или инструменты ETL и качества данных, не предназначены для бизнес-пользователей. Обычно им требуются навыки программирования или ИТ, которых нет у большинства бизнес-пользователей.^{[нужна цитата ]}

Ряд компаний, таких как Paxata, Trifacta, Alteryx, Talend и Ataccama, предоставляют визуальные интерфейсы, которые отображают данные и позволяют пользователю напрямую исследовать, структурировать, очищать, дополнять и обновлять образцы данных, предоставленные пользователем.

После завершения подготовительных работ основные шаги можно выполнить с другими наборами данных для выполнения тех же операций. Такое повторное использование обеспечивает значительный рост производительности по сравнению с более традиционными ручными методами и методами ручного кодирования для подготовки данных.

Смотрите также

Редактирование данных, исправляя ошибки в массиве данных
Предварительная обработка данных, этап очистки данных в интеллектуальном анализе данных для целей анализа
Сбор данных, находит закономерности и идеи в наборах данных
Передача данных