В чем заключается процесс очистки данных при их преобразовании?

Процесс очистки данных при их преобразовании заключается в выявлении и удалении ошибок и несоответствий в данных с целью улучшения их качества. iso.ru

Некоторые типичные шаги и методы очистки данных:

• Удаление дубликатов. blog.froxy.com Дубли появляются, когда одна и та же единица данных записывается несколько раз. blog.froxy.com Это может произойти из-за повторной обработки, избыточных данных на сайте-источнике или ошибок в процессе обработки. blog.froxy.com
• Стандартизация форматов. blog.froxy.com Перед очисткой данных выбирают стандартные форматы для дат, чисел, текста и т. д.. blog.froxy.com Затем данные преобразуют в стандартный формат с помощью синтаксического анализа. blog.froxy.com
• Обработка текстовых данных. blog.froxy.com Текст преобразуют в один регистр (например, все буквы — строчные), стандартизируют сокращения или терминологию. blog.froxy.com
• Обнаружение несоответствий и их устранение. blog.froxy.com Несоответствия — это данные, которые значительно отличаются от остального набора данных. blog.froxy.com Они могут быть результатом ошибок скрапинга, ошибок при вводе, сбоя оборудования или естественной изменчивости. blog.froxy.com

Процесс очистки данных включает несколько этапов: masters.donntu.ru intuit.ru

1. Анализ данных. masters.donntu.ru intuit.ru Для выявления подлежащих удалению видов ошибок и несоответствий проводят подробный анализ данных. masters.donntu.ru Можно использовать ручную проверку данных или их шаблонов, а также аналитические программы. masters.donntu.ru
2. Определение порядка и правил преобразования данных. masters.donntu.ru intuit.ru В зависимости от числа источников данных, степени их неоднородности и загрязнённости, они могут требовать достаточно обширного преобразования и очистки. masters.donntu.ru intuit.ru
3. Подтверждение. masters.donntu.ru intuit.ru Правильность и эффективность процесса и определений преобразования тестируют и оценивают, например, на примере или на копии данных источника. masters.donntu.ru intuit.ru
4. Преобразования. masters.donntu.ru intuit.ru Выполняются либо в процессе ETL для загрузки и обновления хранилища данных, либо при ответе на запросы по множеству источников. masters.donntu.ru intuit.ru
5. Противоток очищенных данных. masters.donntu.ru intuit.ru После того как ошибки отдельного источника удалены, загрязнённые данные в исходных источниках заменяют на очищенные. masters.donntu.ru intuit.ru