Data Quality Engineer (DQ-инженер) занимается обеспечением качества данных. 23 Он разрабатывает методологии и процессы для контроля, очистки и стандартизации данных, чтобы минимизировать ошибки и неточности. 3
Некоторые задачи, которые выполняет DQ-инженер:
- Проверяет, соответствуют ли данные бизнес-требованиям. 24 Например, убеждается, что информация, поступающая от сети магазинов, соответствует указанным параметрам (корректные наименования товаров, даты продажи, стоимость покупки и пр.). 2
- Проверяет, правильно ли данные загружаются в базу. 24 Также DQ-инженер проверяет, нет ли дублей, обеспечивается ли консистентность, являются ли математически правильными все дальнейшие агрегации, которые заказчик хочет видеть в отчётах. 24
- Контролирует, правильно ли отображаются данные в отчётах. 24 Ещё DQ-инженер проверяет, обновляются ли отчёты с поступлением новых данных. 24
- Сотрудничает с другими специалистами. 1 DQ-инженеры тесно работают с бизнес-аналитиками, дата-аналитиками и дата-инженерами или разработчиками, в зависимости от специфики проекта. 24
DQ-инженеры работают с данными на всех этапах: от получения «сырых» данных в различных форматах до их трансформации, хранения, обработки с помощью разнообразных инструментов и визуализации. 24