Чем занимается Data QA Engineer?

Data QA Engineer (инженер обеспечения качества данных) занимается проверкой качества данных. campus.epam.am habr.com

Некоторые задачи, которые выполняет такой специалист:

• Убеждается, что данные соответствуют бизнес-требованиям. campus.epam.am Например, проверяет, что информация о продажах, поступающая от сети магазинов, соответствует указанным параметрам (корректные наименования товаров, даты продажи, стоимость покупки и пр.). campus.epam.am
• Проверяет, правильно ли данные загружаются в базу. campus.epam.am Специалист смотрит, нет ли дублей, обеспечивается ли консистентность. campus.epam.am
• Проверяет, являются ли математически правильными все дальнейшие агрегации, которые заказчик хочет видеть в отчётах. campus.epam.am Также специалист проверяет, правильно ли отображаются данные в отчётах и обновляются ли они с поступлением новых данных. campus.epam.am
• Занимается автоматизацией и разработкой тестов. habr.com Например, может написать автоматизированный тест, который проверяет наличие любых значений NULL в критически важном поле данных. habr.com

Data QA Engineers работают с данными на всех этапах: от получения «сырых» данных в различных форматах до их трансформации, хранения, обработки с помощью разнообразных инструментов и визуализации. campus.epam.am