Data engineer (инженер данных) — это специалист, занимающийся проектированием, разработкой, управлением и оптимизацией систем обработки данных. 1

Основная задача data engineer заключается в создании инфраструктуры, которая позволяет собирать, хранить, обрабатывать и передавать данные для дальнейшего анализа. 1

Некоторые обязанности инженера данных:

• определение источников данных, разработка механизмов их сбора; 1
• разработка и управление БД, выбор подходящих технологий хранения данных; 1
• проектирование процессов обработки данных, создание пайплайнов (потоков данных) для трансформации информации; 1
• обеспечение эффективной передачи данных между различными системами; 1
• разработка механизмов защиты данных, управление доступом; 1
• непрерывное улучшение и оптимизация системы обработки данных для обеспечения высокой производительности; 1
• организация мониторинга системы для выявления проблем и обеспечение бесперебойной работы. 1

Инженер данных не участвует в анализе, но обеспечивает аналитиков нужными мощностями, инструментами и подготовленными данными. 2