Некоторые основные инструменты, которые используют дата-инженеры для работы с большими данными:

• Инструменты хранения и управления. 1 Это базы данных, в которых хранят большие объёмы информации, часто в распределённых сетях. 1 Примеры: распределённая файловая система Hadoop (HDFS), базы данных NoSQL, такие как MongoDB и Cassandra. 1
• Инструменты обработки. 1 Их применяют для того, чтобы отсортировать, индексировать и разметить информацию для последующего анализа. 1 Примеры: Apache Airflow и Apache NiFi. 1
• Инструменты анализа данных. 1 Эти решения занимаются аналитикой — извлекают ценные сведения из обработанного «сырья». 1 Для этого часто применяют алгоритмы машинного обучения. 1 Примеры: на языке программирования Python популярны такие библиотеки анализа данных, как Pandas, Sklearn, CatBoost, PyTorch, TensorFlow и другие. 1
• Инструменты визуализации. 1 Их используют уже после того, как данные были подготовлены и проведена первичная аналитика. 1 Решения часто представляют собой удобные дашборды, на которых данные представлены в понятном формате: в диаграммах, графиках, в виде информационных панелей. 1 Примеры: Superset, QlickSence, Tableau и другие. 1
• Инструменты управления и безопасности. 1 Здесь пригодятся специальные инструменты, например: Talend и Varonis. 1
• Инструменты для потоковой передачи. 1 Иногда необходимо, чтобы информация обрабатывалась в режиме реального времени и руководитель мог пользоваться мгновенной аналитикой. 1 Примеры: Apache Kafka и Apache Flink. 1

Инструменты в разных компаниях могут отличаться, всё зависит от объёма данных, их скорости поступления и неоднородности. 3