Какие компоненты больше подойдут под big data и можно ли собрать их в домашних условиях?

Некоторые компоненты, которые подходят для работы с Big Data:

• Источники данных. learn.microsoft.com Это могут быть хранилища данных приложений, статические файлы или источники в режиме реального времени, например устройства Интернета вещей. learn.microsoft.com
• Приём сообщений в реальном времени. learn.microsoft.com Система собирает и сохраняет сообщения для потоковой обработки. learn.microsoft.com
• Потоковая обработка. learn.microsoft.com Система выполняет фильтрацию, статистическую обработку и другие процессы подготовки данных к анализу. learn.microsoft.com
• Хранилища данных. practicum.yandex.ru timeweb.cloud Для хранения больших данных используют облачные серверы и распределённые вычислительные мощности. practicum.yandex.ru Также для этого применяют DWH (data warehouse) — единое хранилище для всех данных, на основе которых компания формирует отчёты и принимает решения, и Data Lake — «озера данных», которые не имеют единого формата и чёткой структуры. practicum.yandex.ru {7-host}
• Инструменты для анализа. practicum.yandex.ru timeweb.cloud В этом помогают SQL (язык запросов), нейросети, натренированные с помощью машинного обучения, и специальные аналитические сервисы на базе Business Intelligence (BI). practicum.yandex.ru

Собрать компоненты для работы с Big Data в домашних условиях возможно, например, на платформе EC2 AWS (Amazon Web Services) можно установить и использовать Apache Kafka, Apache Spark, Zookeeper и Spark-shell. {9-host}

Также для изучения основ работы с Big Data можно воспользоваться онлайн-курсами и образовательными программами. blog.skillfactory.ru