В чём заключается технология MapReduce для работы с большими данными?

MapReduce — это модель распределённых вычислений, разработанная компанией Google для обработки больших объёмов данных на компьютерных кластерах. bindata.ru cyberleninka.ru

Суть технологии заключается в разделении информационного массива на части, параллельной обработке каждой части на отдельном узле и финальном объединении всех результатов. bigdataschool.ru

Процесс работы MapReduce состоит из трёх стадий: cyberleninka.ru habr.com

1. Map. cyberleninka.ru habr.com Предварительная обработка и фильтрация данных. habr.com Главный узел кластера получает значения данных, делит их на части и распределяет по рабочим узлам. cyberleninka.ru Каждый рабочий узел сохраняет результат в формате «ключ — значение» во временном хранилище. cyberleninka.ru
2. Shuffle. cyberleninka.ru habr.com Рабочие узлы перераспределяют данные на основе ключей, созданных функцией Map, таким образом, что все данные одного ключа попадают в один рабочий узел. cyberleninka.ru
3. Reduce. cyberleninka.ru habr.com Одновременная обработка данных каждым рабочим узлом всех групп по порядку следования ключей и сбор результатов. cyberleninka.ru Главный узел получает промежуточные результаты от рабочих узлов и передаёт их на свободные узлы для выполнения следующего шага. cyberleninka.ru Итоговый результат является решением исходной задачи. cyberleninka.ru

Некоторые области применения MapReduce: индексация веб-контента, подсчёт слов в большом файле, обработка статистики логов сети, построение инвертированных индексов, кластеризация документов, машинное обучение и статистический машинный перевод. bigdataschool.ru

Пользователь

Время добавления