Как работает система разделения и параллельной обработки данных в MapReduce?

Система разделения и параллельной обработки данных в MapReduce работает в три этапа: www.decosystems.ru

1. Фаза Map. www.decosystems.ru На этом этапе входные датасеты разбиваются на части, которые затем обрабатываются функциями Map. www.decosystems.ru Каждая из них обрабатывает свой блок и выдаёт промежуточные пары «ключ-значение». www.decosystems.ru Это позволяет выполнить параллельную обработку, значительно увеличивая производительность системы. www.decosystems.ru
2. Фаза Shuffle and Sort (перетасовка и сортировка). www.decosystems.ru После завершения работы Map начинается этап Shuffle and Sort. www.decosystems.ru Промежуточные пары «ключ-значение», сгенерированные на этапе Map, перетасовываются и сортируются по ключам. www.decosystems.ru Результатом этой фазы являются датасеты, каждый из которых состоит из уникального ключа и всех значений, сопоставленных с этим ключом. www.decosystems.ru
3. Фаза Reduce. www.decosystems.ru Затем каждый из этих датасетов передаётся соответствующей функции Reduce. www.decosystems.ru Каждая из них обрабатывает свои данные независимо и параллельно, выдавая результат в виде пары «ключ-значение», которая становится частью окончательного набора информации. www.decosystems.ru

Получившийся после прохождения всех необходимых шагов результат — это и есть решение исходной задачи. bigdataschool.ru