Принцип работы MapReduce заключается в разделении информационного массива на части, параллельной обработке каждой части на отдельном узле и финальном объединении всех результатов. 1

Проще говоря, MapReduce разбивает входные данные на фрагменты и распределяет их по разным машинам. 2 Входные фрагменты состоят из пар «ключ-значение». 2 Задачи параллельной карты обрабатывают фрагментированные данные на машинах в кластере. 2 Выходные данные сопоставления затем служат входными данными для этапа сокращения. 2 Задача уменьшения объединяет результат в вывод конкретной пары «ключ-значение» и записывает данные в HDFS. 2

В основе работы MapReduce лежат две функции:

1. Map. 3 Этот шаг преобразует входные данные в набор пар «ключ-значение». 3 Каждая функция Map работает независимо и параллельно с другими, обрабатывая свою часть входной информации. 3 В результате каждого вызова функции Map генерируется набор промежуточных пар «ключ-значение». 3
2. Reduce. 3 На этом шаге происходит работа с данными, сгруппированными по ключу, и преобразование их в набор выходных значений. 3 Reduce работает после того, как все функции Map завершили свою работу. 3 Она принимает ключ и множество значений, сопоставленных этому ключу, и выдаёт набор выходных значений (обычно одно значение для каждого уникального ключа). 3