bookmate game
ru
Том Уайт

Hadoop. Подробное руководство

Notify me when the book’s added
To read this book, upload an EPUB or FB2 file to Bookmate. How do I upload a book?
  • Александр Крючковhas quoted4 years ago
    Рис. 2.5. Поток данных MapReduce без задач свертки
  • Александр Крючковhas quoted4 years ago
    Рис. 2.4. Поток данных MapReduce для не
  • Александр Крючковhas quoted4 years ago
    Весь поток данных для одной задачи свертки изображен на рис. 2.3. Пунктирные прямоугольники обозначают узлы, пунктирные стрелки — передачу данных узлам, а жирные стрелки — передачу данных между узлами.
  • Александр Крючковhas quoted4 years ago
    Hadoop позволяет пользователю задать комбинирующую функцию, которая будет выполняться для выходных данных отображения; выходные данные комбинирующей функции образуют ввод функции свертки
  • Александр Крючковhas quoted4 years ago
    Комбинирующая функция не заменяет функцию свертки. (Да и как она могла бы ее заменить? Функция свертки все равно необходима для обработки записей с одним ключом от разных отображений.) Но она может сократить объем данных, передаваемых между функциями отображения и свертки, и уже по одной этой причине всегда стоит рассмотреть возможность использования комбинирующей функции в задании MapReduce.
  • Александр Крючковhas quoted4 years ago
    Для большинства заданий желательный размер сплита обычно соответствует размеру блока HDFS — 64 Мбайт по умолчанию, хотя эту величину можно изменить для кластера (для всех вновь создаваемых файлов) или задать при создании файла.
  • Александр Крючковhas quoted4 years ago
    Трекер заданий координирует все задания, выполняемые системой; для этого он планирует выполнение задач на трекерах задач. Трекеры задач выполняют задачи и отправляют отчеты о ходе работы трекеру заданий, который отслеживает общий прогресс каждого задания. Если попытка выполнения задачи завершается неудачей, трекер может заново спланировать ее на другом трекере.
  • Александр Крючковhas quoted4 years ago
    Hadoop делит входные данные заданий MapReduce на фрагменты фиксированного размера, называемые сплитами (splits). Hadoop создает для каждого сплита одну задачу отображения, которая выполняет определенную пользователем функцию отображения для каждой записи в сплите.
  • Александр Крючковhas quoted4 years ago
    Задание (job) MapReduce представляет собой единицу работы, которую хочет выполнить клиент: оно состоит из входных данных, программы MapReduce и конфигурационной информации. Чтобы выполнить задание, Hadoop разбивает его на задачи (tasks), которые делятся на два типа: задачи отображения и задачи свертки.
  • Александр Крючковhas quoted4 years ago
    четыре формальных параметра определяют типы входных и выходных данных — на этот раз для функции свертки. Входные типы функции свертки должны соответствовать выходным типам функции отображения: Text и IntWritable. Выходными типами функции свертки являются Text и IntWritable — для года и максимальной температуры, определяемой перебором температур и сравнением элементов с текущим найденным максимумом.
fb2epub
Drag & drop your files (not more than 5 at once)