Релиз платформы для распределённой обработки данных Apache Hadoop 3.015.12.2017 01:15

Организация Apache Software Foundation опубликовала релиз Apache Hadoop 3.0, свободной платформы для организации распределённой обработки больших объёмов данных с использованием парадигмы map/reduce, при которой задача делится на множество более мелких обособленных фрагментов, каждый из которых может быть запущен на отдельном узле кластера. Хранилище на базе Hadoop может охватывать тысячи узлов и содержать эксабайты данных.

В состав Hadoop входит реализация распределенной файловой системы Hadoop Distributed Filesystem (HDFS), автоматически обеспечивающей резервирование данных и оптимизированной для работы MapReduce-приложений. Для упрощения доступа к данным в Hadoop хранилище разработана БД HBase и SQL-подобный язык Pig, который является своего рода SQL для MapReduce, запросы которого могут быть распараллелены и обработаны несколькими Hadoop-платформами. Проект оценивается как полностью стабильный и готовый для промышленной эксплуатции. Hadoop активно используется в крупных промышленных проектах, предоставляя возможности, аналогичные платформе Google Bigtable/GFS/MapReduce, при этом компания Google официально делегировала Hadoop и другим проектам Apache право использования технологий, на которые распространяются патенты, связанные с методом MapReduce.

Основные изменения в Apache Hadoop 3.0:

В HDFS добавлены средства коррекции ошибок с использованием кодов избыточности, позволяющие повысить надёжность хранения данных;
Предварительная поддержка новой версии YARN Timeline Service, в которой улучшены характеристики масштабируемости, надёжности и удобства работы;
Добавлена возможность планирования подключения дополнительных ресурсов в YARN (Yet Another Resource Negotiator), таких как диски и CPU, для улучшения интеграции с системами машинного обучения и платформами контейнерной изоляции;
Поддержка объединения субкластеров YARN и HDFS для прозрачного масштабирования до конфигураций с десятками тысяч узлов;
Оптимизированы расход ресурсов и пропускная способность для оппортунистических контейнеров (вместо мгновенного запуска ставятся в очередь и запускаются при появлении доступных ресурсов) с коротким временем жизни. Помимо применения традиционного централизованного планировщика, в YARN также появилась возможность распределённого планирования оппортунистических контейнеров;
Улучшение производительности и функциональности при работе с облачными системами хранения, такими как Amazon S3 (S3Guard), Microsoft Azure Data Lake и Aliyun Object Storage System.