Apache Hadoop

Apache Hadoop изначально был разработан Yahoo и проект представляет собой сочетание между предыдущими Apache Hadoop в сердечнике и Apache Hadoop Common репозиториях.

Проект Hadoop приобрел много известность благодаря своим большим результатам в реализации нескольких серверах распределенной вычислительной системе с для обработки больших объемов данных.

Сам проект на самом деле состоит из четырех частей. Одним из них является Hadoop Common, так называемое ядро, которое позволяет все другие модули для работы, второй является его собственный файловая система - HDFS (Hadoop Distributed File System), третий является основой планирования ПРЯЖА Hadoop, и, наконец, есть система Hadoop MapReduce для поддержки параллельных вычислений.

Используя эти системы нарушение землю, Апач удалось создать много других побочных проектов, таких как:

- Apache Ambari

- Apache Avro

- Apache Cassandra

- Apache HBase

- Apache Hive

- Apache Mahout

- Apache Pig

- Apache Спарк

- Apache Tez

- Apache Zookeeper

Все они опираются на мощные средства обработки данных двигателя Hadoop или его распределенных вычислительных функций, интеграции одного из своих модулей в одном образом их основной или другой.

Что нового в этом выпуске:

• Поддержка для архивного хранения
• Прозрачные данные при шифровании покоя (бета-версия)
• Операционная безопасный DataNode, не требуя корневого доступа
• Горячий диск подкачки: поддержка добавления / удаления томов узла данных без перезагрузки узла данных (бета-версия)
• Поддержка AES для более быстрого шифрования провода
• Поддержка длительных услуг в пряжу
• Поддержка узла метки во время планирования
• Поддержка основанных на времени резервирования ресурсов в емкости планировщика (бета-версия)
• Global, общий кэш для артефактов приложений (бета-версия)
• Поддержка работы приложений изначально в Докер контейнеры (альфа)

Что нового в версии 2.7.1:

• Поддержка для архивного хранения
• Прозрачные данные при шифровании покоя (бета-версия)
• Операционная безопасный DataNode, не требуя корневого доступа
• Горячий диск подкачки: поддержка добавления / удаления томов узла данных без перезагрузки узла данных (бета-версия)
• Поддержка AES для более быстрого шифрования провода
• Поддержка длительных услуг в пряжу
• Поддержка узла метки во время планирования
• Поддержка основанных на времени резервирования ресурсов в емкости планировщика (бета-версия)
• Global, общий кэш для артефактов приложений (бета-версия)
• Поддержка работы приложений изначально в Докер контейнеры (альфа)

Что нового в версии 2.7.0:

• Поддержка для архивного хранения
• Прозрачные данные при шифровании покоя (бета-версия)
• Операционная безопасный DataNode, не требуя корневого доступа
• Горячий диск подкачки: поддержка добавления / удаления томов узла данных без перезагрузки узла данных (бета-версия)
• Поддержка AES для более быстрого шифрования провода
• Поддержка длительных услуг в пряжу
• Поддержка узла метки во время планирования
• Поддержка основанных на времени резервирования ресурсов в емкости планировщика (бета-версия)
• Global, общий кэш для артефактов приложений (бета-версия)
• Поддержка работы приложений изначально в Докер контейнеры (альфа)

Что нового в версии 2.6.0:

• Поддержка для архивного хранения
• Прозрачные данные при шифровании покоя (бета-версия)
• Операционная безопасный DataNode, не требуя корневого доступа
• Горячий диск подкачки: поддержка добавления / удаления томов узла данных без перезагрузки узла данных (бета-версия)
• Поддержка AES для более быстрого шифрования провода
• Поддержка длительных услуг в пряжу
• Поддержка узла метки во время планирования
• Поддержка основанных на времени резервирования ресурсов в емкости планировщика (бета-версия)
• Global, общий кэш для артефактов приложений (бета-версия)
• Поддержка работы приложений изначально в Докер контейнеры (альфа)

Что нового в версии 2.5.0:.

• Улучшения проверки подлинности при использовании HTTP-прокси-сервер
• Новый Hadoop Метрики поглотителем, который позволяет писать непосредственно в графите.
• Спецификация для Hadoop Compatible усилия Filesystem.
• Поддержка POSIX-стиль файловой системы расширенные атрибуты.
• OfflineImageViewer для просмотра в fsimage через API WebHDFS.
• Улучшения Supportability и исправления к шлюзу NFS.
• Модернизированный веб-интерфейсы (HTML5 и Javascript) для HDFS демонами.

<Литий> поддержка REST API-интерфейсы пряжу в представлении и убийства приложений.
• Интеграция Kerberos для временной шкалы магазина пряжу в.

Что нового в версии 2.4.0:

• Поддержка списков контроля доступа в HDFS
• Встроенная поддержка плавную модернизацию в HDFS
• Использование протокольных буферов для HDFS FSImage для гладких оперативных обновлений
• Полная поддержка HTTPS в HDFS
• Поддержка автоматического перехода на другой ресурс пряжу ResourceManager
• Расширенная поддержка новых приложений на пряжу History Application Server, и Application Server, Временная шкала
• Поддержка сильных SLAs в пряжу CapacityScheduler через вытесняемость

Что нового в версии 2.3.0:.

• Поддержка иерархии Гетерогенный хранения в HDFS
• В памяти кэша для данных HDFS с централизованным управлением и управлением.
• Упрощенная распределение MapReduce двоичных файлов с помощью HDFS в пряжу Distributed Cache.

Что нового в версии 2.2.0:

• ПРЯЖА - система управления ресурсами общего назначения для Hadoop чтобы позволить MapReduce и другие другие механизмы обработки данных и услуг
• Высокая доступность для HDFS
• HDFS Федерация
• HDFS моментальные снимки
• NFSv3 доступ к данным в HDFS

Что нового в версии 2.1.0-бета:

• HDFS моментальные снимки
• Поддержка запуска Hadoop на Microsoft Windows
• стабилизация ПРЯЖА API

Что нового в версии 2.0.3-альфа:

• QJM для HDFS HA ​​для NameNode
• многопользовательского планирования ресурсов (CPU и память) для ПРЯЖИ
• ПРЯЖА ResourceManager Restart
• Значительная стабильность в масштабе для ПРЯЖИ (более 30 000 узлов и 14 миллионов приложений до сих пор, во время выпуска)

Что нового в версии 1.0.0:.

• Повышение уровня безопасности
• HBase (добавление / hsynch / hflush, и безопасность).
• webhdfs (с полной поддержкой безопасности).
• Производительность расширения доступа к локальным файлам для HBase.
• Другие средства повышения производительности, исправления ошибок, а также функции.

Что нового в версии 0.20.2:

• отправить сервер RPC буфер сохраняет размер самой большой когда-либо ответ отправлено.
• C ++ библиотеки не строят на Debian Lenny.
• Некоторые сценарии C ++ не chmodded ранее муравьиного выполнения.
• Streaming:. Процесс при условии сообщения о состоянии перезаписываются каждые 10 seoncds
• IllegalArgumentException когда CombineFileInputFormat используется в качестве задания InputFormat.
• Несколько ошибок ж / Hadoop архивов.
• Разрешить кэширование экземпляров файловой системы должен быть отключен на основе каждого экземпляра.
• Отсутствие синхронизации для defaultResources в Configuration.addResource.
• GzipCodec не должен представлять BuiltInZlibInflater в качестве decompressorType.
• NameNode-х HttpServer не может создать экземпляр InetSocketAddress: IllegalArgumentException выбрасывается
.
• HttpServer спит с отрицательными значениями.
• NameNode бежит из вне памяти из-за утечки памяти в Ipc Server.
• IPC клиент ошибка может привести к RPC вызов повесить.
• непрохождения испытания предотвратить остальных тестовых целей от выполнения.
• CONTRIB тесты терпят неудачу Clover'ed построить.
• Тесты не работают на 0,20 ветви.
• TestStreamingStatus терпит неудачу на 0,20 ветви.