Apache Flume

Apache Флум был разработан в качестве посредника системы, которая собирает логи из одного приложения и обеспечивает его на другой.
Он должен работать с большинством приложений Java и разработчиков должны быть уверены,, Флум защищен от потери данных и сбоя службы.
Данные Войти потоковом режиме реального времени через отказоустойчивых систем с поддержкой многих механизмов отказоустойчивости и восстановления.
Потому Флум работает с одного центрального местоположения, разработчики могут легко управлять его, а также задействовать свои ресурсы для статистики и аналитики целей.
Скрытый особенностью Flume является действующая система "данных агностик". Это означает, что вы можете легко переключаться источник потока данных от выхода журнала что-нибудь еще, и использовать Flume безопасно общую информацию из различных видов услуг.
Они могут быть сообщения электронной почты, социальных медиа потоков, сетевого трафика, и так далее

Что нового В этом выпуске:.

• Удаление SSLv2Hello вызывает Java 6 клиентов сломать
• Включить SSLv2Hello для Avro Источник и NettyAvroRpcClient
• Включить SSLv2Hello для HttpSource
• Добавлена ​​DEV-поддержка SRC архива
• Блок тест TestHTTPSource.java удалось с IBM JDK 1.7
• HTTP Источник должен быть в состоянии блокировать префикс набора протоколов.
• HTTPS тесты не на Java 6
• Разрешить конфигурацию с поддержкой протоколов в Avro источника и клиента RPC

Что нового в версии 1.5.2:

• Удаление SSLv2Hello вызывает Java 6 клиентов сломать
• Включить SSLv2Hello для Avro Источник и NettyAvroRpcClient
• Включить SSLv2Hello для HttpSource
• Добавлена ​​DEV-поддержка SRC архива
• Блок тест TestHTTPSource.java удалось с IBM JDK 1.7
• HTTP Источник должен быть в состоянии блокировать префикс набора протоколов.
• HTTPS тесты не на Java 6
• Разрешить конфигурацию с поддержкой протоколов в Avro источника и клиента RPC

Что нового в версии 1.5.0:

• Новая функция:
• Представьте какой-то SpillableChannel
• Разрешить SpoolDir пройти только имя файла, что является источником события
• Флум Контекст не поддерживает поплавок или двойные значения конфигурации.
• Обновление morphlines в версии 0.7.0
• лотка-нг-log4jappender поддержка пользователей, поставляемые заголовки
• Elasticsearch Раковина для ES HTTP API
• Добавлена ​​раковина для Kite наборов данных
• намоточные каталог должен потреблять не всегда самый старый файл в первую очередь.
• Улучшение:
• конфигурации образец Флум Руководство пользователя должны фиксации
• Сделать SpoolDir работать с подкаталогами
• Спулинг источник каталогов должны быть в состоянии заменить или игнорировать уродливые символы
• обрабатывать большие полезные грузы с помощью SyslogUDPSource
• Обновление morphline библиотека зависимость отпуску 0.5.0
• Снижение дубликаты события, вызванные сброса-соединения интервала

Что нового в версии 1.3.0:

• Добавлена ​​HTTP Post Источник
• ElasticSearch раковина
• Флум принять сообщение от существующей локальной Scribe
• Добавлена ​​источником мультипортовый Syslog
• Файл канала должны поддерживать шифрование
• Создать SpoolDirectory Источник и клиента
• Балансировка нагрузки клиента RPC должны поддерживать экспоненциальный отсрочку неудачных узлов
• Самосвал состояние счетчика RollingFileSink, когда агент останавливает
• Regex Extractor перехватчик

Что нового в версии 1.2.0:

• Реализован Прочный канал памяти
• руководство разработчика Создан для Flume НГ
• Client SDK
• Реализованные прочный FileChannel
• Реализованные Перехватчики (ранее известный как Декораторы) для Flume 1.x
• Реализован HBase раковины, который поддерживает доступ на уровне таблицы
• Реализованные Отметка перехватчик
• Асинхронный HBase раковина

Требования

• Java 1.6 или выше