Apache Kafka

Apache Кафка похож на Scribe двигателя Facebook (если вы знакомы с ним), и может быть использован для обработки потоков деятельности.
Он работает, позволяя разработчикам поддерживать один или более потоков активности (или каналы).
Эти каналы могут быть организованы по темам, а затем транслировать (опубликована) для всех подписанных потребителей.
Части Кафки, которые управляют и публиковать фиды называют производители.
Кафка в основном средний слой между производителями и потребителями, сложной системы, что может справиться с любой вид трафика и запросов на любом типе шкалы.
Это потому, что Кафка был построен, чтобы справиться распределенных серверных архитектур, позволяя разработчикам масштабировать свои публикации / подсистем на облачных услуг

Особенности :.

• стойких сообщениями
• Высокая пропускная способность
• Поддержка разделения сообщений
• Распределение потребления над кластера
• Поддержка параллельных нагрузок данных

Что нового В этом выпуске:

• Новый продюсер Java для простоты реализации и повышения производительности.
• Удалить тему поддержки.
• на темы конфигурации предпочтений для последовательности над наличии.
• Скала 2.11 поддержка и падения поддержка Scala 2.8.
• сжатия LZ4.

Что нового в версии 0.8.0-бета1:.

• Исправлены существующие инструменты Perf
• провода существующей производителем и потребителем, чтобы использовать новую структуру ЗК данных.
• Создать / удалить ZK путь для темы в админ инструмента.
• Реализованные встроенный контроллер.

Что нового в версии 0.7.1:

• Избегайте дублированный сообщение во время потребительского сбалансировать
• Поддержка настраивается отправить / получить размер буфера сокета в сервере
• javaapi ZookeeperConsumerConnectorTest дублирует многие испытания в лестницу версии
• Сделать # потребительского сбалансировать повторяет настраивается
• SyncProducer должны войти хост и порт, если не удается подключиться.
• Уменьшить повторяющихся сообщений, обслуживаемых Кафка потребителя для несжатых темы
• Избегайте входа StackTrace непосредственно
• Найдите время отсрочки во потребительского сбалансировать настраивается
• Улучшение log4j Appender использовать kafka.producer.Producer и поддержки zk.connect | варианты broker.list
• выделить Кафку зеркального в автономном приложении
• производитель Hadoop должны использовать программное обеспечение балансировки нагрузки

Что нового в версии 0.7.0:

• Кафка теперь поддерживает сжатие на уровне блоков. См сжатия вики для деталей. В настоящее время только в GZIP ужинать портирована.
• Войти удержание в настоящее время может зависеть от места (log.retention.size).

Что нового в версии 0.6:

• Исправлены ошибки:
• SimpleProducer потерять сообщения при сокет получает IO исключение
• Если производитель отправляет недействительным MessageSet брокер будет добавлять его, развращает журнал
• ByteBufferMessageSet регистрирует ошибку о размер выборки
• Выключение Кафка, когда есть любой диск IO ошибка
• Распространить сервер все исключения потребителя
• Close () в SimpleConsumer должны быть синхронизированы
• Потребительская Код документация
• Улучшение EventHandler в AsyncProducer
• The зоопарка основе Производитель не удалить мертвую брокера из списка, служа запрос производят
• журналы Потребительские ошибка во время близко
• Улучшения:
• Тест Очистка JUnit
• MessageSet не реализует Java итерацию
• По умолчанию кодировщик для Кафки log4 Appender
• Явно назвать все темы
• Рефакторинг общественного API в Java и Scala API
• Улучшение API документацию для всех общественных API,
• Удалить Java API FileMessageSet
• тест устройство не может на некоторых машинах Linux
• Создать SBT суб проектов перфорация, примеры, вно, что в настоящее время, используя Ant
• Добавить JMX для изменения уровня log4j динамически на сервере Кафки
• Обновление до зоопарка 3.3.3
• javaapi MessageSet не нужно реализовать WriteTo разъем
• Новые возможности:
• Новый API производитель