Apache Spark

Искра была разработана для улучшения скорости обработки для анализа данных и манипулирования программ.
Она была написана в Java и Scala, и предоставляет возможности, которых нет в других системах, в основном потому, что они не мейнстрим, ни, что полезно для приложений обработки без данных.

Что нового В этом выпуске:.

• Основной API теперь поддерживает агрегирование многоуровневая деревья, чтобы помочь ускорить дорого снизить операции
• Улучшение отчетов об ошибках была добавлена ​​для некоторых Гоча операций.

Причал зависимость
• Спарк теперь затененных, чтобы избежать конфликтов с пользовательскими программами.
• Искра теперь поддерживает шифрование SSL для некоторых конечных точек связи.
• в реальном времени GC метрики и запись на счету были добавлены в пользовательский интерфейс.

Что нового в версии 1.3.0:

• Основной API теперь поддерживает многоуровневые агрегации деревья чтобы помочь ускорить дорого снизить операций.
• Улучшение отчетов об ошибках была добавлена ​​для некоторых Гоча операций.

Причал зависимость
• Спарк теперь затененных, чтобы избежать конфликтов с пользовательскими программами.
• Искра теперь поддерживает шифрование SSL для некоторых конечных точек связи.
• в реальном времени GC метрики и запись на счету были добавлены в пользовательский интерфейс.

Что нового в версии 1.2.1:

• оператор сортировки PySpark теперь поддерживает внешние разлив для больших наборов данных .
• PySpark теперь поддерживает широковещательные переменные больше, чем 2 Гб и выполняет внешний разлив во время родов.
• Искра добавляет страницу Работа на уровне выполнения в пользовательском интерфейсе искра, стабильный API для отчетности о ходе и динамическое обновление выходных показателей как работа завершена.
• Искра теперь поддерживает для чтения двоичных файлов для изображений и других двоичных форматов.

Что нового в версии 1.0.0:

• Этот релиз расширяет стандартные библиотеки Спарк, представляя новый Пакет SQL (SQL-Искра), что позволяет пользователям интегрировать SQL запросы в существующие рабочие процессы Свечи.
• MLlib, библиотека машинного обучения Спарк, расширяется с редкими вектора поддержки и несколько новых алгоритмов.

Что нового в версии 0.9.1:

• Исправлена ​​ошибка хэш столкновения внешнего разлив
• Исправлена ​​конфликт с log4j Спарк для пользователей, полагающихся на других лесозаготовительных бэкэндов
• Исправлена ​​Graphx отсутствует искра сборки банку в Maven строит
• Исправлены немые потери, вызванные карту состояния выхода превышения размера кадра Акка
• ненужным прямая зависимость удалены Спарк КМЗ
• Удаленные метрики-ганглии от сборки по умолчанию из-за LGPL лицензии конфликта
• Исправлена ​​ошибка в распределительной архива не содержащие искра сборки банка

Что нового в версии 0.8.0:

• Разработка переехал в Apache Foundation Софт как инкубатор проект.

Что нового в версии 0.7.3:

• Python производительность: механизм Спарк для нереста Python виртуальных машин имеет была улучшена, чтобы сделать это быстрее, когда JVM имеет большой размер кучи, ускоряя API Python.
• Mesos фиксирует: JAR-добавлены к вашей работе теперь будет на пути к классам при десериализации результаты выполнения задач в Mesos
.
• Сообщения об ошибках:. Лучше отчетности ошибок для несериализуемых исключений и чрезмерно больших результатов задач
• Примеры:. Добавил пример с состоянием обработки потока с updateStateByKey
• Телосложение:. Искра Потоковое больше не зависит от Twitter4J репо, которые должны позволить ей построить в Китае
• Исправлены ошибки в foldByKey, потоковое граф, методы статистики, документации, а также веб-интерфейс.

Что нового в версии 0.7.2:.

• Скала версия обновлена ​​до 2.9.3
• Несколько улучшений в Bagel, в том числе производительности и исправлений настраиваемым уровнем хранения данных.
• Новые методы API:. subtractByKey, foldByKey, КартаЧто, filterWith, foreachPartition и другие
• A новые показатели отчетности интерфейса, SparkListener, чтобы собрать информацию о каждом этапе вычислений:. длины задача, байт перемешиваются, и т.д.
• Несколько новых примеров использования Java API, в том числе К-средств и вычислительной пи.

Что нового в версии 0.7.0:

• Свечи 0,7 добавляет Python API под названием PySpark <. / LI>
• Свечи работы в настоящее время запуска веб-панель для мониторинга использования памяти каждого распределенного набора данных (РДД) в программе.
• Искра теперь могут быть построены с использованием Maven в дополнение к SBT.

Что нового в версии 0.6.1:

• Исправлена ​​чрезмерно агрессивным сообщение тайм-ауты, которые могли бы привести к рабочих отсоедините от кластера.
• Исправлена ​​ошибка в режиме автономного развертывания, которые не подвергать хостов в планировщик, влияющие HDFS расположение.
• Улучшена повторное соединение в пустую, которая может значительно ускорить небольшие перетасовки.
• Исправлены некоторые потенциальные тупики в менеджере блоков.
• Исправлена ​​ошибка при получении идентификаторов неудачных хозяев от Mesos.
• Несколько улучшений EC2 сценарий, как лучшей управляемости случаев местная.
• Сделано местный IP-адрес, который Искра связывается с настраиваемым.
• Поддержка Hadoop 2 распределений.
• Поддержка для размещения Scala в дистрибутивах Debian.

Что нового в версии 0.6.0:.

• Проще развертывание
• Документация Спарк была расширена новой кратком руководстве, дополнительные инструкции по развертыванию, руководства конфигурации, настройки руководства, и улучшения документации Scaladoc API.
• Новый менеджер связи с использованием асинхронного Java НИО позволяет воспроизведения в случайном порядке операции выполняются быстрее, особенно при отправке больших объемов данных или когда работа есть много задач.
• Новый менеджер хранения поддерживает на-набора данных настройки уровня хранения (например, следует ли сохранить данные в памяти, десериализации, на диске, и т.д., или даже реплицируются по узлам).
• Расширенные отладки.