Apache Spark

Скриншот программы:
Apache Spark
Детали программы:
Версия: 1.3.1 обновление
Дата загрузки: 12 May 15
Разработчик: UC Berkeley AMP Lab
Тип распространения: Бесплатная
Популярность: 195

Rating: 4.0/5 (Total Votes: 2)

Искра была разработана для улучшения скорости обработки для анализа данных и манипулирования программ.
Она была написана в Java и Scala, и предоставляет возможности, которых нет в других системах, в основном потому, что они не мейнстрим, ни, что полезно для приложений обработки без данных.

Что нового В этом выпуске:.

  • Основной API теперь поддерживает агрегирование многоуровневая деревья, чтобы помочь ускорить дорого снизить операции
  • Улучшение отчетов об ошибках была добавлена ​​для некоторых Гоча операций.

  • Причал зависимость
  • Спарк теперь затененных, чтобы избежать конфликтов с пользовательскими программами.
  • Искра теперь поддерживает шифрование SSL для некоторых конечных точек связи.
  • в реальном времени GC метрики и запись на счету были добавлены в пользовательский интерфейс.

Что нового в версии 1.3.0:

  • Основной API теперь поддерживает многоуровневые агрегации деревья чтобы помочь ускорить дорого снизить операций.
  • Улучшение отчетов об ошибках была добавлена ​​для некоторых Гоча операций.

  • Причал зависимость
  • Спарк теперь затененных, чтобы избежать конфликтов с пользовательскими программами.
  • Искра теперь поддерживает шифрование SSL для некоторых конечных точек связи.
  • в реальном времени GC метрики и запись на счету были добавлены в пользовательский интерфейс.

Что нового в версии 1.2.1:

  • оператор сортировки PySpark теперь поддерживает внешние разлив для больших наборов данных .
  • PySpark теперь поддерживает широковещательные переменные больше, чем 2 Гб и выполняет внешний разлив во время родов.
  • Искра добавляет страницу Работа на уровне выполнения в пользовательском интерфейсе искра, стабильный API для отчетности о ходе и динамическое обновление выходных показателей как работа завершена.
  • Искра теперь поддерживает для чтения двоичных файлов для изображений и других двоичных форматов.

Что нового в версии 1.0.0:

  • Этот релиз расширяет стандартные библиотеки Спарк, представляя новый Пакет SQL (SQL-Искра), что позволяет пользователям интегрировать SQL запросы в существующие рабочие процессы Свечи.
  • MLlib, библиотека машинного обучения Спарк, расширяется с редкими вектора поддержки и несколько новых алгоритмов.

Что нового в версии 0.9.1:

  • Исправлена ​​ошибка хэш столкновения внешнего разлив
  • Исправлена ​​конфликт с log4j Спарк для пользователей, полагающихся на других лесозаготовительных бэкэндов
  • Исправлена ​​Graphx отсутствует искра сборки банку в Maven строит
  • Исправлены немые потери, вызванные карту состояния выхода превышения размера кадра Акка
  • ненужным прямая зависимость удалены Спарк КМЗ
  • Удаленные метрики-ганглии от сборки по умолчанию из-за LGPL лицензии конфликта
  • Исправлена ​​ошибка в распределительной архива не содержащие искра сборки банка

Что нового в версии 0.8.0:

  • Разработка переехал в Apache Foundation Софт как инкубатор проект.

Что нового в версии 0.7.3:

  • Python производительность: механизм Спарк для нереста Python виртуальных машин имеет была улучшена, чтобы сделать это быстрее, когда JVM имеет большой размер кучи, ускоряя API Python.
  • Mesos фиксирует: JAR-добавлены к вашей работе теперь будет на пути к классам при десериализации результаты выполнения задач в Mesos
  • .
  • Сообщения об ошибках:. Лучше отчетности ошибок для несериализуемых исключений и чрезмерно больших результатов задач
  • Примеры:. Добавил пример с состоянием обработки потока с updateStateByKey
  • Телосложение:. Искра Потоковое больше не зависит от Twitter4J репо, которые должны позволить ей построить в Китае
  • Исправлены ошибки в foldByKey, потоковое граф, методы статистики, документации, а также веб-интерфейс.

Что нового в версии 0.7.2:.

  • Скала версия обновлена ​​до 2.9.3
  • Несколько улучшений в Bagel, в том числе производительности и исправлений настраиваемым уровнем хранения данных.
  • Новые методы API:. subtractByKey, foldByKey, КартаЧто, filterWith, foreachPartition и другие
  • A новые показатели отчетности интерфейса, SparkListener, чтобы собрать информацию о каждом этапе вычислений:. длины задача, байт перемешиваются, и т.д.
  • Несколько новых примеров использования Java API, в том числе К-средств и вычислительной пи.

Что нового в версии 0.7.0:

  • Свечи 0,7 добавляет Python API под названием PySpark <. / LI>
  • Свечи работы в настоящее время запуска веб-панель для мониторинга использования памяти каждого распределенного набора данных (РДД) в программе.
  • Искра теперь могут быть построены с использованием Maven в дополнение к SBT.

Что нового в версии 0.6.1:

  • Исправлена ​​чрезмерно агрессивным сообщение тайм-ауты, которые могли бы привести к рабочих отсоедините от кластера.
  • Исправлена ​​ошибка в режиме автономного развертывания, которые не подвергать хостов в планировщик, влияющие HDFS расположение.
  • Улучшена повторное соединение в пустую, которая может значительно ускорить небольшие перетасовки.
  • Исправлены некоторые потенциальные тупики в менеджере блоков.
  • Исправлена ​​ошибка при получении идентификаторов неудачных хозяев от Mesos.
  • Несколько улучшений EC2 сценарий, как лучшей управляемости случаев местная.
  • Сделано местный IP-адрес, который Искра связывается с настраиваемым.
  • Поддержка Hadoop 2 распределений.
  • Поддержка для размещения Scala в дистрибутивах Debian.

Что нового в версии 0.6.0:.

  • Проще развертывание
  • Документация Спарк была расширена новой кратком руководстве, дополнительные инструкции по развертыванию, руководства конфигурации, настройки руководства, и улучшения документации Scaladoc API.
  • Новый менеджер связи с использованием асинхронного Java НИО позволяет воспроизведения в случайном порядке операции выполняются быстрее, особенно при отправке больших объемов данных или когда работа есть много задач.
  • Новый менеджер хранения поддерживает на-набора данных настройки уровня хранения (например, следует ли сохранить данные в памяти, десериализации, на диске, и т.д., или даже реплицируются по узлам).
  • Расширенные отладки.

Похожие программы

XCloner
XCloner

1 Oct 15

Alerta
Alerta

10 Apr 16

Queen
Queen

13 May 15

Комментарии к Apache Spark

Комментарии не найдены
добавить комментарий
Включите картинки!
Поиск по категориям