Dapper Dataflow Engine

Щеголеватый (распределенных и параллельных программ Выполнение выполнения) является инструментом для укрощения сложность разработки для крупномасштабного облака и распределенных вычислений, позволяя пользователю создавать распределенных вычислений от главного - код, который будет execut
Почему Щеголеватый?
Мы живем в интересное время, когда прорывы в науке все больше зависят от растущей доступности и обилия коммерционализированных сетевых вычислительных ресурсов. С помощью облака или сетки, вычисления, которые бы в противном случае запустить в течение нескольких дней на одном настольном компьютере теперь распространяется и / или параллельные формулировки, которые могут сбивать с помощью, в течение нескольких часов, вход устанавливает в десять раз большая на сто машин , Как заманчиво, как идея силы в цифрах может быть, имея только физическое оборудование недостаточно - программист должен выработать фактического расчета, что будет работать на него. Следовательно, высокое значение уделяется человеческих усилий и творчества требует среда программирования, которая позволяет и даже поощряет, краткое выражение распределенных вычислений, и в то же время не жертвовать общности.
Чудной, стоя в распределенных и параллельного выполнения программы выполнения, является одним из таких инструментов для преодоления технических характеристик на высоком уровне ученого / программиста, которые захватывают сущность программы, с механизмами низкого уровня, которые отражают сомнительные факты распределенного и параллельного вычисления. Под его потока данных-ориентированный подход, Щеголеватый позволяет пользователям кодировать локально в Java и выполнить глобально на облаке или сетке. Сначала пользователь пишет codelets или небольшие фрагменты кода, которые выполняют простые задачи и не сами по себе, составляют полную программу. Затем он или она определяет, как эти codelets, который рассматривается как вершин в потоке данных, передают данные друг другу с помощью краевых отношений. В результате ориентированный ациклический граф потока данных является полная программа интерпретируемых в Dapper сервер, который, при контактировании долгоживущими клиентов работников, может координировать распределенного выполнения.
Не под Dapper модели, пользователь больше не нужно беспокоиться о традиционно узкоспециализированных аспектов управления облако или сетки, которые включают в себя обработку данных и межсоединений зависимостей, оправившись от ошибок, распределяя код, и, начиная работу. Возможно, что еще более важно, она обеспечивает весь Java-основе набора инструментов и выполнения для кадрирования почти все крупнозернистого распределенных вычислений в согласованном формате, что позволяет для быстрого развертывания и легкой транспортировки к другим исследователям.

Характеристики

• Система распределения код, который позволяет Щеголеватый сервер для передачи необходимой программный код по сети и есть клиенты, динамически загружать его. Следствием этого является то, что, за исключением внешних исполняемых, обновления для Dapper программы должны происходить только на стороне сервера.
• мощный Подпоток метод погружения для динамически изменяя графа потоков данных во время выполнения.
• Во время выполнения в Java ванили, язык, что многие, несомненно, знакомы с. Помимо требования недавнего JVM и, возможно Graphviz Dot, Щеголеватый является самодостаточным.
• Протокол надежной управления. Щеголеватый сервер ожидает любое количество клиентов на провал, в любое время, и имеет настраиваемые переоформление и тайм-аута политики, чтобы справиться. Следовательно, можно запускать и останавливать (долгоживущие) клиентов без страха сдачи всей системы в неустойчивом состоянии.
• Гибкие семантика, которые позволяют передачу данных через файлы или TCP потоки.
• совместимость с брандмауэрами. Так как ваш местный облако или сетки, вероятно, сидит за брандмауэром, мы разработали специальные семантику для потокового передачи данных.
• Либеральные условия лицензирования. Чудной выпущен под лицензией LGPL, чтобы предотвратить загрязнение вашей кода.
• Работа в качестве встроенного приложения. Руководство пользователя описывает программирования API, который может следовать, чтобы запустить сервер Dapper внутри приложения, как Apache Tomcat пользователи.
• Работа в качестве автономного интерфейса пользователя. С ним можно работать Off-The-шельф демо и узнать основные понятия из наглядных примеров. Следуя минимальный набор конвенций, тогда можно связывать собственных Dapper программ, архивов исполнения, а затем получить в режиме реального времени статус потока данных и отладки обратной связи.

Что нового В этом выпуске:

• Метод ServerLogic # closeIdleClients была изменена, чтобы лучше соответствовать профиль интуитивное понятие праздности.
• Опция пользователя для определения имени хоста сервера был добавлен.
• Сетевые внутренние были переработаны, чтобы использовать новые API.
• Процесс сборки был обновлен для поддержки как 32-, так и 64-разрядную Windows, кросс-компиляцию.
• The щеголеватый. * иерархия была переименована в org.dapper. *.

Что нового в версии 0.96:

• Добавлена ​​абстракцию FlowListener, так что пользователи теперь могут ассоциировать метаданные с потоками данных и их узлов.
• Исправлена ​​утечка памяти в Dapper сервере.
• Добавлена ​​apiviz Doclet теги так, что отношения между классами может быть лучше визуализируется.
• Добавлена ​​apiviz для визуализации зависимостей в Javadoc.
• Исправлена ​​небольшая ошибка в BuildAndTest исполняемый файл.
• Процесс сборки теперь полностью интегрирована с Apache Ivy. Распределение источник теперь уже поставляется с SST. Вместо этого, зависимости будут автоматически загружены; в противном случае, можно скачать исходный SST, скомпилировать его, и публиковать в локальное хранилище. Смотрите инструкцию по эксплуатации для более подробной информации.
• Обновлен процесс сборки и удаляются избыточные шаги.
• Нормированная авторских прав и лицензий уведомления во всех файлах.
• Java 1.6 теперь требуется, чтобы построить и запустить.
• Изменение сборки процесс, чтобы использовать Apache Айви, который означает, что внешние зависимости больше не должны быть упакованы с основной распределения SST.
• 'Doxygen «целевой Добавлен построить процесс так, чтобы родные компоненты могут быть документированы.

Что нового в версии 0.95:

• Новый гибкий регистрации инфраструктура была добавлена ​​
• Инициализаторы для лесозаготовительных структур были перемещены из классов сервер и клиент, и в драйверах.
• Конечные автоматы были обновлены с новой аннотации приводом API.
• Исходный код нормализована, чтобы иметь 8 пробелы вместо вкладок.

Что нового в версии 0.94:

• Параметры командной строки для клиента и сервера теперь доступны, любезно библиотеки Apache Commons CLI.
• Клиентский процесс жизненного цикла в настоящее время определяется как окончание, когда отключение от сервера происходит.
• Стволовые функциональность поколения превратился из метода состоит OutputHandleResource, чтобы быть статический метод CodeletUtilities.
• The FlowNodeFactory класс используется в пользу прямого экземпляра FlowNodes.
• Строительство родных компонентов перекочевал в CMake.
• Ведение журнала мигрировали в SLF4J.
• Readme, был добавлен для всех распределений.

Что нового в версии 0.93:.

• Значительно улучшенные педагогические примеры
• руководство Обновлено.
• Добавлена ​​удобство процедуры в dapper.codelet.CodeletUtilities для запросов ресурсов.
• Удалено Генератор, FileEdge, FileBatchGenerator, FileBatchEdge, FileResource и FileBatchResource. Они были заменены понятием абстрактным ручками данных в виде HandleEdge, InputHandleResource, OutputHandleResource. См инструкцию на предмет изменений.
• Обновлено dapper.codelet.Resource экспортировать входные и выходные потоки.

Требования

• Java 2 Standard Edition Runtime Environment