Jug

Кувшин является реализация Python рамок MapReduce (ныне стандартная часть Hadoop ), что позволяет разработчикам писать код, который может работать в различных формах распараллеливания.
Это означает, что код может работать параллельно на той же машине, или через вычислительного кластера (несколько машин).
Кувшин позволяет разработчикам организовать код на более мелкие куски, и выбрав, где, как и когда, чтобы запустить его.
Хотя это может быть поверх для небольших сайтов и приложений, это поведение может быть очень полезно в приложениях с высокой нагрузкой трафика или обрабатывать большие объемы данных.
Кувшин может работать и хранить данные локально, через жесткий диск, или он может использовать удаленное хранилище. Для последующего случае Redis базы данных поддерживается

Особенности :.

• стойких хранения данных поддержка
• повторно частичные результаты
• поддержка параллелизма
• хранения Локальные данные
• удаленного хранения данных
• Рабочее состояние проверки

Что нового В этом выпуске:

• исправления совместимости Python 3
• FSYNC (каталог) в файле серверной
• Кувшин крючки (в основном до сих пор без документов, но уже позволяет внутренний код упрощение)

Что нового в версии 0.9.7:

• Исправлена ​​использование NumPy подклассов
• Fix Redis URL разбора
• Исправлена ​​`` shell`` для новых версий IPython
• Правильно отступить на не-SQLite `` status``

Что нового в версии 0.9.6:

• Быстрее декодирования
• Добавлена ​​кувшин-выполнить скрипт
• Добавлена ​​описать () функции
• Добавлена ​​write_task_out () функция

Что нового в версии 0.9.1:

• Добавлена ​​`` webstatus`` субкоманда
• Добавлена ​​bvalue () функция
• Исправлена ​​ошибка в `` shell`` подкоманде (`` значения `` не было в глобальном пространстве имен)
• Улучшена личность ()
• Исправлена ​​ошибка при использовании Tasklets и --aggressive-выгрузки
• Исправлена ​​ошибка с Tasklets и сна-до / регистрации

Что нового в версии 0.9:

• При наличии барьера (), повторите jugfile , Это делает барьер гораздо проще в использовании.
• Добавлена ​​set_jugdir общественного API.
• Добавлена ​​CompoundTaskGenerator.
• Поддержка подклассов задачи.
• Избегайте создания каталогов в файловой серверной если это не является необходимым.
• Добавить jug.mapreduce.reduce (который имитирует встроенном уменьшить).

Что нового в версии 0.8.1:

• Fix Redis серверную часть для новой версии клиентского модуля
• Быстрее хранилище файлов для больших файлов
• Исправлена ​​`invalidate` с Tasklets
• Установка испытания и иметь их быть работоспособным
• Изменен метод расчета хэш. Это имеет особое дело по NumPy массивы
• (для скорости) и более расширяемой с помощью крючка __jug_hash__
• Исправлена ​​ошибка с тасклет зависимостей не правильно учитывать
• Исправлена ​​оболочки субкоманда в новых версиях IPython
• Добавить __FILE__ атрибут поддельные jugmodule

Что нового в версии 0.8:

• Тасклеты
• исправить ошибки в не сон до тех пор, очистка
• Устранены ошибки с CompoundTask (вам нужно работать кувшин выполнить дважды, прежде чем).

Что нового в версии 0.8 b0:

• Тасклеты - Устранены ошибки в не сон до тех пор, очистка .

Что нового в версии 0.7.4:

• Исправлена ​​случай, когда ~ / .jug / configrc делает не существует.
• Печать имя хоста, чтобы заблокировать файл на file_store.
• реструктурировать реализации вариантов.
• Исправлена ​​выгрузка задачи, которые не выполняются.
• Исправлена ​​MapReduce для пустого ввода.

Что нового в версии 0.7.3:.

• Разбор ~ / .jug / configrc
• Исправлена ​​ошибка с временем ожидания.
• Особый случай сохранение NumPy массивы.
• Добавить синтаксис более выразительным jugdir.
• Сохранить dict_store бэкенд на диск.

Что нового в версии 0.7.2:.

• Включенные недостающие файлы в распределении

Что нового в версии 0.7.1:.

• сон до подкоманде
• Исправлена ​​барьера () и MapReduce взаимодействия.
• Улучшение документации.

Что нового в версии 0.7:

• Лучше `` shell`` команда
• метод Переписан для загрузки jugfiles
• Задачи имеют оригинальную функцию доступной как `f`

Что нового в версии 0.6.9:.

• Новая команда проверка
• load_all () внутри оболочки.

Что нового в версии 0.5.2:.

• Нью `shell` команда
• Сжатие в Redis интерфейсе.
• Улучшения в скорости для 'недействительными' команда.

Что нового в версии 0.5.1:

• Redis базовая
• зависимости словарь
• Изменен интерфейс командной строки (команда кувшин jugfile ...)

Требования

• Python 2.6 или выше