Кувшин является реализация Python рамок MapReduce (ныне стандартная часть Hadoop ), что позволяет разработчикам писать код, который может работать в различных формах распараллеливания.
Это означает, что код может работать параллельно на той же машине, или через вычислительного кластера (несколько машин).
Кувшин позволяет разработчикам организовать код на более мелкие куски, и выбрав, где, как и когда, чтобы запустить его.
Хотя это может быть поверх для небольших сайтов и приложений, это поведение может быть очень полезно в приложениях с высокой нагрузкой трафика или обрабатывать большие объемы данных.
Кувшин может работать и хранить данные локально, через жесткий диск, или он может использовать удаленное хранилище. Для последующего случае Redis базы данных поддерживается
Особенности :.
- стойких хранения данных поддержка
- повторно частичные результаты
- поддержка параллелизма
- хранения Локальные данные
- удаленного хранения данных
- Рабочее состояние проверки
Что нового В этом выпуске:
- исправления совместимости Python 3
- FSYNC (каталог) в файле серверной
- Кувшин крючки (в основном до сих пор без документов, но уже позволяет внутренний код упрощение)
Что нового в версии 0.9.7:
- Исправлена использование NumPy подклассов
- Fix Redis URL разбора
- Исправлена `` shell`` для новых версий IPython
- Правильно отступить на не-SQLite `` status``
Что нового в версии 0.9.6:
- Быстрее декодирования
- Добавлена кувшин-выполнить скрипт
- Добавлена описать () функции
- Добавлена write_task_out () функция
Что нового в версии 0.9.1:
- Добавлена `` webstatus`` субкоманда
- Добавлена bvalue () функция
- Исправлена ошибка в `` shell`` подкоманде (`` значения `` не было в глобальном пространстве имен)
- Улучшена личность ()
- Исправлена ошибка при использовании Tasklets и --aggressive-выгрузки
- Исправлена ошибка с Tasklets и сна-до / регистрации
Что нового в версии 0.9:
- При наличии барьера (), повторите jugfile , Это делает барьер гораздо проще в использовании.
- Добавлена set_jugdir общественного API.
- Добавлена CompoundTaskGenerator.
- Поддержка подклассов задачи.
- Избегайте создания каталогов в файловой серверной если это не является необходимым.
- Добавить jug.mapreduce.reduce (который имитирует встроенном уменьшить).
Что нового в версии 0.8.1:
- Fix Redis серверную часть для новой версии клиентского модуля
- Быстрее хранилище файлов для больших файлов
- Исправлена `invalidate` с Tasklets
- Установка испытания и иметь их быть работоспособным
- Изменен метод расчета хэш. Это имеет особое дело по NumPy массивы
- (для скорости) и более расширяемой с помощью крючка __jug_hash__
- Исправлена ошибка с тасклет зависимостей не правильно учитывать
- Исправлена оболочки субкоманда в новых версиях IPython
- Добавить __FILE__ атрибут поддельные jugmodule
Что нового в версии 0.8:
- Тасклеты
- исправить ошибки в не сон до тех пор, очистка
- Устранены ошибки с CompoundTask (вам нужно работать кувшин выполнить дважды, прежде чем).
Что нового в версии 0.8 b0:
- Тасклеты - Устранены ошибки в не сон до тех пор, очистка .
Что нового в версии 0.7.4:
- Исправлена случай, когда ~ / .jug / configrc делает не существует.
- Печать имя хоста, чтобы заблокировать файл на file_store.
- реструктурировать реализации вариантов.
- Исправлена выгрузка задачи, которые не выполняются.
- Исправлена MapReduce для пустого ввода.
Что нового в версии 0.7.3:.
- Разбор ~ / .jug / configrc
- Исправлена ошибка с временем ожидания.
- Особый случай сохранение NumPy массивы.
- Добавить синтаксис более выразительным jugdir.
- Сохранить dict_store бэкенд на диск.
Что нового в версии 0.7.2:.
- Включенные недостающие файлы в распределении
Что нового в версии 0.7.1:.
- сон до подкоманде
- Исправлена барьера () и MapReduce взаимодействия.
- Улучшение документации.
Что нового в версии 0.7:
- Лучше `` shell`` команда
- метод Переписан для загрузки jugfiles
- Задачи имеют оригинальную функцию доступной как `f`
Что нового в версии 0.6.9:.
- Новая команда проверка
- load_all () внутри оболочки.
Что нового в версии 0.5.2:.
- Нью `shell` команда
- Сжатие в Redis интерфейсе.
- Улучшения в скорости для 'недействительными' команда.
Что нового в версии 0.5.1:
- Redis базовая
- зависимости словарь
- Изменен интерфейс командной строки (команда кувшин jugfile ...)
Требования
- Python 2.6 или выше
Комментарии не найдены