Hadoopy

Это в основном библиотеки Python для MapReduce, написанной в Cython

Особенности :.

• Похожие интерфейс как Hadoop API (паттерны проектирования используемые между интерфейсами Python / Java)
• Общая совместимость с Дамбо, чтобы позволить пользователям переключаться
• Полезная на Hadoop кластеров без Python или администратора доступа
• Быстрое преобразование и обработка
• Пребывание небольшой и хорошо документированы
• Будьте прозрачными с тем, что происходит на
• Программы ручка с сложные .so-х годов, ctypes и расширения
• Код, написанный для рубить способности
• Простой доступ HDFS (например, чтение, письмо, Ls)
• Поддержка (и не повторить) большую экосистему Hadoop (например, Oozie, жужжание)
• Автоматизированная распараллеливание работы "Авто-oozie" доступны в проекте hadoopy потока (поддерживается из отрасли)
• Местные выполнение неизмененном MapReduce работы с launch_local
• читать файлы / записи порядковые TypedBytes непосредственно к HDFS из питона (readtb, writetb)
• позволяет выполнять печать на стандартный вывод и стандартный поток ошибок в Hadoop задач, не вызывая проблем (использует 'трубы' прыжковой техники, оба доступны в стандартный поток ошибок в задания)
• Работы на кластерах без дополнительной установки, Python, или какие-либо библиотеки Python (используется Pyinstaller, что входит в эту исходного дерева)
• Работы по OS X
• Критический путь в Cython
• Простой доступ HDFS (readtb и Ls) внутри Python, даже в выполнении заданий
• Юнит-тестирование интерфейса

(заявления и печатать! нет необходимости бояться из них в Hadoopy)
• , сообщивших об использовании статус и счетчики
• Поддержка шаблонов проектирования в книге Лин и Дайер
• Typedbytes поддержка (очень быстро)
• поддержка Oozie

Требования

• Cython 0,13 или выше