MDP

МДФ (модульная инструментарий для обработки данных) представляет собой библиотеку широко используются алгоритмы обработки данных, которые могут быть объединены в соответствии с аналогии трубопровода, чтобы построить более сложное программное обеспечение обработки данных.
С точки зрения пользователя, МДФ состоит из коллекции контролируемые и неконтролируемые алгоритмов обучения, и других данных процессоров (узлы), которые могут быть объединены в последовательности обработки данных (потоки) и более сложных кормовых вперед сетевых архитектур. Учитывая набор входных данных, MDP заботится о последовательно обучения или выполнения всех узлов в сети. Это позволяет пользователю задать сложные алгоритмы в виде серии простых шагов от обработки данных в естественным образом.
База имеющихся алгоритмов постоянно растет и включает в себя, с именем, но наиболее распространенным, главный компонент (PCA и NIPALS), несколько алгоритмов независимых компонент анализа (CuBICA, FastICA, TDSEP, нефрит, и XSFA), Медленная анализ функций, Gaussian Классификаторы, ограниченного Больцмана машина, и локально линейного вложения.
Особое внимание было уделено сделать вычисления эффективной с точки зрения скорости и памяти. Чтобы уменьшить требования к памяти, это можно выполнить с помощью обучения партий данных, и определить внутренние параметры узлов, чтобы быть с одинарной точностью, что делает использование очень больших объемов данных возможно. Кроме того, "параллельно" подпакетом предлагает параллельное выполнение основных узлов и потоков.
С точки зрения разработчика, МДФ является основой, что делает внедрение новых алгоритмов контролируемые и неконтролируемые обучения легко и просто. Основная класс, «Узел», заботится о скучных задач, таких как числовой тип и проверки размерности, оставляя разработчику сконцентрироваться на реализации обучения и выполнения фаз. Из-за общего интерфейса, узел автоматически интегрируется с остальной части библиотеки и могут быть использованы в сети вместе с другими узлами. Узел может иметь несколько этапов подготовки и даже неопределенное число фаз. Это позволяет реализовать алгоритмы, которые нужно собрать некоторые статистические данные по всей входа прежде чем приступить к фактической подготовки, и другие, которые нуждаются в перебрать фазы подготовки до тех пор, критерий сходимости не будет выполнено. Возможность тренироваться каждый этап, используя куски входных данных сохраняется, если куски генерируются с итераторов. Кроме того, авария восстановление опционально: в случае неудачи, текущее состояние потока сохраняется для последующего анализа.
МДФ была написана в контексте теоретических исследований в неврологии, но он был разработан, чтобы быть полезным в любом контексте, где используются алгоритмы обработки данных обучаемая. Его простота на стороне пользователя вместе с повторного реализуемых узлов сделать это также действует образовательный инструмент

Что нового В этом выпуске:.

• Поддержка Python 3.
• Новые расширения: кэширование и градиент
.
• Улучшенная и расширил учебник.
• Несколько улучшений и исправлений.
• Этот релиз под лицензией BSD.

Что нового в версии 2.5:

• 2009-06-30: Добавлена ​​онлайн выявление численного серверной параллельно поддержка Python, symeig базовая и численное базовая к выходу юнит-тестов. Должно помочь в отладке.
• 2009-06-12:. Интеграция среза и гистограммы узлов
• 2009-06-12:. Исправлена ​​ошибка в параллельном потоке (исключение) обработки
• 2009-06-09: Исправлена ​​ошибка в LLENode когда output_dim с плавающей точкой. Благодаря Конрада Hinsen.
• 2009-06-05:. Исправлены ошибки в параллельном потоке для нескольких планировщиков
• 2009-06-05:. Исправлена ​​ошибка в слое инверсии, благодаря Альберто Эскаланте
• 2009-04-29:. Добавлен LinearRegressionNode
• 2009-03-31: PCANode не жалуются больше, когда ковариационная матрица имеет отрицательные собственные значения МКФ СВД == Правда или уменьшить == True. Если output_dim был указан имеет необходимую дисперсию, отрицательные собственные значения игнорируются. Улучшение сообщения об ошибке SFANode в случае отрицательных собственных, теперь мы предлагаем предварять узел с PCANode (SVD = True) или PCANode (уменьшить = True).
• 2009-03-26: мигрировали из старого пакета резьбой с новой резьбы одного. Добавлено флаг, чтобы отключить кэширование в процессе планировщика. Есть некоторые критические изменения для пользовательских планировщиков (обучение параллельный поток или выполнение не влияет).
• 2009-03-25:. Добавил SVN пересмотра отслеживания поддержка
• 2009-03-25: Убраны copy_callable флаг для планировщика, это теперь полностью заменены порождения в TaskCallable. Это не имеет никакого эффекта для удобного интерфейса ParallelFlow, но пользовательские планировщики ломаются.
• 2009-03-22:. Реализовано кэширование в ProcessScheduler
• 2009-02-22:. make_parallel теперь работает полностью в месте, чтобы сохранить память
• 2009-02-12:. Добавил методы контейнеров в FlowNode
• 2009-03-03:. Добавлено CrossCovarianceMatrix тесты
• 2009-02-03:. Добавлено IdentityNode
• 2009-01-30:. Добавил вспомогательную функцию в Hinet непосредственно отобразить представление потока HTML
• 2009-01-22:. Разрешить output_dim в слой, чтобы установить лениво
• 2008-12-23:. Добавил total_variance к узлу NIPALS
• 2008-12-23:. Всегда устанавливайте explained_variance и total_variance после обучения в PCANode
• 2008-12-12: Модифицированная symrand действительно вернуться симметричные матрицы (и не только положительно определенная). Адаптированный GaussianClassifierNode к ответственности за это. Адаптированный symrand вернуться также сложные эрмитовых матриц.
• 2008-12-11: Исправлена ​​одна проблема в PCANode (при output_dim был установлен в input_dim общую дисперсию обрабатывают, как указано). Параметр Фиксированный var_part в ParallelPCANode.
• 2008-12-11:. Добавил var_part особенность, чтобы PCANode (фильтра в соответствии с дисперсией по отношению к absoute дисперсии)
• 2008-12-04: Исправлена ​​отсутствует ось аргумента в АМАКС вызова в учебнике. Благодаря Самуэль Иоанна!
• 2008-12-04: Исправлена ​​пустой итератор обработки данных в ParallelFlow. Также добавлена ​​пустые чеки итераторов в нормальном потоке (повышения исключение, если итератор пуст).
• 2008-11-19: Модифицированная СПС и SFA узлы для проверки negaive собственных в Крытая матриц
• 2008-11-19: symeig интегрированы в SciPy, MDP можете использовать его оттуда в настоящее время
.
• 2008-11-18:. Добавлено ParallelFDANode
• 2008-11-18:. Обновлено поезд вызываемый для ParallelFlow для поддержки дополнительных аргументов
• 2008-11-05: Перепишите добавочной параллельного кода, теперь поддерживает HiNet структуры
.
• 2008-11-03: Свободное редактирование Hinet HTML repesentation создателя. К сожалению, это также нарушает публичный интерфейс, но изменения довольно просто.
• 2008-10-29: Выключите предупреждения, поступающие от удаленных процессов в ProcessScheduler
• 2008-10-27:. Исправлена ​​проблема с перезаписью kwargs в методе инициализации из ParallelFlow
• 2008-10-24:. Исправлена ​​ошибка pretrained узлы в hinet.FlowNode
• 2008-10-20:. Исправлена ​​критическая ошибка импорта в параллельном пакета, когда С. (параллельно библиотека Python) установлен

Требования

• Python
• NumPy
• SciPy