Pcompress

Pcompress является открытым исходным кодом командной строки параллельной компрессии, декомпрессии и дедупликации утилита, разделив входные данные в куски.
Pcompress имеет сжатие Дельта вариант фиксированного блока, сжатие метаданных, поддержка нескольких алгоритмов, в том числе LZMA, LZMA-многопоточный, PPMD, Bzip2 или LZ4, сильный целостности данных, фильтры, Матрица преобразования, шифрование, аутентификация сообщений, метаданных, перекрытого обработки, обычай распределитель, твердое режим, обивка, и многое другое

Что нового В этом выпуске:.

• Это крупный релиз Благодаря архивирование поддержку, основанную на Libarchive. Передовые технологии используются для обнаружения типов файлов и использовать соответствующие алгоритмы для сжатия лучше. Фильтры, как PackJPG для файлов JPEG и Dispack для исполняемых файлов используются для улучшения сжимаемость. Через несколько эвристики помочь обнаружить уже сжатые данные и избежать дорогостоящих шагов сжатия. Архив записей также сортируются в кластер связанный контент и достичь лучшего сжатия. Границы сплит данных для нескольких параллельных потоков определяются из типа файла и прокатных изменений хэш. ТСМА и нулевой Копирование методы используются внутри, когда это возможно, чтобы повысить производительность. Некоторые оптимизации также было сделано, чтобы уменьшить использование памяти. Использование была упрощена с большинством функций автоматически настраивается на основе уровня сжатия.
• С этими изменениями Pcompress могут выступать в качестве полноценного архиватора, как смола или CPIO и предоставляют лучшие коэффициенты сжатия и более высокую производительность по сравнению с режимом сжатия одного файла. Pcompress очень выгодно с другими ведущими коммунальные архиватора.

Что нового в версии 2.4:

• Эта версия исправляет ряд проблем, в том числе некоторых углу случае аварий и пару переполнение буфера.
• дедупликации данных теперь может быть сделано с помощью блоков, как маленькие, как 2 КБ, обеспечивая гораздо более высокий коэффициент дедупликации, чем практически любое другое программное обеспечение с функциями дедупликации.
• Сходство на основе производительности дедупликации была улучшена.
• точность обнаружения свободной памяти также была улучшена.

Что нового в версии 2.3:

• Эта версия исправляет несколько ошибок и предоставляет несколько улучшений в эффективности и производительность.
• Эффективность обнаружения сходство подобия на основе почти точная дедупликации была улучшена.
• В то же время требования памяти для индекса был сокращен.
• Точность разделения данных между потоками была улучшена.
• Чанкинг и скорость индексирования были улучшены и вычисление КМВ Эскиз теперь более точным.
• Этот релиз движется все основные функциональные возможности в разделяемую библиотеку в рамках подготовки к интерфейсу API, который будет представлен в будущих версиях.

Что нового в версии 2.2:.

• Это, прежде всего, Исправление релиз
• Это исправляет некоторые проблемы с неверного ввода и построить проблем на Debian6 и старых процессоров, не SSE4.
• Мин-куча основе сопоставления сходство для Delta кодирования была улучшена и сделал быстрее и точнее.
• Точность масштабируемой сегментированной глобальной дедупликации было усовершенствовано, чтобы быть больше, чем 95%.
• Другие testcases были добавлены.

Что нового в версии 2.1:.

• Эта версия добавляет многие исправления и улучшения производительности
• Точность в поиске дубликатов в глобальной дедупликации была улучшена.
• SHA256 теперь алгоритм блок хэш умолчанию для дедупликации, с возможностью изменения его отдельно от куска проверки хэша.
• В целом, многие улучшения производительности были сделаны, с лучшей параллелизма, более SSE векторизации и быстрее сортировки и улучшения обработки сегмент хэш список файлов, в результате чего меньше I / O и меньше случайных доступов.
• Ошибки в расчете в памяти размер индекса было зафиксировано, чтобы избежать переполнения памяти и бесплатный обмен на диск.