S3QL

S3QL поддерживает Amazon S3, а также произвольные серверы SFTP и эффективно предоставляет вам с жестким диском динамической, бесконечной мощности, которые могут быть доступны с любого компьютера с доступом в Интернет.
S3QL предоставляет стандартный, полнофункциональный UNIX файловую систему, которая концептуально неотличим от любого локальной файловой системе. Кроме того, S3QL имеет дополнительные функции, такие как сжатие, шифрование, дедупликации данных, неизменных деревьев и мгновенных снимков, которые делают его особенно подходящим для резервного копирования и архивирования.
S3QL предназначен в пользу простоту и элегантность за выполнением и художественного ползучести. Необходимые меры были приняты, чтобы сделать исходный код, как чтение и обслуживанию, как это возможно. Твердые обнаружения ошибок и обработки ошибок были включены с самого первого линию, и S3QL поставляется с обширными автоматизированных тестов для всех его компонентов.
Перед файловая система может быть смонтирована, базовая, которая будет держать данные должны быть инициализированы. Это делается с помощью команды mkfs.s3ql. Здесь мы используем базовую программу Amazon S3, и nikratio-s3ql-ковш ковш S3 в котором файловая система будет сохранена.
mkfs.s3ql S3: // nikratio-s3ql ведро
Для установки S3QL файловую систему, хранящуюся в ведро nikratio_s3ql_bucket S3 в каталоге / шоссе / s3ql, введите:
mount.s3ql S3: // nikratio-s3ql ведро / шоссе / s3ql
Теперь вы можете поручить ваши любимые программы резервного копирования для запуска резервного копирования в каталог / шоссе / s3ql и данные будут храниться Амазонка S3. Когда вы закончите, файловая система должна быть удалена командой
umount.s3ql / шоссе / s3ql

Особенности

• Прозрачность. Концептуально, S3QL неотличим от локальной файловой системе. Например, он поддерживает жесткие ссылки, символьные ссылки, полные права Unix, расширенные атрибуты и размер файла до 2 ТБ.
• Динамический Размер. Размер в S3QL файловой системы растет и сжимается динамически по мере необходимости.
• Сжатие. Перед хранением, все данные могут сжатый с LZMA, BZIP2 или алгоритма LZ.
• Шифрование. После сжатия (но перед загрузкой), все данные могут AES зашифрованный с 256-битным ключом. Дополнительный SHA256 HMAC сумма используется для защиты данных от манипуляций.
• дедупликации данных. Если несколько файлов имеют одинаковые содержимое, избыточные данные будут храниться только один раз. Это работает во всех файлов, хранящихся в файловой системе, а также, если только некоторые части файлов идентичны, тогда как другие части различаются.
• непреложных деревья. Каталог деревья могут быть сделаны неизменны, так что их содержание не может быть больше не изменился каким-либо образом. Это может быть использовано для того, чтобы резервное копирование не может быть изменена после того, как они были сделаны.
• копирование при записи / мгновенных снимков. S3QL может повторить целые деревья каталогов, без использования дополнительного места для хранения. Только если одна из копий будет изменен, часть данных, которые были изменены займет дополнительное место для хранения. Это может быть использовано для создания интеллектуальных снимки, которые сохраняют состояние каталога в различные моменты времени с использованием минимального пространства.
• Высокая независимого выполнения латентности сети. Все операции, которые не писать или читать содержимое файла (например, создание каталогов или перемещения, переименования и изменения прав доступа файлов и каталогов) очень быстро, потому что они проводятся без каких-либо сетевых операций.
• S3QL достигает этого за счет экономии весь файл и структуру каталогов в базе данных. Эта база данных в локальный кэш и удаленный экземпляр обновляются асинхронно.
• Поддержка подключений с низкой пропускной способностью. S3QL разбивает содержимое файла на более мелкие блоки и кэширует блоки на местном уровне. Это сводит к минимуму как количество сетевых операций, необходимых для чтения и записи данных, и объем данных, который должен быть передан, когда только части файла для чтения или записи.

Что нового В этом выпуске:

• Попытки обновить файловую систему, которая уже в новейшей редакции больше не оказывают местные метаданные скопировать непригодным для использования.
• Имена ведро хранения Google, содержащие точки больше не вызывают проблем с проверкой сертификатов SSL.
• Исправлена ​​ошибка при statvfs () вызывается почти пустой файловой системы.
• Существует новый и Quot; swiftks и Quot; серверную часть для OpenStack Swift / серверов.
• Устраняет состояние гонки, которые могли бы привести к mount.s3ql сбой с & Quot; KeyError в коллекциях / abc.py & Quot;.
• Исправлена ​​ошибка, которая могла возникать при попытке очистить после получения сообщение об ошибке соединения или сервера при загрузке объекта.

Что нового в версии 2.2:

• S3QL теперь использует соединения SSL по умолчанию и проверяет сертификаты сервера.
• Состояние гонки, что привело к видимой потери дистанционного метаданных была установлена.
• Модель S3 базовая Теперь удаляет несколько объектов хранения, используя один запрос, если это возможно, снижения задержки, трафик, и число запросов к S3.
• S3QL теперь в состоянии обнаружить ошибки сервера и перенаправления, прежде чем все данные были отправлены на сервер.
• был добавлен новый "Rackspace" базовая что позволяет устанавливать области хранения объектов в URL хранилища.
• The mount.s3ql --compress вариант теперь позволяет спецификацию уровня сжатия.

Что нового в версии 1.15:

• Велоспорт резервных копий метаданных при использовании местной бэкенд теперь занимает гораздо меньше времени.

не
• Это больше не требуется, что S3QL и Python APSW быть связаны с одной и той же общей библиотеки SQLite.
• В mount.s3ql, авария при использовании --metadata-загрузки-интервал 0 не зафиксировано.
• Вместо того, чтобы полностью размонтирования файловой системы (и оставляя точку монтирования недоступен), когда базовая данные отсутствуют или повреждены, S3QL теперь возвращает ошибку и переключатели только для чтения операции.

Что нового в версии 1.13:

• Эта версия исправляет ошибку, которая вызвала неверный формат метаданных для записи , когда с использованием последних версий eglibc.
• Это исправляет проблемы при попытке получить доступ к каталогу в корне файловой системы, которая недавно была удалена с s3qlrm.
• Поддержка ACL якобы был удален.
• Этот релиз лучше ручки ведра с именами недействительным DNS.
• Это будет повторить попытку, если DNS-не доступна.

Что нового в версии 1.11.1:

• Эта версия исправляет падение при использовании бэкэнда S3 (регрессия введена в выпуске 1.11), увеличивает минимальный размер файловой сообщили в 1 ТБ, и работает вокруг ф.р. баг так что размер сообщается неправильно.

Что нового в версии 1.11:

• метаданных о хранимых объектов в настоящее время разделен на несколько полей, так нет поле не больше, чем 256 байт. (Это делает S3QL совместим с широким диапазоном поставщиков хранения данных.) Быстрые базовая Теперь повторяет, если он не получает 5xx коды ошибок с удаленного сервера, и больше не терпит неудачу, когда пытаются загрузить данные с истекшим сроком знак авт.

Что нового в версии 1.10:

• В S3s, s3cs, и СОБ движки были удалены. Используйте новую опцию --ssl вместе с S3, S3C и са бэкэндов вместо этого.

не
• S3QL больше не отслеживает консистенции гарантий для различных подсистем.
• Все большее число различных поставщиков хранения предлагают различные регионы, избыточность и уровни готовности не делает это больше не представляется возможным.
• Руководство пользователя содержит новый раздел, & Quot; Важные правила, чтобы избежать потери данных и Quot;.
• Читая его настоятельно рекомендуется.

Что нового в версии 1.9:

• Эта версия делает раз файл больше не изменится при изменении системы Часовой пояс, исправления и улучшает CONTRIB / benchmark.p, фиксирует и Quot; Слишком много цепью перенаправления & Quot; ошибка, повторяет на ошибки 5xx серверов, и добавляет экспериментальную поддержку родной для серверов OpenStack / SWIFT и экспериментальной поддержки прокси.

Что нового в версии 1.8:

• а & Quot; ValueError: Не можете сбросить NULL значения & Quot; вылет при метаданные файловой системы был загружен во время активности тяжелых файловой системы был установлен.
• s3qlcp и списка каталогов производительность очень больших каталогов были улучшены.
• регрессия производительности RM была установлена.
• -. размер_блока был переименован в --max-Obj-размер
• Некоторые сбои, которые произошли под сильно одновременного использования файловой системы были установлены.
• питон-llfuse 0,37 в настоящее время используется.

Ограничения

• Есть еще много ошибок в коде, и вы должны быть готовы иметь дело с их. Тем не менее, вы можете быть уверены, что ошибки (хотя неудобно), не будет угрожать сохраненные данные.