MooseFS

MooseFS является отказоустойчивой сетевой распределенной файловой системы, что расширяет данные в течение нескольких физических серверах, которые видны пользователю как NBSP один ресурс и, для стандартных операций с файлами MooseFS актов, как и другие Unix-систем, так файловых.:
& NBSP; * Иерархическая структура (дерево каталогов)
& NBSP; * Магазины POSIX атрибуты файла (права, последнего доступа и модификации раз)
& NBSP; * Поддержка специальных файлов (блок и символьных устройств, каналов и сокетов)
& NBSP; * Символические ссылки (имена файлов, указывающие на цель файлы, не обязательно на MooseFS) и жесткие ссылки (различные имена файлов, которые относятся к тем же данным на MooseFS)
& NBSP; * Доступ к файловой системе могут быть ограничены на основе IP-адреса и / или пароля
Отличительные особенности MooseFS являются:
& NBSP; * Высокая надежность (несколько копий данных могут быть сохранены по отдельным компьютерам)
& NBSP; * Емкость динамически расширяемый путем присоединения новых компьютеров / диски
& NBSP; * Удаленные файлы сохраняются в течение заданного периода времени (уровень файловой системы "Мусорное ведро")
& NBSP; * Когерентные снимки файлов, даже в то время как файл записывается / доступ
MooseFS состоит из четырех компонентов:
& NBSP; * Управление сервером (мастер-сервер) и Ndash; одна машина управления весь файловую систему, хранения метаданных для каждого файла (информацию о размере, атрибуты и расположение (ы) файл, включая всю информацию о нерегулярных файлов, т.е. каталоги, сокеты, труб и устройств).
& NBSP; * Серверы данных (серверов) кусков - любое число стандартных серверов, хранящих данные файлы и синхронизации его между собой (если определенный файл должен существовать в более чем в одном экземпляре).
& NBSP; * метаданных сервер (ы) резервного копирования (metalogger сервер) - любое количество серверов, каждый из которых списком изменений магазин метаданных и периодически загружать основной файл метаданных; таким образом, чтобы продвигать эти серверы в роли управляющего сервера при первичной мастер перестает работать.
& NBSP; * Клиентские компьютеры, которые обращаются к (монтаж) Файлы в MooseFS - любое количество машин, использующих mfsmount процесс общения с управляющего сервера (получать и изменять метаданные файлов) и chunkservers (для обмена фактические данные файлов).
mfsmount основан на механизме FUSE (Файловая система в пользовательском пространстве), так MooseFS доступны на каждом операционная система с реализации рабочей FUSE (Linux, FreeBSD, MacOS X и т.д.)
Метаданные хранятся в памяти управляющего сервера и одновременно сохранены на диске (как периодически обновляется бинарный файл и сразу же обновляются дополнительные журналы). Основной бинарный файл, а также бревна синхронизированы с metaloggers (если они присутствуют).
Данные файла делится на фрагменты (чушек) с максимумом 64MiB каждого. Каждый блок является сам файл на выбранных дисках на серверах данных (chunkservers).
Высокая надежность достигается путем конфигурирования, как много различных серверов данных в соответствующих осознать ценность "цель" (количество копий, чтобы держать), установленных для данного файла.
, как работает система
Все операции с файлами на клиентском компьютере, который смонтировал MooseFS точно так же, как они будут с другими файловыми системами. Ядро операционной системы передает все файловые операции на модуле FUSE, который общается с процессом mfsmount. Процесс mfsmount общается через сеть впоследствии с управляющего сервера и данных серверов (серверов) кусков. Весь этот процесс полностью прозрачным для пользователя.
mfsmount общается с управляющего сервера каждый раз, когда операция по метаданным файла требуется:
& NBSP; * создание файлов
& NBSP; * удаление файлов
& NBSP; * чтение каталогов
& NBSP; * чтение и изменение атрибутов
& NBSP; * изменение размеров файлов
& NBSP; * в начале чтения или записи данных
& NBSP; * на любой доступ к специальным файлов MFSMETA
mfsmount использует прямое соединение с сервером данных (порции сервера), который хранит соответствующую кусок файла. При написании файл, после окончания процесса записи управляющий сервер получает информацию из mfsmount обновить длину файл в и время последнего изменения.
Кроме того, серверы данных (серверы) кусков взаимодействовать друг с другом для репликации данных с целью достижения соответствующего количества копий файла на разных машинах.
& NBSP;
Fault Tolerance
& NBSP;
Административные команды позволяют системному администратору указать «цель», или количество копий, которые должны быть поддержаны, на в-справочник или каждого файла уровне. Установка цели более чем одной и с более одного сервера данных обеспечит отказоустойчивость. Когда данные Файл хранится во многих экземплярах (более чем на одном сервере данных), система устойчива к сбоям или временных сбоев сети одного сервера данных.
Это, конечно, не относится к файлам с "цели", установленным в 1, в этом случае файл будет существовать только на одном сервере данных, независимо от того, сколько данных серверы развернуты в системе.
Исключительно важные файлы могут иметь их цель установить на ряд выше, чем два, которые позволят эти файлы, которые будут устойчивы к разрушению более одного сервера сразу.
В целом установка количества копий имеющихся должно быть на единицу больше ожидаемого числа недоступных или вне заказ серверов.
В случае, когда один сервер данных происходит сбой или отключение от сети, файлы, сохраненные в нем, которые имели по крайней мере две копии, будет оставаться доступными от другого сервера данных. Данные, которые сейчас "под его цели" будет повторен на другой доступной сервере данных, чтобы вновь создать необходимое количество копий.
Следует отметить, что если количество доступных серверов ниже "цель", установленного для данного файла, требуемое количество копий не может быть сохранена. Аналогично, если есть такое же количество серверов, как в настоящее время поставленной целью, и если сервер данных достигла 100% своей мощности, то это будет не в состоянии начать проводить копию файла, который в настоящее время ниже цели порога из-за другой Сервер данных происходит в автономном режиме. В этих случаях новый сервер данные должны быть подключены к системе как можно быстрее, чтобы поддерживать нужное количество копий файла.
Новый сервер данных может быть подключен к системе в любое время. Новые мощности будут сразу же становятся доступны для использования для хранения новых файлов или провести реплицированные копии файлов с других серверов данных.
Административные утилиты существуют для запроса статуса файлов в файловой системе, чтобы определить, если любой из файлов в настоящее время ниже своей цели (набор количество копий). Эта программа также может быть использован, чтобы изменить установку цели в соответствии с требованиями.
Фрагменты данных, хранящиеся в куски версий, так повторного соединения сервер данных со старой копии данных (например, если он был форума в течение времени), не вызовет файлы, чтобы стать некогерентного. Сервер данных будет синхронизироваться провести текущие версии куски, где устаревшие куски будут удалены, а свободное пространство будет перераспределена провести новые куски.
Неудачи на клиентской машине (что запускает процесс mfsmount) не будет иметь никакого влияния на согласованность файловой системы или на деятельность другого клиента. В худшем случае данные, которые еще не были отправлены с отказавшего клиентском компьютере могут быть потеряны.
& NBSP;
ПЛАТФОРМЫ
& NBSP; MooseFS доступны на каждом операционная система с реализации рабочей FUSE:
& NBSP; * Linux (Linux 2.6.14 и выше есть поддержка FUSE включены в официальном ядре)
& NBSP; * FreeBSD
& NBSP; * OpenSolaris
& NBSP; * MacOS X
Главный сервер, сервер metalogger и chunkservers также может работать на Solaris или Windows, с Cygwin. К сожалению, не FUSE это не будет возможно для монтирования файловой системы в течение этих операционных систем

Что нового В этом выпуске:.

< LI> Наиболее важные изменения включают в себя фиксированную обработку сигнала в многопоточных модулей, целей и ограничений в trashtime mfsexport.cfg и простую проверку для загруженных файлов метаданных.

Что нового в версии 1.6.19:

• Существенные изменения были внесены в metalogger машины и metarestore инструмент для лучшего целостности метаданных.
• был добавлен индикатор выполнения сканирования в CS.
• Мастер имя теперь решена, когда соединение не удается.
• Новый сеанс создается, когда предыдущий теряется.
• были сделаны много других исправлений и улучшений.

Что нового в версии 1.6.17:

• В этом выпуске мы ввели автоматическое управление кэша данных .
• Достаточно обновить только главный сервер (без изменений в порций серверов 'или' код клиентов были сделаны).
• Механизм кэш ядра всегда существовала, но до сих кэш всегда сбрасывается при открытии файла. Теперь MooseFS контролирует ли, чтобы очистить его или нет, проверяя, если файл был изменен или не другим клиентом. Давайте посмотрим на некоторые сценарии.
• Первый сценарий:
• 1. Компьютер А читает файл X
• 2. Компьютер В читает файл X
• 3. Компьютер А хочет прочитать файл X - мы оставляем кэш (файл не был изменен)
• Второй сценарий:
• 1. Компьютер А читает файл X
• 2. Компьютер А пишет в файл X
• 3. Компьютер А хочет Tor прочитать файл X - мы оставляем кэш (файл был изменен, но компьютер знает об этих изменениях)
• Третий сценарий:
• 1. Компьютер А читает файл X
• 2. Компьютер В записывает в файл X
• 3. Компьютер А хочет прочитать файл X - здесь мы должны заставить очистить кэш (потому что изменения были сделаны компьютере B и компьютер с не знать о них)
• В реальных условиях первый и второй сценарии случаются гораздо чаще, чем третий сценарий, и поэтому целесообразно оставить содержимое кэша и получить общую производительность системы.
• Есть, конечно, некоторые средние сценарии (но они также существовали и раньше), как это:
• 1. Компьютер А открывает файл X и читает его полностью (файл остается в кэше)
• 2. Компьютер Б изменяет файл X
• 3. Компьютер А раз читает файл X (но, не закрывая или открытия его - просто перемещение в положение 0 и перечитывая его)
• В этой ситуации Компьютер А хотел бы получить те же данные, что и в шаге 1, но то же самое произошло в также MooseFS раньше.
• AN nodatacache атрибут был также введен, который запрещает кэшировать файл. Начиная с версии 1.6.17 до файлов с атрибутом nodatacache себя как файлы сделал в старых версиях MooseFS. Этот флаг может быть использован с инструментами mfsseteattr, mfsdeleattr и mfsgeteattr.
• Этот флаг был добавлен превентивно и, вероятно, вам не нужно будет его использовать. Если через некоторое время оказывается, что это действительно бесполезно, он будет удален. Но если вы находите любой случай / сценарий, который требует отключения механизма автоматического кэширования пожалуйста, поделитесь с нами.