Распределенные параллельные файловые системы с защитой от сбоев

Распределенные файловые системы, являющиеся параллельными и с защитой от сбоев, разделяют и реплицируют данные на многие сервера для высокой производительности и обеспечения целостности данных. Даже когда сервер дает сбой, данные не теряются. Данные файловые системы используются в высокоскоростных вычислениях и кластерах высокой доступности.

Все здесь перечисленные файловые системы фокусируются на высокой доступности, масштабируемости и высокой производительности, если не указано иначе.

• Ceph — свободная распределённая файловая система, может использоваться на системах, состоящих как из нескольких машин, так и из тысяч узлов. Не требует какой-то особой поддержки от ядра. Может работать поверх блочных устройств, внутри одного файла или используя существующую ФС.
• Coda — ФС, созданная в Carnegie Mellon University и нацеленная на операции, адаптируемые к пропускной способности канала (включая операции в режиме off-line). Использует кэш на стороне клиента для мобильных компьютеров. Данная ФС является потомком AFS-2 и доступна для Linux под лицензией GNU GPL.
• dCache — ФС от компаний Fermilab и DESY. Является бесплатным ПО (однако не относится к свободному программному обеспечению из-за лицензионных ограничений).
• ExaFS — Распределенная ФС от Exanet. Идет как часть ExaStore, основанном на Linux NAS решении запущенном на оборудовании Intel, обслуживает NFS v2/v3, SMB/CIFS и AFP для Microsoft Windows, Mac Os, Linux и других UNIX клиентов. Доступна под патентованной лицензией.
• Gfarm — ФС, использующая OpenLDAP или PostgreSQL для метаданных и FUSE или LUFS для монтирования. Доступна в Linux, FreeBSD, NetBSD и Solaris под лицензией X11.
• GlusterFS — Настраиваемая, высоко производительная кластерная ФС, распространяемая как часть GNU Clustering Platform. Доступна для любой POSIX совместимой операционной системы, под лицензией GNU GPL.
• GPFS — G eneral P arallel F ile S ystem, виртуальная файловая система для параллельной обработки данных разработанная IBM. Поддерживает репликацию между подсоединенными блочными устройствами хранения. Доступна в AIX, Linux и Windows. Синхронная или асинхронная репликация (настраиваемо).
• Google File System — Кластерная ФС, оптимизированная для работы с большими блоками данных по 64 Мб, а также обладающая повышенной защитой от сбоев. Вся информация копируется и хранится в трех местах одновременно, при этом система способна очень быстро находить реплицированные копии, если какая-то машина вышла из строя. Задачи автоматического восстановления после сбоя решаются с помощью программ, созданных по модели MapReduce. Является коммерческой тайной компании Google. Доступна только через Google App Engine.
• IBRIX Fusion — Программный пакет Fusion Software Suite, реализующий кластерную файловую систему Segmented File System. Создана компанией IBRIX. Доступна в Linux под патентованной лицензией.
• Lustre — Предназначена для использования в больших Linux -кластерах (от 1000 машин) Используется на многих самых производительных кластерах в мире. Лицензия GNU GPL.
• MooseFS — MooseFS это отказоустойчивая, распределенная сетевой файловая система. Она распространяет данные на несколько серверов, которые видны пользователю как один ресурс. Для стандартных файловых операций MooseFS выступает в качестве других Unix-подобных файловых систем. Совместима со стандартом POSIX.
• MogileFS — Распределенная ФС, созданная в рамках проекта LiveJournal и реализованная на уровне многоплатформенного приложения на Perl. Не совместима со стандартом POSIX, использует плоское пространство имен, уровень приложений, MySQL для метаданных и протокол HTTP для транспорта. Разработана компанией Danga Interactive. Доступна в Linux под лицензией GPL.
• OneFS distributed file system — Компания Isilon. Основанная на ОС BSD на выделенном Intel оборудовании, обслуживает NFS v3 и SMV/CIFS для Windows, Mac OS, Linux и других UNIX клиентов, доступна под патентованной лицензией.
• Panasas ActiveScale File System (PanFS) — Компания Panasas — использует объектные устройства хранения. Доступна в Linux под патентованной лицензией.
• PeerFS — Radiant Data Corporation — Фокусируется на высокой доступности и высокой производительности, использует репликацию типа точка-точка с множественными источниками и целями. Доступна в Linux под патентованной лицензией.
• POHMELFS (Parallel Optimized Host Message Exchange Layered File System) — кэш-согласованная распределенная файловая система, может рассматриваться как более быстрая и изящная замена широко распространенного протокола сетевого доступа к файловым системам Network File System (NFS). 9 июня 2009 года поддержка POHMELFS была включена в версию ядра Linux 2.6.30.
• Tahoe ^[6] — данные дублируются, шифруются, поддерживается контроль доступа ^[7] , написана на Python под GPLv2
• TerraGrid Cluster File System — Terrascale Technologies Inc — Реализует связанность кэша под запросу и использует стандарт iSCSI и модифицированную версию файловой системы XFS. Доступна в Linux под патентованной лицензией.

В разработке:

• zFS, от компании IBM (не путать с ZFS от Sun Microsystems) фокусируется на кооперативном КЭШе и распределенных транзакциях, использует объектные устройства хранения. Находится в разработке и на данный момент недоступна.
• Hadoop Distributed File System — Бесплатный клон GoogleFS
• Kosmos Distributed File System — ФС, разработанная Kosmix, теперь ^{[ источник не указан 1484 дня ]} является свободным ПО.
• HAMMER / ANVIL от Matt Dillon
• OASIS от ETRI. Весьма схожа с Lustre или Panasas. Доступна в Linux через специальную программу переноса программ, предоставленную ETRI.
• Parallax ^[8]
• XtreemFS ^[9] — Бесплатная открытая параллельная, объектно-ориентированная файловая система. Разработана как часть XtreemOS ^[10] , полностью интегрирована с управлением Virtual organization (VO).