Кластерная файловая система Blue Whale - Blue Whale Clustered file system

Кластерная файловая система Blue Whale (BWFS) - файловая система совместно используемого диска (также называемая кластерная файловая система, файловые системы общего хранилища или Файловая система SAN ) сделано компанией Tianjin Zhongke Blue Whale Information Technologies в г. Китай.

Обзор

BWFS обеспечивает одновременный доступ к файлам на разнородных платформах и обеспечивает высокопроизводительное создание, хранение и совместное использование файлов. BWFS устанавливается на хостах, которые подключены к одному дисковый массив в сеть хранения данных (SAN). Клиентские системы не обязаны запускать одну и ту же операционную систему для доступа к общей файловой системе, содержащей данные StorNext. По состоянию на январь 2010 г. операционные системы с доступным клиентским программным обеспечением являются Майкрософт Виндоус, Linux, и Mac OS X.

BWFS может конвертировать многие FibreChannel или iSCSI дисковые массивы в кластер хранения, который поддерживает параллельную обработку нескольких серверов, обеспечивает высокопроизводительную и расширяемую службу обмена файлами и поддерживает рабочий процесс или приложения на нескольких машинах в кластерной среде.

Файловая система BWFS реализована в режиме прямого доступа к данным. Общие файловые данные получают прямой доступ к дисковым массивам FC или iSCSI через сеть SAN для передачи данных, пропуская файловый сервер или головку NAS, что полностью демонстрирует преимущества высокой пропускной способности среды SAN. BWFS позволяет значительно расширить возможности системы для одновременной обработки файлов без изменения внешней среды приложения и состояния внутренней SAN.

BWFS поддерживает MDC избыточной структуры (Контроллер метаданных), обеспечивая отличную производительность и возможности высокой доступности в сочетании с инфраструктурой SAN, чтобы обеспечить надежность системы и безопасность данных для хранения на уровне предприятия.

Процесс доступа к данным

BWFS поддерживает разнородную платформу с несколькими операционными системами, позволяя нескольким серверам одновременно обращаться к одному и тому же набору дисков и файлов, независимо от типа их соответствующей файловой системы. В настоящее время BWFS поддерживает различные платформы Linux корпоративного класса и Windows 2000, Windows XP и Windows 2003. Нацеленная на разные операционные системы, BWFS имеет различные клиентские программы, некоторые из которых могут идентифицировать и обеспечивать доступ к общей файловой системе BWFS. , и обеспечить единообразное представление файловой системы в разных операционных системах. Запросы ввода-вывода можно обрабатывать должным образом.

Когда несколько серверов одновременно обращаются к одной и той же файловой системе, необходим определенный механизм для предотвращения записи двумя серверами в одно и то же место на диске. Также необходимо убедиться, что определенный сервер не будет читать различное содержимое при чтении файла, пока другой сервер обновляет этот файл. В BWFS такой механизм и функция обеспечивается контроллером метаданных.

MDC отвечает за координацию доступа сервера к файловой системе BWFS, расположенной за пределами пути чтения и записи данных файла. Клиент общается через отдельные IP-ссылки и MDC для получения информации о расположении файлов и распределении ресурсов блока данных. Затем через сеть SAN выполняется прямое чтение и запись на диск в блочном режиме. Такой дизайн архитектуры в техническом смысле называется «кадр внеполосной передачи» или «асимметричная архитектура»:

Процесс доступа к данным можно разбить следующим образом:

  1. Прикладная программа выдает запрос на запись
  2. Клиент BWFS отправляет рабочий запрос в MDC через LAN
  3. MDC обрабатывает этот запрос и отвечает клиенту, для которого блоки диска могут быть прочитаны в данных через LAN.
  4. Клиент BWFS напрямую записывает данные в файловую систему на линейной скорости.

BWFS разработана на основе среды SAN, что позволяет большому количеству серверов или рабочих станций, подключенных к FC SAN или IP SAN (iSCSI), получать прямой доступ к одной и той же файловой системе. BWFS FC может использовать один или несколько каналов FC для доступа к дисковым ресурсам, так что производительность ввода-вывода одного сервера может быть увеличена до нескольких ГБ / с с более чем 100 МБ / с путем простого увеличения платы FC HBA.

Конечно, общая производительность системы не только связана с производительностью хоста и сети, но также зависит от производительности дисковой файловой системы. Таким образом, файловую систему BWFS можно структурировать с помощью LUN из нескольких дисковых массивов. Это равносильно другому уровню RAID, структурированному между несколькими дисковыми массивами, который максимизирует производительность дисковых массивов.

Еще один фактор производительности, который следует учитывать, - это расположение метаданных. Файл состоит из реальных данных и метаданных. Фактические данные - это содержимое файла, а метаданные включают атрибуты файла, разрешения и т. Д. Когда файл создается, изменяется или удаляется, информация метаданных должна быть изменена, что означает, что файл обрабатывается путем чтения как данных файла, так и метаданных. Обычно большой файл читается и записывается непрерывно, в то время как метаданные следует читать, перемещая головку магнитного диска в другое место. Для диска его режим чтения и записи намного выше степени случайности. Если данные и метаданные запоминаются на одном диске (режим большинства файловых систем), степень случайности большого файла будет соответственно увеличена, чтобы снизить производительность чтения и записи. По этой причине файловая система BWFS запоминает метаданные на другом диске или томе в разметке, так что непрерывное чтение и запись файла разделены случайностью метаданных. Они не подвержены взаимному влиянию, что позволяет максимально увеличить пропускную способность ввода-вывода.

Кроме того, после разделения данных и метаданных данные и метаданные могут обрабатываться независимо на разных хостах без использования полосы пропускания канала данных, что может улучшить параллелизм данных и метаданных для дальнейшего повышения производительности файловой системы.

Коммерциализация

2006 г. Gartner В публикации говорится:

"Кластерная файловая система (CFS) протокола Интернет-протокола (IP) BWFS вышла за рамки исследовательской лаборатории и перешла на стадию коммерциализации и теперь успешно применяется в различных отраслях промышленности, включая энергетику, автомобилестроение, военную промышленность и медиа. Успех демонстрирует сильные стороны китайских исследовательских институтов в области технологий, несмотря на их относительную нехватку коммерческого опыта и инвестиционных ресурсов по сравнению со многими западными поставщиками технологий. Хотя CFS еще не распространены на рынке обычных систем хранения, для некоторых пользователей, которым требуется очень большой вклад / output I / O performance - особенно передовые приложения, такие как нефть и газ, биотехнологии и автоматизированное проектирование (CAD) - BWFS предлагает хорошее решение по соотношению цена / производительность. Пользователи также должны рассмотреть BWFS, если ищут недорогой CFS . Пользователи, которым требуется более коммерциализированное решение - или которым нравится иметь более «нестандартный» интерфейс, - лучше рассмотреть других поставщиков, таких как Panasas, Isilon и Ibrix. чем BWFS ".[1]

BWFS был разработан в Национальных исследовательских центрах высокопроизводительных компьютеров Китайская Академия Наук. В 2007, FalconStor объявила о создании совместного предприятия по продаже программного обеспечения.[2]Совместное предприятие было названо Tianjin Zhongke Blue Whale Information Technologies Company, расположенное в г. Тяньцзинь, Китай.[3]Венчурный капитал фирма VantagePoint Capital также сделал вложение.[4]Было объявлено, что BWFS будет использоваться для видео со спутника, предназначенного для покрытия Летние Олимпийские игры 2008 года.[5]

Смотрите также

Рекомендации

  1. ^ Джимми Чанг (28 сентября 2006 г.). «Dataquest Insight: пример из практики Китайской исследовательской лаборатории демонстрирует преимущества передовых технологий собственного производства». ID номер: G00142484. Gartner. п. 2.
  2. ^ Джеймс Роджерс (27 октября 2007 г.). «FalconStor запускает китайское предприятие». Сетевые вычисления. Архивировано из оригинал 19 марта 2012 г.. Получено 15 июля 2011.
  3. ^ «CAS объединяет усилия с FalconStor». Выпуск новостей. 26 октября 2007 г. Архивировано с оригинал 19 марта 2012 г.. Получено 15 июля 2011.
  4. ^ "Синий кит". Портфолио: Азия. Партнеры VantagePoint Capital. Архивировано из оригинал 2 октября 2011 г.. Получено 15 июля 2011.
  5. ^ "Файловая система Blue Whale будет использоваться для Олимпийский спутник". Китайская академия наук. 21 июня 2006 г. Архивировано с оригинал 27 сентября 2011 г.. Получено 15 июля 2011.

дальнейшее чтение

  • Чжэньхань Лю, Сяосюань Мэн, Лу Сюй. Управление блокировками в файловой системе Blue Whale. В материалах 2-й Международной конференции по наукам о взаимодействии: информационные технологии, культура и человек (ICIS 2009)
  • Чжэнхань Лю, Сяосюань Мэн, Лу Сюй (2009). «Оптимизация производительности при интенсивных рабочих нагрузках малых файлов в BWFS». Международная конференция по параллельным и распределенным вычислениям, приложениям и технологиям: 154–159. Дои:10.1109 / PDCAT.2009.60.CS1 maint: использует параметр авторов (ссылка на сайт)
  • Лю Ши, Цзинлян Чжан, Лу Сюй (2010). «Изоляция клиентских данных файловой системы Blue Whale в поле нелинейного редактирования». Труды 12-й Международной конференции IEEE по высокопроизводительным вычислениям и коммуникациям: 49–54. Дои:10.1109 / HPCC.2010.39.CS1 maint: использует параметр авторов (ссылка на сайт)
  • Распределитель блоков хранения для управления дисковыми хранилищами в файловой системе [Q] ， NAS’09，2009
  • Лу Сюй, Хунюань Ма, Чжэньцзюнь Лю, Хуан Чжан, Шуо Фэн, Сяомин Хан, «Опыт поддержки иерархического управления хранением в файловой системе Blue Whale», pdcat, стр. 369–374, 2010 Международная конференция по параллельным и распределенным вычислениям, приложениям и технологии, 2010 г.

внешняя ссылка