Технологии обеспечения надежности хранения данных

128 0 0 0

Материалы для лекции №7 «Технологии обеспечения надежности хранения данных»

 

Часть 1.

Традиционные технологии RAID.

 

Основные принципы и реализация RAID

RAID (Redundant Array of Independent Disks) –

«Избыточный массив независимых дисков»

Методы реализации:

·       Аппаратный RAID

·       Программный RAID

 

 

160607lcw8sz44l99san44.png

Организация данных в RAID

·       Блок (strip) – смежный адресный блок в жестком диске. Это самая маленькая единица жесткого диска, на которую могут быть записаны данные; это элемент, который формирует полосу (stripe).

·       Полоса (stripe) – набор блоков с одинаковым "местоположением" (или одинаковым идентификатором) в нескольких жестких дисках внутри дискового массива.

160608spacwrkd2a1uwuex.png

Методы защиты данных RAID

Метод 1. Сохранение копии данных на дополнительном жёстком диске.

Метод 2. Расчет четности по методу «исключающее или» (XOR)

·       Вычисление XOR широко используется в цифровой и вычислительной науке.

·       Принцип XOR: в случае двух переменных результат выполнения операций истинен тогда и только тогда, когда один из аргументов истинен, а второй – ложен.

·       00 = 0; 01 = 1; 10 = 1; 11 = 0;

 

160608egvcnb5fcu0grm50.png

Классификация RAID

 

Технологии RAID объединяют несколько независимых физических дисков в логический диск с использованием различных методов, что увеличивает производительность чтения и записи, а также безопасность данных дисков. Типы RAID могут быть разделены по методам комбинации дисков в массиве RAID.

 

160608brdd8tl8qql8r0d8.png

Работа RAID 0

160609ot7xgqlmhchleeec.png

 

Запись данных RAID 0

160609tfdh7jzzjidehvyv.png

Чтение данных RAID 0

160609as6s6k3c3kkgo906.png

Работа RAID 1

160610z3iwsw11wiae1911.png

Запись данных RAID 1

160610exk3haxavwtk80kp.png

Чтение данных RAID 1

160610g9an604o1aav5v0d.png

Работа RAID 3

160611k9guxtpnjovnffon.png

Запись данных RAID 3

160611ujppgsptg2p8j4ns.png

Примечание: Когда новых данных для записи мало и они должны быть записанытолькона1 или2 диска, происходит ошибка записи (Write Penalty).

Чтение данных RAID 3

160612i4yim4ipppz4zou7.png

Работа RAID 5

160612bfcfc66yu9yx16oz.png

Запись данных RAID 5

160612xr77borg2rc87z20.png

Чтение данных RAID 5

160613d4x039z7rr4dwdr6.png

Обзор RAID 6

RAID 6

·       Имеет 2 контрольные суммы.

·       Требуется по крайней мере N + 2 (N > 2) дисков для формирования массива RAID 6. Обычно используется для обеспечения высокой надежности и высокой доступности данных.

Типы реализации RAID 6:

·       RAID6 P+Q

·       RAID6 DP (двойной контроль четности)

 

Работа RAID 6 P+Q

 

RAID 6 P+Q вычисляет2 разных набора данных четности –P и Q; при утере данных они могут быть восстановлены с помощью P и Q. Информация о четности P и Q рассчитывается на основе следующих формул:

 

·       P = D0 D 1 D2

 

·       Q = (α D0) (ẞ D1) D2)

 

160613mju16njjoze9u1oq.jpg

 

Гибридные RAID. RAID 10

 

RAID 10 –это тип RAID, который сочетает в себе зеркалирование RAID 1 и чередование RAID 0. RAID – один из самых популярных типов RAID.

160613o0h0q6kuhhh0c0th.png

 

Гибридные RAID. RAID 50

 

RAID 50 представляет собой тип RAID, который объединяет RAID 5 и RAID 0. Первый уровень - RAID 5, второй - RAID 0.

160614dfwia8tufiwel0jf.png

 

 

Часть 2.Технологии RAID 2.0 +.

Развитие технологий RAID

160614yuk92xxv9z12l9ux.png

Логические объекты RAID 2.0+

160614xe8ppefppeureh6e.png

Основные принципы RAID 2.0 +

160615j8qhhu2q887whym7.png

Дисковый домен

 

Дисковый домен –это группа разных видов дисков (это могут быть все диски в системе). Емкость этих дисков объединяется с пространством горячего резервирования, а затем предоставляется в качестве единого ресурса хранения в пуле хранения.

 

160615qrb5qccr4z7hkr8o.png

Пул и уровень хранения

 

·       Пул хранения содержит ресурсы хранения. В пул хранения входит все пространство хранения, используемое серверами.

·       Уровень хранения – это совокупность накопителей с аналогичной производительностью в пуле хранения. Уровни используются для управления носителями с различными характеристиками и упрощают предоставление различных пространств хранения на основе требований к производительности.

 

Уровень хранения

Имя уровня

 

Тип накопителей

Применение

 

Уровень 0 (Tier0)

Уровень высокой производительности

 

SSD

 

Высочайшая производительность и стоимость, подходит для доступа к часто запрашиваемым данным и их хранения.

Уровень 1 (Tier1)

 

Уровень производительности

 

SAS

 

Средняя производительность и стоимость, подходит для доступа к не часто запрашиваемым данным и их хранения.

Уровень 2 (Tier2)

 

Уровень емкости

 

NL-SAS

 

Низкая производительность, низкая стоимость и высокая емкость. Подходит для хранения больших объемов данных и доступа к редкозапрашиваемым данным.

 

Типы и правила RAID

Тип RAID

Тип RAID

RAID 1

1D + 1D, 1D + 1D + 1D + 1D

RAID 10

Система автоматически выбирает 2D + 2D или 4D + 4D

RAID 3

2D + 1P, 4D + 1P, 8D + 1P

RAID 5

2D + 1P, 4D + 1P, 8D + 1P

RAID 50

(2D + 1P) * 2, (4D + 1P) * 2, (8D + 1P) * 2

RAID 6

2D + 2P, 4D + 2P, 8D + 2P, 16D + 2P

 

Группа дисков (DG)

 

Группа дисков – это совокупность нескольких аналогичных по типу накопителей в рамках дискового домена. Типы накопителей: SSD, SAS и NL-SAS.

 

160615h1f7mot92fn1i143.png

Логический диск (LD)

 

Логический диск (LD) -это диск, управляемый системой хранения и соответствующий физическому накопителю.

160616p2nk36136kerr631.png

Блок (CK)

 

Система хранения делит диски на каждом уровне хранения в дисковом домене на блоки (чанки, chunk, CK) с фиксированным размером для формирования RAID.

160616aoulgwhlyg3iw155.png

 

Группа блоков (Chunk Group – CKG)

 

Группа блоков (CKG) состоит из блоков (CK) нескольких дисков одной группы дисков (DG). Блок (Chunk) – это минимальная единица дискового пространства в RAID, а также минимальная единица распределения в пуле хранения.

160616cf31f57119bb7g45.png

Экстент (Extent)

 

Экстент – это логическое пространство хранения фиксированного размера, которое образуется на базе групп блоков(CKG). Размер экстента может быть изменен, экстент –это минимальная единица горячего анализа на основе гранулярности миграции данных.

160617jp88xksp8wvf27wp.png

Грейн (Grain)

 

 

В режиме тонкого LUN, экстенты дополнительно делятся на более мелкие элементы. Эти блоки называются грейнами. Тонкий LUN использует грейны для распределения пространства. Логическая адресация блоков (LBA) внутри грейна является непрерывной.

160617ufvmbr2cxscgdsdi.png

Том и LUN

·       Том – это внутренний объект управления в системе хранения.

·       LUN – это блок хранения, который можно напрямую сопоставлять с хостом для чтения и записи данных. Это внешнее представление тома.

160617jsvr8mp3lkv3c2js.png

 

 

Часть 3.

Технологии многоканальности хоста.

 

Многоканальные технологии

160618zi1enifhkyinoe1m.png

Принципы работы многоканальных технологий

160618d8t7g7czizkb32gc.png

 

Интеграция многоканального ПО с операционной системой

 

Уровень драйвера UltraPath на платформах Windows, Linux и Solaris

160618te7nnzsby27k9zk2.png

Особенности UltraPath. Аварийное переключение

160619xofdf33dtbjdbxxt.png

Особенности UltraPath. Отказоустойчивость

UltraPath переключает поток ввода-вывода на исходный канал после устранения неисправности.

Существует два способа восстановления канала:

·       Для систем с поддержкой горячей замены (например, Windows), неисправный канал между хостом и хранилищем приведет к удалению устройства SCSI, соответственно, при восстановлении связи произойдет автоматическое подключение устройства SCSI. В этом сценарии UltraPath мгновенно обнаружит восстановление канала.

·       Для систем без поддержки горячей замены (например, AIX, более ранняя версия Linux), UltraPath обнаруживает восстановление канала при помощи циклической периодической проверки. UltraPath проверяет каналы через заданный промежуток времени чтобы проверить их восстановление.

 

 

Часть 4.

Технологии обеспечения надежности дисков.

 

Надежность диска

160619ia7l48qdqx8n5xau.png

Типы сбоев дисков

 

1. UNC (Некорректируемые ошибки) около60% сбоев вызвано повреждением секторов.

2. NPF (Проблема не обнаружена) около12% сбоев диска происходят в результате неизвестной ошибки, не выявляемой при гарантийном тестировании на неисправность.

3. Интеллектуальная система обнаружения сбоев SMART может спрогнозировать сбой, но количество спрогнозированных сбоев составляет всего 7,69%, большинство сбоев невозможно спрогнозировать.

 

160619nje0qu50kq9jouit.png

Интеллектуальное сканирование дисков и восстановление неисправных секторов

Принципы:

·       Причины неисправности секторов: временнáя и пространственная локальность, деградация данных.

·       СХД периодически сканируют все носители, чтобы найти скрытые ошибки.

·       Алгоритм сканирования: перекрестное сканирование, динамическая регулировка скорости.

·       При обнаружении неисправного сектора система пытается восстановить данные при помощи резервирования RAID, после восстановления данных они записываются обратно на диск.

Преимущества:

·       Обнаружение скрытых рисков для безопасности данных и выполнение восстановления в целях минимизации рисков системы из-за неисправности дисков.

·       Увеличивает срок службы дисков и снижает убытки.

160620t1j4spzxfy45zosv.png

Интеллектуальная система диагностики дисков в режиме онлайн

160620zf5h2vckccckyjc4.png

Предварительное копирование

160621jh9hhdus7l9phcdu.png

Быстрый ответ на замедление ввода-вывода

160621u8r801x1310rs3sm.png

Восстановление RAID

160621fptpara7vpjj3j36.png

Традиционный RAID

RAID 2.0+

Необходима ручная настройка независимых глобальных или локальных дисков горячей замены.

Распределенное пространство горячего резервирования настраивается автоматически.

Восстановление по принципу «многие к одному», при котором данные записываются последовательно на один диск горячей замены.

Восстановление по принципу «многие к многим», при котором данные записываются параллельно на несколько дисков горячей замены.

Возникает повышенная нагрузка, длительное время восстановления.

Распределение нагрузки и короткое время восстановления.

 

Принципы восстановления RAID

160622or7fns52r6k7nmrv.png

Примечание. На рисунке выше в качестве примера показано использование RAID 5 (4 + 1), принципы работы для RAID других типов аналогичны.

 

 


  • x

Комментарий

Отправить
Выполните вход в систему, чтобы ответить на пост. Вход | Регистрация

Внимание Внимание! В целях защиты правовых интересов Вас, сообщества и третьих лиц, не публикуйте любой материал, содержащий политические высказывания, порнографию, упоминание азартных игр, употребление наркотиков, а также материал, нарушающий коммерческую тайну или содержащий персональные данные пользователей. Также не предоставляйте данные от вашей учетной записи. Вы будете нести ответственность за все действия, выполняемые под вашим аккаунтом. Подробная информация: “Политика конфиденциальности..”
Если кнопка вложения недоступна, обновите Adobe Flash Player до последней версии.
Авторизуйтесь и пользуйтесь всеми преимуществами участника!

Авторизуйтесь и пользуйтесь всеми преимуществами участника!

Вход