OceanStor 5800 V5 причина увеличения времени отклика LUN

1998 0 0 0

Около полуночи у клиента возникала проблема с увеличением времени отклика LUN на его конфигурации OceanStor 5800 V5. Мониторинг показал, что выросла нагрузка на хост увеличив нагрузка с 400-600 МБ/c до почти 7.4 ГБ/c.

133331ma9d0yjdpald9yyd.jpg

Пиковая нагрузка на порты (CTE0.A1.P0 и CTE0.B1.P0) в фоновом цикле SAS достигла около 7,6 ГБ / с.

133332la0r0kx0cgzkbai9.jpg

Характеристики по этой внезапной большой нагрузки служб следующие:

  • Соотношение чтения / записи было 1: 3.

  • Большинство служб работают на запись

  • I\O составляет 64 КБ.

  • В данной конфигурации стабильная пропускная способность на чтение/запись одного порта SAS не превышает 3 ГБ / с.

В эти моменты уровень загрузки портов CTE0.A1.P0 и CTE0.B1.P0 достигал более 90%

 

133332mygtydyyzmhnpfgy.jpg

То есть классический случай, когда непредвиденная нагрузка создаёт в SAS «бутылочное горлышко» из-за чего квоты на ресурсы хранения в системе оказываются недостаточным и выстраивается очередь на чтение\запись.

Уровень использования кэша превысил 95%

[2019-03-29 19:00][7155985.684577] [][1500000160000][INFO][Vol Ptt Water Mark More 95.][CACHE][cachePerfInfoCollectCheckFunc,465][TP_HealTPool_6]

Ввод-вывод снова «запрашивает» квоту

[2019-03-29 19:00][7155985.728331] [][1500000160000][INFO][Retry for too long time: there are still 0 IO of type 10.][CACHE][retryAllocReqSpecialHandle,6033][CSD_48]

[2019-03-29 19:00][7155985.816105] [][1500000160000][INFO][Retry for too long time: there are still 0 IO of type 10.][CACHE][retryAllocReqSpecialHandle,6033][CSD_50]

[2019-03-29 19:00][7155985.883932] [][1500000160000][INFO][Retry for too long time: there are still 0 IO of type 10.][CACHE][retryAllocReqSpecialHandle,6033][CSD_38]

Видно перегрузку системы и увеличение времени ответа LUN.

[2019-03-29 19:00][7156021.595467] [][1500000c70202][INFO][Overload obj type(1),level(5), page or chunk quota reach the high water.][OVERLOAD_CTRL][reviseHostObjLevel,1879][CSD_38]

...

[2019-03-29 19:00][7156023.586075] [][1500000c803c2][INFO][LUN IO timeout for rss,LUN ID(63),opcode(21),phrase(3),rec opt(1),latency(2716),thres(2500).][LUN][recAsyncCallLatency,1660][CSD_30]

...

[2019-03-29 19:00][7156028.792600] [][1500000160000][INFO][Vol Poss Water Mark More 95.][CACHE][cachePerfInfoCollectCheckFunc,471][TP_HealTPool_9]

 








Какие отсюда можно сделать выводы?

1.     Если нужно накатывать большие апдейты, то надо помнить о том, что такие вещи лучше делать пакетно, дабы не перегружать ввод-вывод с системы для сохранения текущего уровня производительности.

2.     Для случаев внезапного увеличения нагрузки обязательно настройте соответствующие политики вSmartQoS, дабы обеспечить необходимую производительность ключевых служб.

3.     Конкретно для данной конфигурации поможет установка патча V500R007C10SPH012, который как раз оптимизирует скорость обработки запросов для системы хранения. Для других вариантов конфигураций OceanStor 5800 V5 лучше всего связаться с нашей поддержкой для консультации.

 

Вот такой хоть и очевидный, но внезапный случай.

 


  • x

Комментарий

Отправить
Выполните вход в систему, чтобы ответить на пост. Вход | Регистрация

Внимание Внимание! В целях защиты правовых интересов Вас, сообщества и третьих лиц, не публикуйте любой материал, содержащий политические высказывания, порнографию, упоминание азартных игр, употребление наркотиков, а также материал, нарушающий коммерческую тайну или содержащий персональные данные пользователей. Также не предоставляйте данные от вашей учетной записи. Вы будете нести ответственность за все действия, выполняемые под вашим аккаунтом. Подробная информация: “Политика конфиденциальности..”
Если кнопка вложения недоступна, обновите Adobe Flash Player до последней версии.
Авторизуйтесь и пользуйтесь всеми преимуществами участника!

Авторизуйтесь и пользуйтесь всеми преимуществами участника!

Вход