На расширение дисков в VM уходит слишком много времени

201 0 0 0

Рассмотрим одну из проблем, с которой столкнулась наша поддержка: требуется много времени (~4 минуты) на расширение диска с 40 Гб до 4 Тб в виртуальной машине, при том что, если добавляется новый диск из LUN-хранилища Huawei, то на это требуется всего несколько секунд.

123

В логах при этом мы видим что Vmware была остановлена во время этого расширения:

2019-07-31T10:15:09.784Z| vcpu-0| I125: Checkpoint_Unstun: vm stopped for228266202 us

После проверки производительности LUN во время расширения емкости диска со стороны хранилища мы видим, что VMware отправляла большое количество операций чтения продолжительностью около 4 минут, то есть то же самое время, что затрачивается на расширение. Операций записи было очень мало, отсюда делается вывод, что для дисковой подготовки виртуальной машины применяется политика «Thick Provision Lazy Zeroed»

100253yz9g4zj0cog57z5o.png

Из логов по I\O видно, что проблем со стороны СХД не было

100253shggw2gdc1dggbfq.png

Дальнейшим шагом у нас будет изменения интервала выборки сбора статистики с 60 секунд, установленных по умолчанию, на 5 секунд (главное не забыть потом вернуть на место).

И теперь мы видим, что во время операции расширения емкости Vmware отправлял на СХД непрерывную операцию чтения, скорость которой составляет в среднем 400 МБ/с, после завершения которой завершилось и расширение.

100253c2wc44z445hiwy0n.png

В теории для подобной политики при расширении такого количества операций чтений быть не должно, только небольшая запись метаданных в бэкенд-хранилище.

В итоге для понимания этой проблемы, наши инженеры провели множество тестов в лаборатории, и, наконец, обнаружили и подтвердили, что эта проблема связана только с хранилищем данных vmfs6. При использовании хранилища данных vmfs5 расширение по тому же сценарию завершается не в пример быстрее.

Ну и в итоге, Vmware официально ответил, что эта проблема связана с политикой vmfs6 + Thick Provision Lazy Zeroed:

123

С релиз ноутсами 6.5 u3 можно ознакомиться здесь: https://docs.vmware.com/en/VMware-vSphere/6.5/rn/vsphere-esxi-65u3-release-notes.html где это так же описывается

Так что решений данной проблемы на текущий момент два:

1.   Использовать vmfs 5 хранилище вместо vmfs 6 или не использовать политику Thick Provision Lazy Zeroed с vmfs 6

2.   Обновить VMware до версии 6.5 u3 – главное только убедиться, что совместимость с Huawei оборудованием подтверждена.

 


  • x

Комментарий

Отправить
Выполните вход в систему, чтобы ответить на пост. Вход | Регистрация

Внимание Внимание! В целях защиты правовых интересов Вас, сообщества и третьих лиц, не публикуйте любой материал, содержащий политические высказывания, порнографию, упоминание азартных игр, употребление наркотиков, а также материал, нарушающий коммерческую тайну или содержащий персональные данные пользователей. Также не предоставляйте данные от вашей учетной записи. Вы будете нести ответственность за все действия, выполняемые под вашим аккаунтом. Подробная информация: “Политика конфиденциальности..”
Если кнопка вложения недоступна, обновите Adobe Flash Player до последней версии.
Авторизуйтесь и пользуйтесь всеми преимуществами участника!

Авторизуйтесь и пользуйтесь всеми преимуществами участника!

Вход