Автор: root111
Дата сообщения: 17.02.2014 18:32
Доброго времени суток. Перенаправьте если не в том месте пишу пожалуйста.
Прошу помощи в решении одной проблемки:
Ситуация в следующем:
Имеется два хоста XenServer 6.2 (чистые без единого апдейта)
Имеется настроенная и функционирующая HA, с настроенным включением машин и все отлично.
Имеется для HA выделенное место на "СХД" Synology, по типу nfs стораджа, там же соответственно heartbeat ha и туда же делаются регулярные бэкапы метаданных(через xsconsole самих хостов XS).
есть ядерный свитчик, на каждый хост XS lacp линк из двух гигабиток, в режиме access на management, а также различные vlan на виртуалки, на схд Synology тоже самое, только port mode trunk , management vlan.
Сама Synology настроена следующим образом.
4 диска образуют raid 10,
есть два LUN:
1- один блочный iSCSI Target (самый большой по объему) но с установленным чек-боксом THIN Provisioning (возможно кстати в этом собака и порыта, не знаю).
2 - второй файловый , раздел nfs размером в 2tb под нужды как раз XS и HA.
диски виртуальных машин занимают порядка 250~300 Гб.
А теперь проблема:
Одним удачным понедельником меня будят утром с требованием вернуться на работу и узнать почему мол нет интернета. Прихожу. Смотрю.
Загрузка ЦП всех виртуальных машин 100%. ( хотя в XenCentr`e загрузка рабочая отображалась).
Лезу значит в логи ксенов (ALT + F2) а там "знаменитая ошибка" device tda error I\O.( Это случается когда происходит проблема с доступом к выделенному стораджу nfs)
После этого значит мне сразу приплохело.
Стала понятна проблема зависания виртуалок и невозможность любых действия в них с дисками.
Проверил сеть, доступность есть, транки не падали(на ядерном свитче).
Захожу в вэб морду Synology а оно мне пишет на разделе таком то (nfs) закончилось место,(а там напомню выделенно 2TB), мол дайте дисков и все будет окей. Пришло в голову только увеличить раздел nfs на определенное количество, и тогда, вдруг, ксены снова увидели сторадж и виртуалки прочихались.
Это история проблемы, дальше я внимательно присмотрелся в консоли xencentr, пересканировал сторадж, перезапустил все хосты, и увидел картину сторажда общего:
2148.8 GB used of 5492.4 GB total (916.5 GB allocated)
Хотя сами реально занимают виртуалки только лишь 250~300 GB.
Ну это вкратце все. У меня мысли следующие:
1) Возможно переполнился сторадж как раз за счет бэкапа метаданных, если это так то как проверить)
2) Какое то пагубное влияние HA heartbeat (хотя весит то оно копейки)
3) Какой то глюк самих ксенов при работе с дисками виртуалок на nfs
4) Или может это был глюк самой Synology , а именно она запуталась с распределением дискового пространства между луной iSCSI ( которая THIN provisioning) и между nfs разделом ( который THIN provisioning по определению, так как используются файлы дисков VM). И что интересно Synology позволила мне увеличить этот самый nfs раздел на весь объем рейда и даже не поругала за это.
Спасибо за внимание, надеюсь на помощь.
