» VMware ESX Server и VMware Infrastructure

Отчёт и вопрос слегка не по теме, но по смежной.

Заценил VLAN-ы. Два ESX сервера и управляющая винда связаны наитупейшим 800рублевым гигабитным свитчом длинк. В винде интеловская PCI гигабитная карта с поддержкой вланов; при установке "продвинутого" пакета драйверов Intel Proset появляется возможность отвязать от физической сетевухи TCP/IP и насоздавать виртуальных сетевух, каждую для своего влана. В итоге через один комплект проводов у меня бегает четыре вилана: вмкернел, сервисконсольный и два продакшен.

Теперь хочу прицепить к тем же виланам и гостевые машинки вмваре воркстанции, запускаемые внутри управляющей винды. Такое возможно? Виртуальные сетевухи довольно давно поддерживают дот1q... Можно из этого факта что-то выжать?

Я тут в отпуске был, некогда ответить было, однако.

Michigun

Цитата:

имхо, происходит путаница теплого с мягким.

Возможно.


Цитата:

Далее, мы можем включить NPIV. Т.е. в св-х ВМ прописать WWN лично_этой_ВМ. Это значит, что когда мы будем через средства мониторинга SAN смотреть, у нас будут светиться не только WWN хостов, через которые ходят десятки ВМ, а будут светиться заданные WWN каждой конкретной ВМ. Сможем мониторить нагрузку конкретно с нее.

Интересное кино! Как только мы заюзали NPIV, мы может отдать LUN гостю, а не хосту!
Т.е. по-идее максимально снизить нагрузку на хост по пробросу IO между SAN-хост-гость.
Т.е. не хост решает, кому "отдать пакет", а NPIV HBA.
Надеюсь, что мысль понятна.
Я, конечно, могу ошибаться - нету у меня NPIV HBA железа.

Второй вопрос, доступ гость(iSCSI[+JF +TCO, по желанию])-SAN никто (кроме меня) не пользовал?

Забавно, как в теме перемежаются "правый" и "левый" уклоны интересов - в сторону стораджей и в сторону сетей...

...А сверху на этот детсад снисходительно посматривают "взрослые" хозяева датацентров из официально совместимого железа.

LevT

Цитата:

Забавно, как в теме перемежаются "правый" и "левый" уклоны интересов - в сторону стораджей и в сторону сетей...

Не понял мысль… И SAN и NAS это и network и storage (по определению).


Цитата:

...А сверху на этот детсад снисходительно посматривают "взрослые" хозяева датацентров из официально совместимого железа.

Это хто например?

и впрямь не понял.

SAN и NAS это разновидности стораджей. А я лично по уши увяз в VLAN-ах: что это такое, я понял только в последние недели, благодаря vSwitch-ам ESX c поддержкой оных. А теперь уже и виндовый сетевой шнурок сделал транком - ничего не меняя в своих железках.

Собственно, открытие состоит в том, что для ESX наличие нескольких совместимых сетевух вовсе не является пререквизитом: достаточно одной. Сделать ее аплинком vSwitch-a, портгруппы на котором маркировать VLAN-ами (можно и не маркировать, но тогда фаерволы будут удивляться трафику из левых подсетей). Раньше я думал, что для виланов нужны дорогие свитчи - ан нифига: самый простецкий свич пропускает через себя все виланы. В рамках замкнутого пространства между серверами и VC это несущественно: если там кто-то может подслушать трафик, то налицо серьезная нетехническая проблема.

а насчет хто - присмотрись в теме, иногда здесь оставляют следы оные небожители.

LevT

Цитата:

А я лично по уши увяз в VLAN-ах: что это такое, я понял только в последние недели, благодаря vSwitch-ам ESX c поддержкой оных. А теперь уже и виндовый сетевой шнурок сделал транком - ничего не меняя в своих железках.

Угу. Я тож когда впервой про VLAN узнал – то же самое забабахал… Проблемы могут быть с апдейтом драйвера – на интеле он опосля оного забывает о VLAN-ах напрочь! (На винде, не на ESX!)


Цитата:

Раньше я думал, что для виланов нужны дорогие свитчи - ан нифига: самый простецкий свич пропускает через себя все виланы.

Угу. Он про них просто не знает! На чтобы что-то мало-мальски полезное изобразить – это маст.


Цитата:

Собственно, открытие состоит в том, что для ESX наличие нескольких совместимых сетевух вовсе не является пререквизитом: достаточно одной.

Эт точно. Даже фаервол можно с одним ником замутить, только надо-ли?
С одним ником очень страдает надежность, а еще важнее бандвитз (блин и не выговоришь!)
Т.е. надо делать как раз наоборот все ники объединить в транк, а уж его порезать на VLAN-ы.
При этом надо чтобы свитч(и) правильный(ные) были и будет тебе щастье.
В натуре так никто не делает - гемора больше чем всего остального вместе взятого!

Apokrif
а вот подскажи, как сбриджевать с теми виланами виртуальную сеть вмваре воркстанции под виндой? Неприятных открытий я сделал две штуки:
1) к виртуальным сетевухам просета вмварный бридж не цепляется: только к физическим. То есть в гостя пойдет через вмварный бридж весь трафик транка (если вообще пойдет)
2) если поменять сетевуху в госте на e1000 - то, по идее, можно поставить просет внутрь гостя. Но этот номер не проходит: в процессе установки или виртуалка вылетает, или весь хост валится в бсод.

Голь на выдумки хитра: подумываю о виндовом бридже между просетовской вирт. сетевухой и "VMware Network Adapter VMnet1"...

Жду комментариев.

Цитата:

Интересное кино! Как только мы заюзали NPIV, мы может отдать LUN гостю, а не хосту!

неправильно. Для этоого NPIV нам не нужен - ESX поддерживает RDM. C NPIV проще мониторить нагрузку средствами SAN - за счет того, что на SAN ломится не один WWN хоста, а WWN от каждой ВМ. Зачем NPIV
еще нужен - у меня пока понимания нету.


Цитата:

Т.е. надо делать как раз наоборот все ники объединить в транк, а уж его порезать на VLAN-ы.

Цитата:

В натуре так никто не делает - гемора больше чем всего остального вместе взятого!

это спорное утверждение.

LevT

Цитата:

а вот подскажи, как сбриджевать с теми виланами виртуальную сеть вмваре воркстанции под виндой?

ИМХО, можно попробовать под хостовой виндой сначала сконфигурить VLAN. По сути - на каждый VLAN винда будет видеть как бы сетевой адаптер. А потом к этими адаптерам прицепить сетевушки ВМ через bridge.

Господа, подскажите, не могу найти.
Есть хост ESXi 3.5 evalution
VC не используется, только хост и VI клиент.
Где посмотреть, сколько осталось дней до конца eval периода???

Цитата:

По сути - на каждый VLAN винда будет видеть как бы сетевой адаптер. А потом к этими адаптерам прицепить сетевушки ВМ через bridge.

О том и речь, что хотя винда видит эти адаптеры и работает через них как надо, вмварный Manage Virtual Networks их не видит, а видит только физические ники.

(В порядке бреда) Может быть, можно как-то повлиять на порядок загрузки, чтобы вмварные драйвера и сервисы стартовали после интеловских?

Всем добрый день. ТАкой вопрос. Есть несколько ESX - server, есть Virtual Center, и есть виртуальная машина Windows 2003 server. В один момент перераспределения ресурсов между хостами - машина мигрировала с одного хоста на другой. После чего каким то непонятным образом забрала ip адрес esx serverа - (когда на консоли виртуального центра наводишь на эту машину пишет такой же айпишник как у сервера, но если смотреть внутрь самой машины, то айпишники стоят совершенно другие. В результате чего происходит конфликт адресов. Как исправить этот баг? Просто в результате конфликта адресов сервак падает.

vecialfor
Задай фиксированные адреса, или резервацию в DHCP.

brassnet
В и\том то и дело, что задавал я фиксированный адрес, а при миграции с одно хоста на другой почему то перетерся прежний айпишник у машины(( Причем перетерся он только с точки зрения виртуального центра а в самой машине айпишник другой. Но почему то все равно машина вешает esx-server с таким же айпишником

Цитата:

О том и речь, что хотя винда видит эти адаптеры и работает через них как надо, вмварный Manage Virtual Networks их не видит, а видит только физические ники.

(самоцитата)

Виноват: это деза. После какой-то перезагрузки MVN видит всё: и транковые ники, и все виланы по отдельности.

vecialfor
память на ошибки на esx через memtest прожени.

LevT

Цитата:

Виноват: это деза. После какой-то перезагрузки MVN видит всё: и транковые ники, и все виланы по отдельности.

Чо-то я даже не пойму, в чем проблема-то?
Как я понимаю – есть ESX с одним NIC-ом.
Задача изобразить много NIC-ов и отдать гостям.
Для этого надо.
Определить VLAN-ы которые отдаем NIC-у
конфигурим physical switch port (к которому ESX NIC подключен)
конфигурим vSwitch – VLAN = 4095
конфигурим – VNIC у гостей – проставляем VLAN-ы (все VNIC подключены к одному vSwitch)
Если очень хочется можно поиграть свойствами Port Group.
Фсе!


Цитата:

Интересное кино! Как только мы заюзали NPIV, мы может отдать LUN гостю, а не хосту!
Michigun
неправильно. Для этоого NPIV нам не нужен - ESX поддерживает RDM. C NPIV проще мониторить нагрузку средствами SAN - за счет того, что на SAN ломится не один WWN хоста, а WWN от каждой ВМ. Зачем NPIV еще нужен - у меня пока понимания нету.

IMO, (хотя я это уже говорил…)
1. reduce IO overhead
2. fine grain LUN access control (включая мониторинг конечно!)
RDM как раз этого не дает.

Вот еще одно мнение:
http://www.enterprisenetworksandservers.com/monthly/art.php?2793
"Now we've combined Virtual Fabric technology with NPIV to create a more secure, manageable, and higher performance environment for virtual machines."

Простейший пример (практически бесполезный в натуре) – есть 2 ESX, без HA, vMotion, etc. HBA c NPIV. Есть гость с vHBA (т.е. со своим WWN) и своими LUN-ами
Перемещаем гостя с одного ESX на другой – и все работает.

Странно то, что польза от vNIC вроде-бы очевидна (всем), а вот зачем vHBA нужен непонятно (только не мне , ведь есть RDM!

IMO, спорить дальше не имеет смысла.
Хотелось бы услышать мнение того, у кого NPIV есть и он им пользуется.



Цитата:

В натуре так никто не делает - гемора больше чем всего остального вместе взятого!
Michigun
это спорное утверждение.

Возможно. А как же тогда большинство админов делает?



Добавлено:
Еще одна ссылка про NPIV
http://blogs.sun.com/AaronDailey/entry/more_npiv_reading
Оказывается NPIV был разработан IBM для mainfram-ов

Почему при инсталяции гостевой ОС WinXP, XP не видит диск? 2000,2003 server ставятся без проблем. Что нужно, чтобы установить XP?

Люди подскажите плиз. Есть три ESX сервера, все три одинаково астроены. Настроен заход по ssh, все работает. Только один хост при подключении к нему по ssh то работает и устанавливает соединение, то отклоняет его и выводит ошибку

@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
@ WARNING: REMOTE HOST IDENTIFICATION HAS CHANGED! @
@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
IT IS POSSIBLE THAT SOMEONE IS DOING SOMETHING NASTY!
Someone could be eavesdropping on you right now (man-in-the-middle attack)!
It is also possible that the RSA host key has just been changed.
The fingerprint for the RSA key sent by the remote host is
с2:f4:8d:ca:с7:52:ba:0f:9e:f2:02:3c:a1:2a:b1:d2.
Please contact your system administrator.
Add correct host key in /root/.ssh/known_hosts to get rid of this message.
Offending key in /root/.ssh/known_hosts:1
RSA host key for 192.168.1.11 has changed and you have requested strict checking.
Host key verification failed.

При этом оставшиеся два хоста настроены также. Но соединение стабильно устанавливается. ПОдскажите что делать?

Цитата:

Почему при инсталяции гостевой ОС WinXP, XP не видит диск? 2000,2003 server ставятся без проблем. Что нужно, чтобы установить XP?

выбрать другой SCSI контроллер в свойствах ВМ. Или на vmware.com мне попадался образ флопика с драйвером, который по F6 подсовываем при установке.

nivasoft

Цитата:

Почему при инсталяции гостевой ОС WinXP, XP не видит диск? 2000,2003 server ставятся без проблем. Что нужно, чтобы установить XP?

http://www.free-bsd.ru/cms/51.html

Добавлено:
Подскажите есть ли утилиты для работы с файловой системой vmfs ?
Вообще насколько надежна vmfs в случае сбоев ?
Например, произошел сбой и сервер ESX перегрузился в то время как некоторые файлы на
vmfs были открыты. В результате были перезаписаны дескрипторы и в файлах оказался "мусор".

Можно ли как то восстановить дескрипторы ? В NTFS ,FATx, EXT это возможно.

Alexey777555

Цитата:

Подскажите есть ли утилиты для работы с файловой системой vmfs ?

Кроме как VBC пока ничего не известно.

Цитата:

Вообще насколько надежна vmfs в случае сбоев ?

Это журналируемая файловая система, благодоря чему при незавершённости транзакции консистентность данных не испортится. Дискрипторы файлов, и прочую отладочную информацию можно получить из служебных файлов в корне тома, как их извлекать для того, что-бы отослать в службу тех. поддержки, расписывается в статьях, которые можно найти на оф. сайте или в рекомендациях при личном обращении в службу.
Самостоятельно ковыряться в этих файлах бесполезно, формат закрыт.

А как перевести hostd на другой порт и вырубить(поменять) страницу на 80/443 по умолчанию? Я было обрадовался что вырублю web-access и порты освободятся и страничка исчезнет, фиг вам называется. Или это как официальная блямба- "тут стоит ESX" и хрен ее отдерешь?

Господа как порекомендуете создать 2-ух терабайтный диск?
а то 8 по 250Гб как-то не очень.

Bersarea
два (райд0) или лучше три (райд5) или даже четыре (райд10) терабайтника не катят?
тада, если много денег, можно купить СХД с кучей SAS дисков

С RAID как раз всё в порядке, но вот не удается создать на ESX логический диск размером в 2 Tb? vmfs не прокатывает больше 300Гб, а Raw не удается завести

собственно листинг:

-rw------- 1 root root 2000297156608 May 8 07:29 vmhba1:0:0:0
-rw------- 1 root root 2000289327104 May 8 07:29 vmhba1:0:0:1

vmkfstools -r /vmfs/devices/disks/vmhba1\:0\:0\:0 /vmfs/volumes/esx01\:storage3/Vssarchive/arch.vmdk
Failed to create virtual disk: Invalid argument (1441801).

форматировать надо vmfs вручную с большим кластером, не полагаясь на инсталлер

ВАЖНЫЙ ВОПРОС

криво применились последние обновления: сервер стал выпадать из кластера, а потом и вовсе перестал грузиться. Накатил поверх него первоначальный диск esx-3.5.0-64607a.iso (Setup->Update); сервер поднялся.

VUM теперь говорит, что обоим встроенным базелайнам сервер соответствует, а даты файлов все 30.11.1997.

Можно это поправить?

LevT

тоже озадачен обновлениями, пока решил ставить их на чистый сервер без виртуалок, чтобы в случае проблем тупо поставить все с нуля (не обновление)

кстати, не пробовал сторонние утилиты для обновления серверов? я скачал 3 штуки (ссылка на утилиты в заголовке темы), но ни одна не работает, одна не может подключиться к серверу, вторая подвисает и т.п. сейчас родной обновляю сервер, нефига не понятно конечно (я так понимаю сейчас у меня ставятся обновления, но какие не ясно, в тасках он не пишет что инсталит)

Добавлено:
мда, после установки обновлений не удается подключиться к серверу, хотя сам по себе он работает и сетку видит

Добавлено:
хм, перегрузил повторно, подключился сервер, билд теперь 84374

подскажите плиз

можно ли одну энтерпрайс лицензию серверного типа поставить на два сервера в кластере?

стартер лицензия ставится на разные сервера без проблем и центр нормально с ними работает

кстати, кто нибудь озадачивался вопросом выбора ESX или Hyper-V ?

+ надо учитывать стоимость лицензирования

интересно например, могу я купить Ent лицензию на 2008 сервер, а халявные 4 лицензии под виртуалки заюзать на машинах которые под VMware работают?