» VMware ESX Server и VMware Infrastructure

brassnet
т.е. vmware tools стоят, тип сетевушки vmxnet, а гостевая ОС(какая, кстати?) показывает 10Мб?

Michigun
Тип сетевухи - AMD... чего-то, ось WIN2003SRV.

brassnet
тип nic смотрите в ствойствах ВМ, а не гостевой ОС.

Привествую, встал вопрос о выборе хостовой ос и способа хранения образов виртуальных машин.
Как варианты рассматриваются:
1. Windows Server + VMWare Server + образы на хранилише с доступом через CIFS/SMB или iSCSI или через NFS
2. Linux (какой лучше?) + VMWare Server + образы на iSCSI или NFS
3. ESX Server (пока для меня темная лошадка)

В качестве серверов для виртуальных машин в планах использовать 3 физические машины (2xXeon 3GHz, 1xP4 D),на которых будут крутится полностью инфраструктуры для 2-х доменов (AD,DNS,LiveCommunicationServer,Exchange,MSSQL,Файлсервер,принтсервер) + пару вспомогательных сервисов (Citrix Web Access,SharePoint, WRMS,WSUS,MOM)

В качестве хранилища пока есть только 2xXeon 2.8Gh/2GB ram/5x250GB SATA, операционка для которого пока тоже подбирается, как варианты OpenFiler, Open-e, Windows Storage Server(если он вообще поддерживает iSCSI target?), в том числе есть обязательно требование - криптовать часть данных, желательно полностью виртальные машины одного домена. Желательно криптовать на хранилище и отдавать через виртуальные машины, ибо лицензии для сетевого доступа к криптованным данным на нужное число пользователей, выливаются в очень крупные суммы.

Задача построить такую систему, когда при падении любого физического сервера, виртуальные машины быстро перезапускались на другом, имели быстрый доступ к файлам на своих дисках и в сети (т.к. будут работать MSSQL, файловый сервер с криптованным содержимым, Exchange).

Есть у кого какие мысли по поводу ОС для хранилища и виртуальных машин, а также какой доступ к хранилищу выбрать ? Обязательно ли покупать сетевухи с HBA или хватит обычных Intel PRO1000/DP ?

drakmor
Попробую ответить на часть вопросов.

Цитата:

1. Windows Server + VMWare Server + образы на хранилише с доступом через CIFS/SMB или iSCSI или через NFS
2. Linux (какой лучше?) + VMWare Server + образы на iSCSI или NFS
3. ESX Server (пока для меня темная лошадка)

Лучше - ESX. Потому что - наиболее низкими будут накладные расходы, динамическое перераспределение ресурсов между ВМ, есть софтверный iSCSI инициатор, поддерживает все перечисленные типы хранилищь(из NAS только NFS, не SMB). такой функционал, как
Цитата:

Задача построить такую систему, когда при падении любого физического сервера, виртуальные машины быстро перезапускались на другом,

так же поддерживается, называется VMware HA.

единственный недостаток - стоит достаточно дорого.
Цитата:

а также какой доступ к хранилищу выбрать ? Обязательно ли покупать сетевухи с HBA или хватит обычных Intel PRO1000/DP ?

Если выбираем из указанных вами, имхо лучше iSCSI. Для ESX'а лучше аппаратный инициатор - меньше нагрузка на CPU хоста, но опять таки - стоят денег.

Цитата:

Лучше - ESX. Потому что - наиболее низкими будут накладные расходы, динамическое перераспределение ресурсов между ВМ, есть софтверный iSCSI инициатор, поддерживает все перечисленные типы хранилищь(из NAS только NFS, не SMB).

С ESX получаются большие начальные вложения - сам ESX+Virtual Center (без которого, я так понимаю не работают сервисы балансировки нагрузки и HA), плюс ESX Starter вроде как не поддерживает NAS, соотвественно нужны уже значительно более дорогие версии + вроде как нужно отдельно еще сервер лицензирования разворачивать + очень капризный к оборудованию, хотя у меня и не самосбор, 1 IBM + 1HP + 1 Аквариус (aka Intel), контроллер с HBA в спецификации поддерживаемого оборудования только один QLogic, цену которого так в рунете и не нашел.

Более конкретные вопросы:
- бесплатный VMWare Server (ex GSX) поддерживает ли перезапуск машин на другом сервере и распределение нагрузки?
- на сколько сильно падает производительность системы если ОС и файлы находяться на NFS, а не на iSCSI ?
- на сколько велика нагрузка на процессор при использовании программного инициатора в пиковой нагрузке на сеть в 1гбит

Цитата:

плюс ESX Starter вроде как не поддерживает NAS

Starter как раз тока NAS и поддерживает, по моему.

Цитата:

- бесплатный VMWare Server (ex GSX) поддерживает ли перезапуск машин на другом сервере и распределение нагрузки?

Нет. Только если как то прикрутить внешние скрипты\проги - мне ничего такого не попадалось реализованного.

имеется esx3.0.0 .
есть ли смысл переходить на 3.0.1 ?
есть ли патчи которые обновляют до 3.0.1 ?

Цитата:

Starter как раз тока NAS и поддерживает, по моему.

Ну и ещё локальное хранилище
http://www.vmware.com/products/vi/buy.html

Цитата:

Ну и ещё локальное хранилище

конечно, "только"я имел в виду из внешних стораджей.

не могу обновить esx 3.0.0

скачал все апдейты, разархивировал. далее , перехожу в папку с апдейтем и делаю

Код: [root@esx ESX-8005537]# /usr/sbin/esxupdate -n -v 10 update
INFO: No repository URL specified, going with file:/home/bob/Patches & Updates/ESX-8005537
DEBUG: Options {'url': 'file:/home/bob/Patches & Updates/ESX-8005537', 'verbosity': 10, 'noreboot': 1} Command update
DEBUG: Entering [ 22:07:59 11/28/06] [ConfigState ]
INFO: Configuring...
DEBUG: Adding [HOME=/root /usr/sbin/esxupdate ConfigFailed] to rc.local...
DEBUG: Attempting to retrieve descriptor.xml from [file:/home/bob/Patches & Updates/ESX-8005537/]
DEBUG: rpms created = 1 for tag='rpmlist'
DEBUG: Host version [3.0.0] release [27701]
DEBUG: Configure yum.conf to use repositories
DEBUG: Entering [ 22:07:59 11/28/06] [PrepState ]
DEBUG: Adding [HOME=/root /usr/sbin/esxupdate PrepFailed] to rc.local...
INFO: Preparing to install VMware ESX Server ESX-8005537...
DEBUG: Prepare pending package list...
DEBUG: Matching package name 1 and NAVR 0
DEBUG: LogCommand(yum info)
ERROR: Error (1) executing [yum info]
using ftp, http, or file for servers, Aborting - &

globus_ussr

If you are in the directory you created above, install the update using the following command:

# esxupdate update



Добавлено:
"а как узнать какие патчи уже в системе ?"
#esxupdate query

Добавлено:
Вопрос такого плана:
-возникла потребность иметь все апдейты для ESX серверов на отдельном NFS сервере.

Для этого поднят виртуальный NFS-сервер на SUSE10:

# rpcinfo -p
program vers proto port
100000 2 tcp 111 portmapper
100000 2 udp 111 portmapper
100003 2 udp 2049 nfs
100003 3 udp 2049 nfs
100003 4 udp 2049 nfs
100003 2 tcp 2049 nfs
100003 3 tcp 2049 nfs
100003 4 tcp 2049 nfs
100024 1 udp 1024 status
100021 1 udp 1024 nlockmgr
100021 3 udp 1024 nlockmgr
100021 4 udp 1024 nlockmgr
100024 1 tcp 29316 status
100021 1 tcp 29316 nlockmgr
100021 3 tcp 29316 nlockmgr
100021 4 tcp 29316 nlockmgr
100005 1 udp 608 mountd
100005 1 tcp 609 mountd
100005 2 udp 608 mountd
100005 2 tcp 609 mountd
100005 3 udp 608 mountd
100005 3 tcp 609 mountd

Добавлен общий раздел с апдейтами

# less /etc/exports
/var/updates *(ro)

Пытаюсь замонтироваться с ESX-3.0.1 со всеми последними апдейтами
# rpcinfo -p
program vers proto port
100000 2 tcp 111 portmapper
100000 2 udp 111 portmapper
100024 1 udp 840 status
100024 1 tcp 843 status
100003 2 udp 2049 nfs
100003 3 udp 2049 nfs
100021 1 udp 32783 nlockmgr
100021 3 udp 32783 nlockmgr
100021 4 udp 32783 nlockmgr
#mount -t nfs <ip_адрес_сервера>:/var/update /mnt/nfs

Но монтирования не происходит. Отключал iptables на ESX-е - не помогло. С других машин, к примеру с виртуальной машины на линуксе (тот же сусе) монтируется. Сам себя NFS сервер тоже монтирует.
Есть подсказки?
Спасибо

Добавлено:
P.S. При настройке использовал тему:
http://www.vmware.com/community/thread.jspa?messageID=465810&#465810
а так же
http://www.vmware.com/community/thread.jspa?threadID=81514&start=0&tstart=0

ahel
mount c -v ключем запускай, для большей информативности

globus_ussr
не меняется ситуация, вообще процесс висит после набора команды mount, в логах пусто

ahel
походу фаервол ...

globus_ussr
останавливал таже фигня...даже не знаю куда копать

ahel
через консоль vmware разрешили NFS ?

Добавлено:
как отключали фаер ?


Добавлено:
/usr/sbin/esxcfg-firewall -s покажите при отключенном фаере

Добавлено:
так как список приложений всеравно контролируется

Терминалом, по ssh
отключал просто
#service iptables stop
вот список
# /usr/sbin/esxcfg-firewall -s
Known services: AAMClient activeDirectorKerberos CIMHttpServer CIMHttpsServer CIMSLP commvaultDynamic commvaultStatic ftpClient ftpServer kerberos LicenseClient nfsClient nisClient ntpClient smbClient snmpd sshClient sshServer swISCSIClient telnetClient TSM veritasBackupExec veritasNetBackup vncServer vpxHeartbeats

стоит попробовать
/usr/sbin/esxcfg-firewall -e nfsClient
/usr/sbin/esxcfg-firewall -s для полного списка сервисов

Добавлено:
ahel
/usr/sbin/esxcfg-firewall -s это список доступных сервисов и их названия
для просмотра тех сервисов которые разрешены делаем /usr/sbin/esxcfg-firewall -q

выполнил
# /usr/sbin/esxcfg-firewall -e nfsClient
далее, в списке есть строчки:
# /usr/sbin/esxcfg-firewall -q
0 0 ACCEPT udp -- * * 0.0.0.0/0 0.0.0.0/0 udp dpt:2049
1 57 ACCEPT udp -- * * 0.0.0.0/0 0.0.0.0/0 udp
0 0 ACCEPT tcp -- * * 0.0.0.0/0 0.0.0.0/0 tcp dpt:111
0 0 ACCEPT tcp -- * * 0.0.0.0/0 0.0.0.0/0 tcp dpt:2049
1 76 ACCEPT tcp -- * * 0.0.0.0/0 0.0.0.0/0 tcp

но по факту проблема осталась

ahel
как я отключаю фаер

root@esx bob]# /usr/sbin/esxcfg-firewall --allowIncoming
2007-05-08 17:46:05 (3683) WARN : Setting firewall default /firewall/blockIncoming to 0
[root@esx bob]# /usr/sbin/esxcfg-firewall --allowOutgoing
2007-05-08 17:46:12 (3739) WARN : Setting firewall default /firewall/blockOutgoing to 0
[root@esx bob]# /usr/sbin/esxcfg-firewall -q
Chain INPUT (policy ACCEPT 25 packets, 2116 bytes)
pkts bytes target prot opt in out source destination

Chain FORWARD (policy DROP 0 packets, 0 bytes)
pkts bytes target prot opt in out source destination

Chain OUTPUT (policy ACCEPT 18 packets, 1848 bytes)
pkts bytes target prot opt in out source destination


Neither incoming nor outgoing blocked by default
Enabled services: AAMClient nfsClient CIMSLP LicenseClient sshServer CIMHttpsServer CIMHttpServer vpxHeartbeats


+ список сервисов внизу ...

я так понял это ВКЛЮЧЕНИЕ файервола ?
вот что у меня:
# /usr/sbin/esxcfg-firewall --allowIncoming
2007-05-08 14:48:07 (30313) WARN : Setting firewall default /firewall/blockIncoming to 0
[root@orw-esx-11 etc]# /usr/sbin/esxcfg-firewall --allowOutgoing
2007-05-08 14:48:27 (30406) WARN : Setting firewall default /firewall/blockOutgoing to 0
[root@orw-esx-11 etc]# /usr/sbin/esxcfg-firewall -q
Chain INPUT (policy ACCEPT 448 packets, 83183 bytes)
pkts bytes target prot opt in out source destination

Chain FORWARD (policy DROP 0 packets, 0 bytes)
pkts bytes target prot opt in out source destination

Chain OUTPUT (policy ACCEPT 323 packets, 71883 bytes)
pkts bytes target prot opt in out source destination


Neither incoming nor outgoing blocked by default
Enabled services: nfsClient CIMSLP ntpClient CIMHttpsServer snmpd vpxHeartbeats activeDirectorKerberos LicenseClient sshServer CIMHttpServer

Opened ports:
hpim : port 2381 tcp.in
sim-cert : port 280 tcp.out

Добавлено:
добавил:
# esxcfg-firewall -o 2049,tcp,out,nfs
# esxcfg-firewall -o 2049,udp,out,nfs
в # /usr/sbin/esxcfg-firewall -q
появилась строчка

Opened ports:
hpim : port 2381 tcp.in
sim-cert : port 280 tcp.out
nfs : port 2049 tcp.out udp.out

ahel
--allowIncoming Allow all incoming ports.
--allowOutgoing Allow all outgoing ports.
это и есть отключение фаервола ))) рарешается все на вход и все на выход + добавляем сервис nsfClient

да, пардон.
но все равно "висит" mount, т.е. ошибок никаких не выдает, но и не подключает...
могут ли доменные политики как-то нахлестывать это дело все?


Добавлено:

P.S. доступ к ESX - сквозная аутентификация, т.е. берутся учетные данные из домена, а NFS сервер доступ только локальным пользователям

ahel

Код: сквозная аутентификация

Нет, аутентификация через AD
esxcfg-auth --enablead --addomain=<..> --addc=<..>

# /usr/sbin/esxcfg-firewall -q
Chain INPUT (policy ACCEPT 26964 packets, 5179K bytes)
pkts bytes target prot opt in out source destination

Chain FORWARD (policy DROP 0 packets, 0 bytes)
pkts bytes target prot opt in out source destination

Chain OUTPUT (policy ACCEPT 18272 packets, 3902K bytes)
pkts bytes target prot opt in out source destination


Neither incoming nor outgoing blocked by default
Enabled services: nfsClient CIMSLP ntpClient CIMHttpsServer snmpd vpxHeartbeats activeDirectorKerberos LicenseClient sshServer CIMHttpServer

Opened ports:
hpim : port 2381 tcp.in
sim-cert : port 280 tcp.out
nfs : port 2049 tcp.out udp.out

Не очень поянл как именно можно запустить NFS сервер в режими отладки ?
По идее если монтирует сам себя той же командой mount -t nfs nfsserver:/var/updates /mnt/nfs можно сказать, что работает

ahel
сейчас поднял NFS за 5 минут ...
настройки фаера такие же как и писал ...

Я NFS поднимал тоже за 5 минут, но на обычных машинах линуксовых, c ESX-ом вот такая вот проблема, хотя все делал как пишут и как мы сейчас..

у меня NFS сервер на FreeBSD там отладка запускается -v , после чего в лог валиться инфа о тех, кто подключился.



Добавлено:
я имею ввиду поднял связку ...
[root@esx x11-wm]# mount
/dev/cciss/c0d0p7 on / type ext3 (rw)
none on /proc type proc (rw)
none on /dev/pts type devpts (rw,gid=5,mode=620)
usbdevfs on /proc/bus/usb type usbdevfs (rw)
/dev/cciss/c0d0p1 on /boot type ext3 (rw)
none on /dev/shm type tmpfs (rw)
/dev/cciss/c0d0p6 on /tmp type ext3 (rw)
/dev/cciss/c0d0p3 on /usr type ext3 (rw)
/dev/cciss/c0d0p2 on /var type ext3 (rw)
192.168.0.2:/usr/ports/ on /home/bob/1 type nfs (rw,addr=192.168.0.2)

Мои настройки приведенный выше верны?
К моему SUSE10 без вопросов монтируются все кроме ESX...
З.Ы. Как ни печально, второй день бьюсь, с обычные линуксовыми машинами проблем нет никаких, с ESX-беда какая-то...закопался я уже