» Citrix XenServer

Для того чтобы реализовать миграцию виртуальных машин на citrix xenserver необходимо выполнить следующие условия:

1. Сервера (минимум 2 штуки) между которыми будет организована миграция должны быть с одинаковой архитектурой процессора (фактически должны стоять одинаковые процессоры)
2. Должно быть организовано общее сетевое хранилище, работающее по протоколу iSCSI или NFS (я использую iSCSI на базе OpenFiler 2.3)
3. Необходимо в XenCenter создать общий ресурсный пул (Resource Pool) и добавить в него оба сервера. (Первый добавленый сервер будет выполнять роль мастера пула)
4. Подключить к пулу сетевое хранилище (если оно новое, то XenCenter предложит его отформатировать)
5. Пометить сетевое хранилище, как хранилище по умолчанию (правой кнопкой мыши set as default)
6. Создать виртуальную машину, диски должны храниться на сетевом хранилище, установить XenTools. После этого можно мигрировать ее между нодами.

Косяки: Если уже есть существующие машины, перед заталкиванием ноды в пул, на всякий случай нужно сделать их бекап путем экспорта из XenCenter. Потому как они будут удалены.

Stefan Braun
/var/run/sr-mount/
туда смонтированы все локалбные хранилища - ищи там
но не забывай - на каждую машины идет два файла

blinkoff
ты забыл указать что можно использовать HBA \ FC.

Добавлено:
Nevis
VDI внедряете?

faust72rus
Согласен, но опыту их используют достаточно редко тк ощутимо дорогое удовольствие.

Уважаемые.
Решил я тут поработать с этим продуктом. Пошёл, скачал, поставил.
Даю команду uname -a:

Цитата:

Linux xenserver 2.6.32.12-0.7.1.xs5.6.100.323.170596xen #1 SMP Fri Apr 8 07:25:07 EDT 2011 i686 i686 i386 GNU/Linux

Получается что у меня 32-битная система. А 64-битный ксен бывает? Если да, то где его взять? Ибо тестовая машинка попалась подходящая (core2 duo + 8Гб).
Или это совершенно бесполезное занятие, мол на управление хватит 32-бит, а уже виртуальным машинам дадут полную свободу битности?

urodliv
Citrix XenServer, по умолчанию, требует поддержку 64 битной архитектуры процессора и поддержку виртуализации, еще при установке. Поэтому если он не ругнулся при установке, значит у Вас все нормально!

Цитата:

/var/run/sr-mount/
туда смонтированы все локалбные хранилища - ищи там

Точно? У меня такого каталога вообще нет.

urodliv
не может этого быть (может я через чур категоричен но эта дериктория должна быть)

BigBear

Цитата:

не может этого быть (может я через чур категоричен но эта дериктория должна быть)

Вот потому я и хочу разобраться в этом вопросе.
[more=fdisk -l]Disk /dev/sda: 160.0 GB, 160041885696 bytes
255 heads, 63 sectors/track, 19457 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes

Device Boot Start End Blocks Id System
/dev/sda1 * 1 523 4194304 83 Linux
Partition 1 does not end on cylinder boundary.
/dev/sda2 523 1045 4194304 83 Linux
/dev/sda3 1045 19457 147899713 8e Linux LVM

Disk /dev/sdb: 1000.2 GB, 1000204886016 bytes
255 heads, 63 sectors/track, 121601 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes

Device Boot Start End Blocks Id System
/dev/sdb1 1 121602 976762552+ fd Linux raid autodetect

Disk /dev/sdc: 1000.2 GB, 1000204886016 bytes
255 heads, 63 sectors/track, 121601 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes

Device Boot Start End Blocks Id System
/dev/sdc1 1 121602 976762552+ fd Linux raid autodetect

Disk /dev/sdd: 1000.2 GB, 1000204886016 bytes
255 heads, 63 sectors/track, 121601 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes

Device Boot Start End Blocks Id System
/dev/sdd1 1 121602 976762552+ fd Linux raid autodetect

Disk /dev/md0: 2000.4 GB, 2000409460736 bytes
2 heads, 4 sectors/track, 488381216 cylinders
Units = cylinders of 8 * 512 = 4096 bytes

Disk /dev/md0 doesn't contain a valid partition table
[/more]
xen установлен на sda. Остальные три винча собраны в программный рейд 5 уровня. На данный момент в системе есть две виртуалки. Их диски расположены на рейде. До этого создавались машины с дисками на разделе sda3, но потом были уничтожены.

Вот вывод команды[more=df -h] Filesystem Size Used Avail Use% Mounted on
/dev/sda1 4.0G 2.1G 1.7G 56% /
none 380M 0 380M 0% /dev/shm
/opt/xensource/packages/iso/XenCenter.iso
44M 44M 0 100% /var/xen/xc-install[/more]

А теперь смотрим вывод команды [more=ls -l /var/run]total 140
-rw-r--r-- 1 root root 5 Aug 8 16:44 atd.pid
drwxr-xr-x 2 root root 4096 Aug 8 16:44 blktap-control
drwxr-xr-x 2 root root 4096 Apr 18 19:35 console
-rw-r--r-- 1 root root 5 Aug 8 16:44 crond.pid
drwxr-xr-x 2 root root 4096 Mar 31 2010 dbus
-rw-r--r-- 1 root root 5 Aug 8 16:43 dhclient-xenbr0.pid
-rw-r----- 1 root root 5 Aug 8 16:44 fe.pid
-rw------- 1 root root 5 Aug 8 16:43 klogd.pid
-rw-r--r-- 1 root root 5 Aug 8 16:44 lwregd.pid
drwx------ 2 root root 4096 Aug 5 22:08 mdadm
drwx------ 2 root root 4096 Jan 27 2010 mdmpd
-rw-r----- 1 root root 5 Aug 8 16:44 mpathalert.pid
-rw-r--r-- 1 root root 4 Aug 8 16:43 multipathd.pid
srwx------ 1 root root 0 Aug 8 16:43 multipathd.sock
drwxrwxr-x 2 root root 4096 Sep 29 2009 netreport
-rw-r--r-- 1 root root 4 Aug 8 16:44 ntpd.pid
-rw-r--r-- 1 root root 4 Aug 8 16:44 perfmon.pid
drwxr-xr-x 2 root root 4096 Jan 22 2009 pm
-rw-r--r-- 1 root root 5 Aug 8 16:43 rpc.statd.pid
drwxr-xr-x 2 root root 4096 Sep 4 2009 setrans
drwxr-xr-x 4 root root 4096 Aug 8 16:44 sm
-rw-r--r-- 1 root root 5 Aug 8 16:44 snapwatchd.pid
drwxr-xr-x 2 root root 4096 Apr 18 19:25 snmpd
-rw-r----- 1 root root 5 Aug 8 16:44 squeezed.pid
-rw-r--r-- 1 root root 5 Aug 8 16:44 sshd.pid
drwx------ 2 root root 4096 Jun 16 2010 sudo
-rw------- 1 root root 5 Aug 8 16:43 syslogd.pid
-rw-rw-r-- 1 root utmp 3840 Aug 8 16:53 utmp
-rw-r----- 1 root root 5 Aug 8 16:44 v6d.pid
drwxr-xr-x 2 root root 4096 Jun 19 2010 winbindd
-rw-r--r-- 1 root root 0 Aug 8 16:44 xapi_init_complete.cookie
-rw-r----- 1 root root 5 Aug 8 16:44 xapi.pid
-rw-r--r-- 1 root root 5 Aug 8 16:44 xapissl.pid
-rw-r--r-- 1 root root 0 Aug 8 16:44 xapi_startup.cookie
-rw------- 1 root root 5 Aug 8 16:44 xenconsoled.pid
drwxr-xr-x 3 root root 4096 Apr 21 18:44 xend
drwx------ 2 root root 4096 Aug 8 16:44 xenstored
-rw-r----- 1 root root 5 Aug 8 16:44 xenstored.pid[/more]

Ну и последняя команда [more=find / -iname *sr\-*]/lib/kbd/keymaps/i386/qwerty/sr-cy.map.gz
/etc/firstboot.d/data/sr-multipathing.conf
/usr/share/terminfo/d/d430-unix-sr-ccc
/usr/share/terminfo/d/d430c-unix-sr-ccc
/opt/xensource/libexec/restore-sr-metadata.pyc
/opt/xensource/libexec/backup-sr-metadata.pyo
/opt/xensource/libexec/backup-sr-metadata.py
/opt/xensource/libexec/backup-sr-metadata.pyc
/opt/xensource/libexec/restore-sr-metadata.pyo
/opt/xensource/libexec/restore-sr-metadata.py[/more]

Тут ещё одна проблема вылезла.
xen и виртуальные машины в нём получают зарезервированные адреса от модема из диапазона 192.168.1.0/24. Доступ к xen`у и вм из этой сети проходит совершенно без проблем. Но вот пытаюсь получить доступ из-вне, через проброс портов, и тут начинаются проблемы: управление самим xen`ом (443 и 22 порты через изменение портов) проходит на ура. А вот доступ к любой вм (openfiler и freenas) получить из внешних сетей не получается.
Посмотрел таблицы iptables xen`а, но там ничего закрытого не нашёл. В настройках самих вм тоже никаких закрытий не встретил. Может у xen`а есть ещё что-то блокирующее трафик по-умолчанию?

Цитата:

А вот доступ к любой вм (openfiler и freenas) получить из внешних сетей не получается.

если не секрет, какими программами пытаетесь получить доступ к ВМ извне и через какие порты?

urodliv
я вижу не с консоли а с винды через winscp
с консоли даже не смотрел (я в линухе ПОЛНОЕ ДЕРЕВО - поэтому все управление адаптирую под себя - недочеловека виндузятника) -

Цитата:

если не секрет, какими программами пытаетесь получить доступ к ВМ извне и через какие порты?

openfiler. Ssh через линуксовый терминал (порт 2222 транслируется на 22) - связь есть. Https через firefox или opera (порт 446 транслируется на 446) - связи нет.
freenas. Ssh через линуксовый терминал (порт 2322 транслируется на 22) - связь есть. Https через firefox или opera (порт 443 транслируется на 443) - связи нет.

в Citrix'е по идее по умолчанию никаких блокировок к портам и адресам ВМ нету. скорее всего копайте в настройках ВМ.

Так. Проблема с пробросом решена. Как оказалось виноват был не ксен, а модем - у него были предсмертные глюки.
Теперь назрел другой вопрос. Какую ФС использует xen на логических томах? Или там своя собственная разработка?

ФС вроде своей нету у них. Ext3 кажется на локальных дисках используется.

Цитата:

ФС вроде своей нету у них. Ext3 кажется на локальных дисках используется.

Угу. Но при этом замаунтить логический том ни под каким соусом не даёт.

Цитата:

Угу. Но при этом замаунтить логический том ни под каким соусом не даёт.

примаунтить к чему? и должен ли?

Цитата:

примаунтить к чему?

К файловой системе ксена.

Цитата:

и должен ли?

Вот это-то и хочу понять.

эммм... поподробней бы узнать, что и к чему вы хотите примаунтить и каким макаром?

makstor
Найдём логические тома: [more=lvscan]inactive '/dev/VG_XenStorage-1431f82f-9eff-57bf-51e2-35ab26b4bdc0/MGT' [4.00 MB] inherit
inactive '/dev/VG_XenStorage-1431f82f-9eff-57bf-51e2-35ab26b4bdc0/VHD-76a755c6-ab78-4236-94ee-1515da88fa50' [100.20 GB] inherit
ACTIVE '/dev/VG_XenStorage-1431f82f-9eff-57bf-51e2-35ab26b4bdc0/VHD-e060563d-02e3-4e95-b871-80acc11e9bef' [2.01 GB] inherit[/more]
Посмотрим что это за устройства: [more=ls -l /dev/VG_XenStorage-1431f82f-9eff-57bf-51e2-35ab26b4bdc0]total 8
lrwxrwxrwx 1 root root 113 Aug 12 14:56 VHD-159e3e26-f805-4d08-b93a-55b48428d28b -> /dev/mapper/VG_XenStorage--1431f82f--9eff--57bf--51e2--35ab26b4bdc0-VHD--159e3e26--f805--4d08--b93a--55b48428d28b
lrwxrwxrwx 1 root root 113 Aug 12 14:56 VHD-e060563d-02e3-4e95-b871-80acc11e9bef -> /dev/mapper/VG_XenStorage--1431f82f--9eff--57bf--51e2--35ab26b4bdc0-VHD--e060563d--02e3--4e95--b871--80acc11e9bef[/more]
Оказывается это ссылки на блочные устройства: [more=ls -l /dev/mapper]brw-rw---- 1 root disk 252, 0 Aug 12 14:57 VG_XenStorage--1431f82f--9eff--57bf--51e2--35ab26b4bdc0-VHD--159e3e26--f805--4d08--b93a--55b48428d28b
brw-rw---- 1 root disk 252, 1 Aug 13 01:30 VG_XenStorage--1431f82f--9eff--57bf--51e2--35ab26b4bdc0-VHD--e060563d--02e3--4e95--b871--80acc11e9bef[/more]
Всё великолепно. Если есть блочное устройство, то можно попытаться его [more=примонтировать]mount /dev/mapper/VG_XenStorage--1431f82f--9eff--57bf--51e2--35ab26b4bdc0-VHD--159e3e26--f805--4d08--b93a--55b48428d28b /mnt
mount: you must specify the filesystem type
[/more] в файловую систему. Если указать конкретную ФС, то [more=выдаёт ошибку]mount -t ext3 /dev/mapper/VG_XenStorage--1431f82f--9eff--57bf--51e2--35ab26b4bdc0-VHD--159e3e26--f805--4d08--b93a--55b48428d28b /mnt
mount: wrong fs type, bad option, bad superblock on /dev/mapper/VG_XenStorage--1431f82f--9eff--57bf--51e2--35ab26b4bdc0-VHD--159e3e26--f805--4d08--b93a--55b48428d28b,
missing codepage or other error
In some cases useful info is found in syslog - try
dmesg | tail or so[/more]

"For ex to mount a LVM volume I used to do:
fdisk -l /dev/host/vm1
kpartx -a /dev/host/vm1
mount /dev/mapper/vm1p2 /mnt"

это монтирование LVM на хосте с Citrix XenServer (вроде как написано для 5.5 думаю, с 5.6 тоже должно работать). попробуйте.

Взято с Citrix Forums (http://forums.citrix.com)

marrex, как вы решили проблему с сетью на виртуальных машинах?

smarteg
Что-то мне подсказывает, что marrex вас не услышит.
Так какие у вас проблемы с сетью?

Проблема в том, что виртуалки не видят сеть.
Из xenserver они пингуются, а извне - нет. С виртуалок пингуется xenserver, а вся остальная сеть за пределами xenserver не видна.

В моей локальной сети есть DHCP сервер. И что самое интересное, виртуалки получают IP. В логах DHCP светятся виртуальные MAC-адреса vif-ов.

Но дальше xenserver трафик с виртуалок не идет.

Я буду очень благодарен за помощь, бъюсь уже вторые сутки.

smarteg
А вы уверены, что в локальной сети пингуются машины не закрытые фаером? С других локальных машин пинги доходят?
Допустим что какая-то машина не закрыта. С ксена она пингуется?
И ещё. Ради любопытства не могли бы показать вывод команд с ксена при запущенных виртуалках:
1. brctl show
2. iptables -nvL

urodliv

[root@xenserver ~]# brctl show
bridge name    bridge id        STP enabled    interfaces
xenbr0        8000.080027a1d103    no        eth0
xenbr1        8000.08002792bfff    no        eth1

[root@xenserver ~]# iptables -nvL
Chain INPUT (policy ACCEPT 0 packets, 0 bytes)
pkts bytes target prot opt in out source destination
175 14705 fail2ban-SSH tcp -- * * 0.0.0.0/0 0.0.0.0/0 tcp dpt:22
8102 3992K RH-Firewall-1-INPUT all -- * * 0.0.0.0/0 0.0.0.0/0

Chain FORWARD (policy ACCEPT 0 packets, 0 bytes)
pkts bytes target prot opt in out source destination
0 0 RH-Firewall-1-INPUT all -- * * 0.0.0.0/0 0.0.0.0/0

Chain OUTPUT (policy ACCEPT 7783 packets, 7223K bytes)
pkts bytes target prot opt in out source destination

Chain RH-Firewall-1-INPUT (2 references)
pkts bytes target prot opt in out source destination
5544 3726K ACCEPT all -- lo * 0.0.0.0/0 0.0.0.0/0
2502 259K ACCEPT all -- xenbr0 * 0.0.0.0/0 0.0.0.0/0
19 2212 ACCEPT all -- eth0 * 0.0.0.0/0 0.0.0.0/0
0 0 ACCEPT icmp -- * * 0.0.0.0/0 0.0.0.0/0 icmp type 255
0 0 ACCEPT esp -- * * 0.0.0.0/0 0.0.0.0/0
0 0 ACCEPT ah -- * * 0.0.0.0/0 0.0.0.0/0
0 0 ACCEPT udp -- * * 0.0.0.0/0 224.0.0.251 udp dpt:5353
0 0 ACCEPT udp -- * * 0.0.0.0/0 0.0.0.0/0 udp dpt:631
0 0 ACCEPT tcp -- * * 0.0.0.0/0 0.0.0.0/0 tcp dpt:631
0 0 ACCEPT all -- * * 0.0.0.0/0 0.0.0.0/0 state RELATED,ESTABLISHED
0 0 ACCEPT udp -- * * 0.0.0.0/0 0.0.0.0/0 state NEW udp dpt:694
0 0 ACCEPT tcp -- * * 0.0.0.0/0 0.0.0.0/0 state NEW tcp dpt:22
0 0 ACCEPT tcp -- * * 0.0.0.0/0 0.0.0.0/0 state NEW tcp dpt:80
0 0 ACCEPT tcp -- * * 0.0.0.0/0 0.0.0.0/0 state NEW tcp dpt:443
37 4744 REJECT all -- * * 0.0.0.0/0 0.0.0.0/0 reject-with icmp-host-prohibited

Chain fail2ban-SSH (1 references)
pkts bytes target prot opt in out source destination
175 14705 RETURN all -- * * 0.0.0.0/0 0.0.0.0/0

С других машин, пинги доходят. Все файерволы я отключал, iptables тоже останавливал на ксене. Видимо дело совсем не в нем.

Пробовал на разных VM - Windows 2003, Linux, FreeBSD. Везде одинаково.

У меня есть подозрения, что дело в сетевой карте не ксене. Она не хочет бриджем пропускать трафик с VM.

Пробовал в /etc/modprobe.conf

alias eth0 r8169
options r8169 use_dac=1

Не помогло.

Проблема решена по этому руководству:
http://www.jansipke.nl/using-xenserver-in-a-routed-ip-network

Всем спасибо.

Вопрос небольшой. А у кого нибуть на этом глобусе получилось таки заставить работать Citrix XenServer с USB-ключами и вообще с 1С-кой вообще впринципе?
и вообще интересно возможно ли соорудить такую схему:

Citrix
XenServer
- Файловый сервер для файловой версии 1С (в принципе, даже на Linux можно samba поднять)
- Kaviza VDI-in-a-Box для виртуализации рабочих станций, этакие терминалы для работы исключительно с 1с, которая лежит в вышенаписанном файл-сервере

В результате гугленья наткнулся на вариант, что для решения такой проблемы ставят отделную физическую станцию с ХР и расшаривают ключ по сети.
Поделитесь опытом, знающие человеки плз

makstor
Недели три назад попали мне в руки etoken и hasp-ключ. Ни один из них с продуктом дружить не захотел. По всякому их пытались затащить в виртуалку - ноль. Видать кому-то выгодно отсутствие такой возможности.