» VMware ESX Server и VMware Infrastructure

Цитата:

[/q][q]имхо на LSI 1068 без ZCR систему ставить бессмысленно
дрова с ZCR и без оного разные - а главное, тот же контроллер с установленным рядом ZCR (с интеловской уже числодробилкой) не опознает массив, созданный без оного, да и выбор уровней массива без ZCR невелик.

Чип этот - разводка для "поэтапного" перевода скупердяев на SAS. Диски SAS у тебя уже есть, остается осознать что LSI с ZCR и без оного - РАЗНЫЕ контроллеры. Так что массив на голом LSI чипе имеет смысл юзать только под сторадж, а систему ставить на SATA.

1068 сам по себе тормозной, установку BBU для надежного WB кэширования даже не предусматривает. Созреешь - перейдешь сразу на нормальный контроллер. Или удовлетворишься тем, что есть.

Просветите плиз что такое LSI 1068 с ZCR и без оного , имеются несколько серваков fuji-simens и dell с набортным контролером SAS, чип снял на фото Ссылка это какой с ZCR или нет?

xxlsuper
LSI 1068 - это только SAS контроллер, может даже без функции рейда, либо что-то совсем убогое. ZCR - это аппаратный адаптер, который вставляется в PCI слот, или специальный слот для ZCR. Имеет на борту числодробилку для RAID, память и BBU.

Такой вопрос: Есть vmware esx, которая по сути основана на Fedora или CentOs. Под ней естейственно есть yum. Надо его настроить. Какие репозитории прописывать и куда, просветите, пожалуйста. Нужен yum. Элементарно хотя бы чтобы mc поставить или что-нить ещё.

еще вопрос поключаюсь к я через VI к хосту ESX и частенько выдает такие вот ошибки Ссылка напрягает при том что бывает выкидывает из клиента вообще без всяких сообщений где копать?

brassnet
позволь поправлю

Цитата:

LSI 1068 - это только SAS контроллер, может даже без функции рейда,

не может. Он с функцией рейда - только 0, 1 и ещё какой-то третий фирменный, тоже нешибко продвинутый, режим. Числодробилка там самостоятельная, но примитивная. Причём после втыкания ZCR (с другой, продвинутой дробилкой) мой массив не был опознан: пришлось его пересоздавать с бэкапом данных.


Цитата:

вставляется в PCI слот, или специальный слот для ZCR.

ZCR - расшифровывается как Zero Channel Raid. Это глухой со всех сторон адаптер, втыкуемый в разъем PCI-X. На ASUS P5M2/SAS правильный слот для него выделен цветом, рядом слот неправильный и невыделенный. (Другие рейды этой матерью вообще не увиделись ни в PCI-X (любом), ни в PCIe - что вызывает закономерный вопрос, а нафига там вообще эти слоты?).

Думаю, что на любой серверной матери с LSI 1064 или 1068 должен присутствовать такой слот - и следует отдавать себе отчет, что покупая "сервер с SAS" мы ведемся на дешёвую разводку. К нему придется либо докупать ZCR с BBU, либо кусать локти от того, что не взяли мать без набортного "SAS", под что-то вроде 3Ware SATA RAID (второй вариант, увы, пока что никак не для ESX).

brassnet

странно меня уверяли что контроллер не будет кешировать данные если в него не установлена батарейка (+200 уе).

А насчет вмваре - субд уже крутить под вмваре, но на старом серваке, просто пользователей стало побольше - решили обновить железо.

так вот имеет ли смысл купить эту батарейку, включать кеширование, если все равно ОС под вмварью не будет видеть контроллер на прямую и пользоваться кешированием?

LevT

Цитата:

3Ware SATA RAID (второй вариант, увы, пока что никак не для ESX

Да ну... Работает, работает. Не все модели, конечно, но 96 серия очень даже работает.


Добавлено:
lypky

Цитата:

уверяли что контроллер не будет кешировать данные если в него не установлена батарейка

Будет. Только Вам интересно не само кеширование, а отложенная запись. Write-Back на интелах работает и без BBU, но включается через попку. Из биоса контроллера ее можно включить только при установленном BBU. На упреждающее чтение (которое тоже есть метод кеширования данных) BBU никак не влияет.


Цитата:

ли смысл купить эту батарейку

Батарейку имеет смысл купить в том случае если сервер не на бесперебойнике. Если бесперебойник есть - то надо думать. Может смысл есть, а может и нет его. Я пользую srcsas18e - так вот там вместо BBU можно поставить дим и увеличить кеш аж до гига. Так что в этом случае BBU явно проигрывал. А вообще от задачи зависит.


Цитата:

если все равно ОС под вмварью не будет видеть контроллер на прямую и пользоваться кешированием

Такая штука, что под виндой прямой доступ к устройствам запрешен. Поэтому все выполняется вредствами ОС. Т.е. не важно, какое приложение (а в случае с VMWare Server это именно приложение, выполняемое в операционной системе) важно, какая операция выполняется этим приложением. Если включено кеширование то любая дисковая операция записи или чтения будет попадать в кеш в соответствии с настройками кеширования.

Цитата:

Думаю, что на любой серверной матери с LSI 1064 или 1068 должен присутствовать такой слот - и следует отдавать себе отчет, что покупая "сервер с SAS" мы ведемся на дешёвую разводку. К нему придется либо докупать ZCR с BBU, либо кусать локти от того, что не взяли мать без набортного "SAS", под что-то вроде 3Ware SATA RAID (второй вариант, увы, пока что никак не для ESX).

Чесно говоря я запутался с этим чипом , на серваках что я упоминал есть возможность создать раиды и 5 и 50, при инициализации проскакивает что-то там про ROMB - raid on motherboard и на всех есть батарейки BBU и по 256 MB кэш, вот только непонятно где числодробилка реализована? может в северно южных мостах? чипсет интел 5000X

Цитата:

Да ну... Работает, работает. Не все модели, конечно, но 96 серия очень даже работает.

с каким драйвером?

Добавлено:
xxlsuper
Если там уже есть батарейка с кэшем - значит, ZCR уже реализован интелом; смутно припоминаю разговоры, что фирменно-несовместимым образом.

Я бы все-таки сейчас не рискнул связываться с таким сервером без предварительной уверенности, что на том райде удастся создать сторадж. Взять поюзать, попробовать поставить ESX сначала на achi и создать вручную сторадж. Подпилить, если необходимо...

Сравнить с разогнанной несерверной ASUS WS матерью + 3Ware SATA - и хорошенько подумать...


Добавлено:

Цитата:

Батарейку имеет смысл купить в том случае если сервер не на бесперебойнике.

к сожалению, это неверно. Имею опыт крэша ESX сервера с UPS и включенным WB кэшем накануне прибытия батарейки. На выходных чубайсята что-то правили в трансформаторной во дворе, в результате всё погасло на полсуток, и UPS сел.

Безумный понедельник, после него бессонная ночь. Многочасовой ребилд массива, оказавшийся бесполезным. Хорошо, что продакшен виртуалки оказались с недавними снапшотами, к которым я их и откатил. Текущая дельта оказалась потеряна.

Цитата:

Я бы все-таки сейчас не рискнул связываться с таким сервером без предварительной уверенности, что на том райде удастся создать сторадж. Взять поюзать, попробовать поставить ESX сначала на achi и создать вручную сторадж. Подпилить, если необходимо...

Сравнить с разогнанной несерверной ASUS WS матерью + 3Ware SATA - и хорошенько подумать...

Да в общем на таком же сервере стоит уже больше года ESX потиху обновляю, 2хXeon 5335 (2x4 Core) 8 Gig RAM 6x146 SAS HDD RAID5 работает вроде нормально, крутится на нем штук 7 виртуалок , в основном виндовс , есть и оракл, просто недавно обновлял на нем firmware долго не мог понять шо за контролер раид на нем установлен на сайте фуджи для этой модели сервака на выбор предлагают 3 разных фирмвари для контроллеров, пришлось лезть внутрь и смотреть, а тут наткнулся на форумах про этот чип LSI 1068 и захотелось узнать как на нем производительность раида на пошло поехало

Цитата:

Я пользую srcsas18e - так вот там вместо BBU можно поставить дим и увеличить кеш аж до гига. Так что в этом случае BBU явно проигрывал.

тоже пользую такой кстати, так случилось, что есть лишняя батарейка (256M) могу отдать тыр за 5.


Добавлено:

Цитата:

ESX потиху обновляю, 2хXeon 5335 (2x4 Core) 8 Gig RAM 6x146 SAS HDD RAID5 работает вроде нормально, крутится на нем штук 7 виртуалок

драйвер стораджа какой? у меня на голом LSI был mptscsi_2xx, а с ZCR и батарейкой стал megaraid_sas (после подпила xml в /etc/vmware/pciid) Думаю, что у тебя второй вариант, раз RAID5. Pciid контролллера можешь сообщить?

...но вот я лично уже наигрался и на продакшен сервере не стал бы тесты гонять... По моему опыту, WB кэш строго осмыслен. И не только по объективной скорости, даже слуху приятно: дисковая пилорама с ним много тише.

Цитата:

драйвер стораджа какой? у меня на голом LSI был mptscsi_2xx, а с ZCR и батарейкой стал megaraid_sas (после подпила xml в /etc/vmware/pciid) Думаю, что у тебя второй вариант, раз RAID5. Pciid контролллера можешь сообщить?

В ESX пишет LSI Logic MEGARAID SAS 1064R, хотя на фото что я приводил ранее - LSISAS1068, странно, pciid контр ненашол как посмотреть в варе вот с такогоже:

Vendor ID    1000
Device ID    0411
Subsystem Vendor ID    1734
Subsystem ID    1081
Revision ID    00
Base Class    01h, Mass storage controller
Sub Class    04h, RAID bus controller

Кажись, у тебя именно тот "взрослый" рэйд, под который косит мой ZCR LSI 8300XLP: я подпиливаю как раз pciid 0411 -> 0413 для того, чтобы тот распознался драйвером megaraid_sas

C WB точно будет и быстрее, и тише. Причём батарейка в этом моем случае стоит всего стобаксоф - именно она прибыла в тот злополучный понедельник, когда я был занят восстановлением массива (на котором поторопился включить WB) после очередной выходки чубайса.

---
(Updated) А вот здесь буржуи копают тему подпиливания pciid еще ширше, дальше и глыбже: http://communities.vmware.com/message/884093

LevT

Цитата:

с каким драйвером?

Не поверишь - с родным... 3Ware сами написали драйвер для ESX. У них в паблике лежит образ установочного диска для ESX (последний код-сет). У меня два сервака с 9650 работают.

Добавлено:
LevT

Цитата:

Цитата:
Батарейку имеет смысл купить в том случае если сервер не на бесперебойнике.


к сожалению, это неверно. Имею опыт крэша ESX сервера с UPS и включенным WB кэшем накануне прибытия батарейки. На выходных чубайсята что-то правили в трансформаторной во дворе, в результате всё погасло на полсуток, и UPS сел.

Имеется в виду - что бесперебойник должен обеспечить время для коректного шитдауна, а не просто проработать какое-то время и выключиться самому. А если УПС просто сел, а сервак не был остановлен должным образом - так чтож пенять-то... Для таких случае- да, BBU необходим. Предпочитаю корректно остановить сервак и через какое-то время (когда света прийдет и останется) его запустить снова. Это обеспечивает мне спокойный сон.

Но это уже все офтоп.

Хм... что ж... RemComm и LevT

Тогда да, выходит мне нужна больше батарейка чем дополнительная палка памяти в рейд - ибо я единственный админ. Серваки кроме меня никто не остановит. Я не уверен что всегда корректно работает автоматический шатдаун при сигнале от бесперебойника, и что успеют за это время свернуться все Виртуалки.

В общем, в случае если с батарейкой, то тогда все операции успеют корректно записаться? И шансы на выход из строя уменьшатся да?

Кстати я не понял - есть батарейка на контроллере, а питания хдд как будет осуществляться? Кто пластинки то крутить будет?

RemComm
1) Ещё полгода назад из каких-то релизов вычитал, что вмваре выпустила что-то вроде DDK. Это, наверное, первый результат.
Анонс 3Ware я вчера сам нашел, а на сам драйвер можно ссылку?

2) Ткни носом, пожалуйста, чтО там в нашем родимом гондурасе предлагается в качестве повершюта? Вряд ли скоро воспользуюсь, но хоть буду знать, где ссылка повешена.


lypky
а виртуалки и не обязаны корректно остановиться, они могут например засаспендиться. Главное, чтобы у контроллера было после этого несколько секунд сбросить изменения на vmfs (системный ahci сата у меня то ли вовсе не пострадал, то ли был успешно автовосстановлен fsck-ом)

В смысле автошатдауна на хосте (ручным пинком из VIC) меня напрягают периодически возникающие на консоли мессаги вида "vmkernel_panic. Stopping vmfs (deltadisk etc...) Device or resource busy" - при том, что все виртуалки прозрачно для них саспендятся и после растарта заводятся.


...Что касается вырубившихся питания hdd - то смысл батарейки как раз в том, чтобы сохранить до последующего их включения изменения, записанные только в кэш контроллера. Паспортные обещания батареек - держать кэш 2-3 дня.

LevT
А у меня два диска в зеркале (на две партиции разбиты). Первый раздел ОС, другой данные, где файлопомойка или виртуалки.

Кстати про батарейку не знал. Спасибо.

Хм... у меня одновремя стояла в ВМваре сервер (не есх, а просто сервер, версии 1.0.3) при выключении хоста суспендиться. Так вот это довольно таки криво работало.

Кстати можно сделать какой нибудь каскад или приоритет для виртуальных машин. Что бы первыми выключались наиболее "ценные" ОС, а остальные неспеша потом?

lypky
именно так оно и устроено. См. в VIC host -> Configuration -> Virtual Machine Startup/Shutdown

..хотя у меня были случаи, когда ESX хост ОЧЕНЬ долго шатдаунился ручным пинком, я не выдерживал и жал на кнопку - но это после интенсивного мучения в домашней лабе, а не в продакшене.


Насчет осмысленности рэйда для самой оси у меня большие сомнения. Если что, то завести новый хост на сата ahci и подключить виртуалки со старого стораджа дело получаса (максимум). А на лишний сата винт я лучше поставлю лишний хост... На такой вот матери, к примеру.

LevT

Цитата:

а на сам драйвер можно ссылку?

Изволь Select 3Ware Product = 3Ware 9690SA Series и Select Item = Complete 9.5.0.2 CD for VMware ISO. Воаля драйвер.


Цитата:

чтО там в нашем родимом гондурасе предлагается в качестве повершюта?

Не поверишь - таки сам парашут. Именно в это треде и была инфа. Искать по фразе "pcns", ну без кавычек... забрать тут

Видишь ли, так сложилось, что весь мой дата-центр построен на идеологии "правильности". И у большинства возникающих проблем есть решения "в лоб". В частности в теми же упсами: у меня три независимых ввода, Симметра на 12 часов и генератор. И если при этом всем я получаю эвент о недостатке питания - то это значит одно - надо делать технологическую паузу ибо проблема настолько серьезна что за 15 минут ее не решить. С теми же рейд-контроллерами: конечно-же на продакшене я никогда не буду использовать ни Интел, ни ЛСИ, ни что-либо иное слотовое. Это будет как минимум брендовый солюшен - законченное решение. Например SAN от IBM или от HITACHI. Порой мне бывает сложно понять саму суть обсуждаемой здесь проблемы. В частности например - мне трудно понять, какие проблемы могут возникнуть при обеспечении питанием серверной фермы или дата-центра. Их просто не должно быть - это условие, а не какой-то там желательный фактор. Ну и многие другие тоже... Поэтому, возможно, иные мои советы могут быть не в попад или некоторые мои рассуждения могут показаться странными. Прошу меня извинить...

lypky

Цитата:

Кстати можно сделать какой нибудь каскад или приоритет для виртуальных машин.

Для VI3 - это вовсе не есть проблема. Для бесплатного сервера труднее - надо писать скрипты, которые по эвенту от упса будут дергать VPI и тушить гостей в нужной последовательности. Иное не предусмотрено разработчиком.

Цитата:

надо писать скрипты, которые по эвенту от упса будут дергать VPI и тушить гостей в нужной последовательности.

Н-да... бесплатное в серьезной корпоративной среде не серьезно.

Что ж... жаль.

RemComm

Цитата:

Порой мне бывает сложно понять саму суть обсуждаемой здесь проблемы.

Это ты прав конечно. Но сам понимаешь для мелкого, с натяжкой среднего бизнеса тяжело тянуть такие технологии. Ибо потери от простоя не будут превышать обычно стоимость хорошего упса и генератора (штук 20 баксов к примеру). И вообще оценка рисков это такая сложная и вилами на воде писанная дисциплина в экономической теории, что без "прецедентов" простому сисадмину ее одному не потянуть.

Поэтому приходится мне смотреть на сильные творения мира сего (VMware ESX Server и VMware Infrastructure), а пользоваться тем что есть. Упс за пицот баксов и все остальное по возможности несложное и бесплатное.

Кстати еще разок хочу уточнить. Вот если в хосте пропадает питание. (пусть даже рейд на батарейке). Часто по отзывам других людей убивается сам образ жесткого диска для виртуальных машин?

Просто у меня есть один "сервак" на базе дестопного железа, и на нем крутятся пару виртуалок с winХР. Так вот регулярно он самопроизвольно перезагружается раз в неделю минимум (в течении полутора лет =) ). И пока ни одна виртуалка не пострадала.

lypky
ты же сам и отвечаешь на свой вопрос. Вот от WB кэша без батарейки у меня текущая "дельта" активных виртуалок порушилась моментально... Продукцию вмваре я юзаю эдак года с 2000 на всех компах в зоне досягаемости. Кроме данного случая, с порчей vmdk по сбою питания так ни разу за все время и не сталкивался. Понятно, что частный ограниченный опыт это не статистика - но статистику тут никто и не предоставит, зато пугать нас всех потерями и рисками заинтересована мафия торговцев...

Имхо, именно ESX очень вкусное софтовое решение, именно в случае "игры на понижение" (выбора дешевого десктопного железа; лучше, конечно, стабильного). Я еще большую ересь напишу: на рэйдах (тем более взрослых санах) имеет смысл крутить только высоконагруженных гостей. Всякая лабуда типа банк-клиентов прекрасно живёт на сторадже, расположенном на сиcтемном sata. Сейчас вот ставлю эксперимент с DC и шлюзом в филиальчике; ESX с единственным(!) сата диском; полёт нормальный уже скоро месяц. До выхода 3.5 такое было невозможно. Понятно, что в данном случае можно было бы обойтись бесплатным VirtualServer - но ESX такому можно добавить пару и получить нечто трудноубиваемое: http://www.xtravirt.com/images/stories/xvs/xvsrefdiag.jpg


Добавлено:
RemComm

Цитата:

Для бесплатного сервера труднее - надо писать скрипты, которые по эвенту от упса будут дергать VPI и тушить гостей в нужной последовательности

мне уже негде оперативно поглядеть, но в вебадминке фришного сервра (1.0.x) такое, помнится, есть. Вебадминку не все ставят: до установки вари должна стоять роль с IIS. Плюс ещё год назад с ней была лотерея на 64-битных хостах: вебадминка там работала избирательно.

LevT


Цитата:

ESX с единственным(!) сата диском

, собственно ESX устанавливается на голое железо. Ага хорошо, но как у тебя там реализован бэкап данных?

И что есть дельта? Это инкрементное приращение изменений образа жесткого диска?

И что есть игра "на понижение"? Если мне не изменяет память, то ESX стоит соразмерно брендовому серверу начального уровня. Где есть экономия в таком случае?

Кстати,

Цитата:

до установки вари должна стоять роль с IIS

На своем 2003 сервере разок хотел установить бесплатную версию Virtual PC от Microsoft. Сама прога встала, но управлений ей не заработало - ибо надо было установить службу или программу ISS. Я тогда так и не разобрался что сие такое есть. Платно/бесплатное? Идет в комплекте с виндой или надо где то закачать? Это есть просто набор библиотек в систему или это целая программа а-ля ISA 2004?

Цитата:

получить нечто трудноубиваемое: http://www.xtravirt.com/images/stories/xvs/xvsrefdiag.jpg

А вот интересно кто нибудь этот xtravirt использует?
я стал было разбираться но штука какая то мутная, конфигуратор недоделаный, все пришлось через консоль настраивать, так и не понял как проконтролировать поднялся он после перезагрузки или нет,
а главное насколько такая матрешка посадит производительность VMFS -> VM ->VMFS -> iSCSI -> VM

Доброго времени суток!

Пытаюсь зделать решение для "бедных".
Имеется два ESX без VC.
На одном бегут VMs.
С помощью Vizioncore Vreplicator или VEEAM Backup, делаю реплику машин каждую
минуту.
Вопрос: Как организовать подъем машины на втором сервере при падении оной на первом.(Аля кластер).

Буду рад любым другим предложениям.

Заранее благодарен.

lypky

Цитата:

И что есть дельта? Это инкрементное приращение изменений образа жесткого диска?

это я сам назвал так изменение с момента последнего снапшота. Вдохновляюсь названием вмварного драйвера - deltadisk


Цитата:

И что есть игра "на понижение"? Если мне не изменяет память, то ESX стоит соразмерно брендовому серверу начального уровня. Где есть экономия в таком случае?

1) а варезник на что? Даже ломать ничего не надо, вечный триал.
2) брендовый сервер - это весьма существенное ограничение по сравнению с качественной разгонябельной десктопной матерью. Ибо ее надо сранивать не с "начальным", а с довольно продвинутым уровнем сервера.


Цитата:

ибо надо было установить службу или программу ISS

"узкий специалист подобен флюсу", извини за грубую прямоту Роль Application Server, служба IIS - пререквизит для вебадминки в обоих случаях.


Valery12

Цитата:

А вот интересно кто нибудь этот xtravirt использует?

Пока нет, но в ближайших планах. Теоретически юзать ESX на единственном сата диске - это тоже "посадить производительность" по самое нибалуй. Однако ж, вот, использую я и такое. Хочется добавить неубиваемости.

Гуру подскажите.
Есть 2003, на ней поднят VMware server, и три виртуалки.
Хочу перенести всё это дело на ESX, те получить 4 виртуалки.
Возможно ли это впринципе и как перенести оси с наименьшими потерями?

All
WS08 разучился самостоятельно мапить идентичности для NFS: предлагется полагаться либо на внешний маппер, либо на юниксоидную часть схемы AD.

Кто-нибудь задумывался над тем, как организовать консерваторию (виндовый NFS сторадж) в свете новых веяний? Если мне нужно замапить юниксовые учетки на локальные, а не доменные, то что прокатит в качестве "внешнего" маппера - Identity Integration Server?


Добавлено:
pro_cess
поставить Vmware Converter (крякать ничего не нужно, достаточно бесплатного Starter Mode)

Поставить рядом ESX сервер. Перенести туда конвертером по очереди сначала виртуалки, потом сам хост. Беспроблемности не гарантирую, потому что сам лично физические хосты конвертером не переносил: только вручную. В твоем случае лучше начать именно с конвертера.

спасибо

All
По поводу NFS стораджа на WS08. Предварительные изыскания показывают, что с локальной аутентификацией для NFS стораджа дело скорее всего тухлое. В явном виде невозможность утверждается прямо из недр мелкософта, впрочем, только в комментах к довольно древней записи в блоге: http://blogs.msdn.com/sfu/archive/2007/05/11/how-user-name-mapping-works.aspx

Цитата:

"if you are not using domain accounts, you are left with using User Name Mapping from SFU 3.5 "

чего я не могу понять: тем самым предлагается поставить SFU 3.5 на висту/лонгхорн - или это вежливый посыл нах?

LevT

Цитата:

1) а варезник на что? Даже ломать ничего не надо, вечный триал.

Насчет вареза - без вариантов - удобные изящные и красивые решения получаются.


Цитата:

качественной разгонябельной десктопной матерью

- насчет этого поспорил бы, но честно сказать сам аутсортю несколько серверов на базе качественного десктопного железа (в моем понимании сигейтNS, интел, асус, чифтек, кингстон и т.д.) и в целом проблем нет. (пару раз были проблемы когда штатный софт был написан только для ХР, но это я как то решал без ущерба для качества.)


Цитата:

"узкий специалист подобен флюсу"

- если это камень в мой огород - мол я еще зеленый и много чего не знаю. То что ж - согласен. Мне еще много чему нужно научиться. Собственно для этих целей я тут и есть. Благо несколько лет назад наконец то избавился от наверное "вредной привычки" - если ничего не помогает попробуй почитать хелп. Сейчас стараюсь заранее прорабатывать общие вопросы, а потом уже шлифовать рабочую схему.