» Solaris COMSTAR и SCSI Target Mode Framework

Начну с англоязычных ссылок -за неимением русских.


http://www.cuddletech.com/blog/pivot/entry.php?id=968

http://www.unix-center.net/bbs/viewthread.php?tid=16904

http://blog.laspina.ca/ubiquitous/multi_protocol_storage_provisioning_with


Офиц. дока:
http://wikis.sun.com/display/OpenSolarisInfo/COMSTAR+Administration



Смежные темы в Сисадминистрировании

iSCSI, обзор коммерческих сторадж-процессоров
http://forum.ru-board.com/topic.cgi?forum=8&bm=1&topic=33110#1

ZFS
http://forum.ru-board.com/topic.cgi?forum=8&topic=34271#1

А не могли бы Вы поделиться собственным опытом в этой области? Судя по ветке vmware, что-то у Вас получается в плане синхронной репликации 2-х хранилищ.
Какой дистр Вы используете?
Я хочу попробовать nexent-у core, она вроде как более похожа на линукс.
А то после линукса с солярой есть какое-то недопонимание, начиная с разметки дисков и заканчивая названиями пакетов
Спасибо.

VelAndr

нет, пока в продакшене ничего не использую. У меня пунктик: использовать только то, что я умею боле-менее уверенно траблшутить, а не только запускать по дефолту. Активно пробую на зуб соляру, но надежного решения еще не имею. (Мне проще: я к линуксу не сильно более привычный, чем к соляре). В нексенте ядро соляры и apt-get из дебиана.

Олег Курилин рекомендовал ипстор, у него он работает и его полностью устраивает по фичам, решение в варезнике. Я несколько раз к нему подступался, но на боевое дежурство так и не поставил; а вот соляра это кажется всерьез и надолго...

Цитата:

уверенно траблшутить

Цитата:

вот соляра это кажется всерьез и надолго

LevT

наверное есть во вселенной такие легендарные товарищи которые так умеют

но мне пока не по плечу

Dimsoft

ну... я помню как сам всего пару лет назад на ESX из той же позиции глядел.

Вот думаю попробовать все-таки разобраться, начну с нексенты, ибо ближе к линуксу . Больше всего конечно убил ZFS. Солярис с ее помощью превратился в практически готовую платформу для создания СХД.
Хочется для начала попробовать сделать асинхронную репликацию между удаленными хранилищами через снапшоты.
Быстро не обещаю, но результаты потом выложу сюда.
А вообще, к соляре на сайте куча толковой документации. Различие с линуксом только в терминологии, названиях пакетов и расположении конфигов Но все-таки есть в соляре какая-то харизма...

VelAndr

не ближе нисколько: ZFS штука ядерная (чисто соляристая).
Главное уяснить, что в солярке ДВА таргета iscsitgt и iscsi/target Оба они существют отдельно от ZFS (в планы Бонвика входит разработка нативного ZFS-таргета, но пока это только в презентациях...)

Первый их них работал в юзерспейсе и раздавал папки(а равно тома и системы ZFS) напрямую, в последние полгода заменяется во всех дистрах на второй (ядрёный) - который является частью COMSTAR. Новый таргет раздаёт луны, которые находятся под управлением сервиса stmf.

Я лично до сих пор не уверен в возможности существующий под первым таргетом сторадж отцепить и гладко раздать вторым таргетом.

Цитата:

юзерспейсе

LevT
это плохо ?
или нет ?

считается что разница в производительности (хотя в моих частных условиях это не потвердилось; но iSCSI вообще штука капризная: я до cих пор не уверен в безглючности остальных компонентов своей инфры)

Важнее - сервис SCSI target mode framework, специально предназначенный для прикрутки любого транспорта. Именно на закрытых таргетах навариваются вендоры СХД.
В комстаре есть уже и SAS таргет mpt, и новейший iSER - это вроде как iSCSI без оверхеда TCP/IP.

Dimsoft
http://hub.opensolaris.org/bin/view/Project+iscsitgt/

The Solaris iSCSI Target Daemon is going away in lieu of a new Solaris kernel mode port provider in COMSTAR. This COMSTAR port provider is known as iSER being iSCSI Extensions for Remote DMA. Even though known as iSER, it includes support for iSCSI Targets

Да, на пути подстерегала засада. Ни EON storage, ни nexenta core не поддерживают рейды от HP (E200, P400). А есть ли в природе сборка соляры с максимально включенными драйверами? А то собственно, вся задача теряет смысл...

VelAndr
вся фишка ZFS - в отмене железных рейдов.

Она свою метаинфу пишет на то, что ей дают в качестве сырых дисков - и отслеживает ошибки на всём пути ввода-вывода.


Добавлено:

Я например разбил свой экспериментальный SAS массив на LSI megaraid (RAID5), вытащил из матери ZCR и на голых каналах mpt создал raidz под ZFS

ZFS мне показала пальцем на диск из массива, стабильно помаленьку портящий данные. LSI ни на что не жаловался.

LevT
а какой дистрибутив Open Solaris используешь ?

я тут наткнулся на то, что дисков в сервере (6*63SAS) не хватает для 2 VM - решил часть данных вынести.

тот raidz собран на 2009.06

Сегодня я наткнулся вот на что:
26.09.2009 Разработчики OpenSolaris выпустили первый релиз тестового комплекта COMSTAR

Цитата:

тот raidz собран на 2009.06

LevT
поставил на 1 hdd 2009.06 open solaris
куда копнуть чтобы ZFS + iscsi правильный поднять ?
(в EON из командной строки поднимал, а тут "куды бечь" )

через иконку Дополнительно ПО нашел пакет comstar поставил, а как/где им рулить ?

Dimsoft
я щас далеко от соляры

покажи
svcs -a | grep iscsi

Dimsoft
Можешь посмотреть ссылки в шапке: там все написано.
Но сам я по-прежнему не могу никакого испытанного iscsi рекомендовать: могу только провести тебя за руку доставить то, что с чем ты выберешь самостоятельно трахаться.

Sun Unified Storagе бесползезна, потому что после обновления не может создать lun. Задал вопрос на иксбите у человека, который явно в теме (ZFSych). Можешь поддержать (в серверном разделе). Проблему убиения обовлением системного диска я с его помощью решил.

Цитата:

Задал вопрос на иксбите

LevT
прочитал все 7 страниц

по клонированию на физическое железо не продвинулся ?

Dimsoft

клонировал исходную виртуалку (до первого запуска) на сырой физический диск
из-под внешней соляры (тоже в виртуалке).

через zpool attach mirror


Стартует, кажет меню груба, баннер Sun Storage Appliance, начинает грузиться - но выбрасывает какую-то ругань и перезагружается.

Предполагаю, что это из-за того,что саташный диск подключатся в Vmware с моих набортных контроллеров как IDE. Ну а на физическом железе он уже scsi

Планирую попробовать подключить как scsi - но утратил соображалку, от чего это зависит. Есть шанс что поможет вставной sil Дойдут руки перезагрузиться - вставлю и попробую.




Добавлено:

вот здесь
http://nwsmith.blogspot.com/2009/07/opensolaris-2009-06-and-comstar-iscsi.html

еще приичина возможных глюков msинициатора и комстаровского таргета

пишут что 2009.6 содержит баги: надо брать что-то более свежее или обновить таргет из development репозитория)


Добавлено:


Еще ссылки

http://www.curiousmentality.co.uk/2009/09/scripted-management-of-solaris-10-comstar-iscsi-targets/

http://opensolaris.org/jive/thread.jspa?threadID=111540&tstart=0

LevT
я старые версии EON нормально запускал, но там все не то и iscsi и web морды нет

Еще ссылка - об осенних уже новшествах
http://blogs.sun.com/wdp/entry/comstar_iscsi

LevT
Подскажи, от тебя выше где-то пробегала ссылка, на которой такие симпатичные скриншоты есть гуёв к комстару - где их взять можно? Или это только на полном солярисе?

И еще вопрос - кто-нибудь ставил vm-tools в open solaris? Вроде на ESXi4 они есть, но при установке скрипт ругается на наличие отсутствия нужных файлов под установленную версию X11 (смотря на отключенный gdm и консоль) - хочу бесшовной мыши ибо убивает руками вбивать iqn-ы в консоли.

Это Sun Unified Storage 7000
Существует в виде симулятора-виртуалки, скачивается свободно, обновляется свежим обновлением

Обсуждался здесь и на хоботе в серверном разделе (поищи в названиях тем по ZFS)

Есть нерешенная проблема, из-за которой его использование сейчас проблематично (последние сообщения на хоботе)

LevT
Понял, я его уже нашел, качаю.
А по vmtools-ам - нашел в смежной теме - ты писАл, что с такой же проблемой установки столкнулся, не решил?
Вообще должны работать open-vm-tools - на сурсфордже у них в списке осей солярис есть, но в пакаджах самой соляры я их не нашел, а связываться с компиляцией из сорцов пока что-то не хочется (много травы на это ушло уже на дебиане и фрибсд).

На FreeBSD 7.2, кстати, чудесно и не особо геморройно получилось поднять iscsi+zfs на базе istgt (как я понял, авторский порт того же самого таргета из юзерспейса соляриса).

там тулзы ставятся отчасти. То ли клипборд заработал но не мышь, то ли наоборот.

Чтобы тулзы поставились, надо переименовать какую-то папочку в подкаталоге X11 (сменить версию что-то типа 14 на 11 известную тулзам)

LevT

Цитата:

Чтобы тулзы поставились, надо переименовать какую-то папочку в подкаталоге X11 (сменить версию что-то типа 14 на 11 известную тулзам)

Так я сделал в первую очередь - на мышь не подействовало, клип проверить не догадался. При загрузке стал ругаться на невозможность загрузить какой-то по-моему модуль фс - нафиг такую установку.

Добавлено:
Была еще мысль обновить хост - вроде в одном из апдейтов обновленные тулзы промелькивали, но пока руки не дошли.

Обновил хост - в примечании к update tools было написано про поддержку Xorg 15, он после обновления содержимое /usr/lib/vmware/configuration/Xorg осталось прежним - похоже, тулзы обновили не для всех осей.

Цитата:

На FreeBSD 7.2, кстати, чудесно и не особо геморройно получилось поднять iscsi+zfs на базе istgt (как я понял, авторский порт того же самого таргета из юзерспейса соляриса).

Поднять-то можно, а вот ощутимый варезный объем функционала получить, да не в ущерб производительности...

Пока что симпатичнее всего выглядит сановский симулятор - но я не вижу способа надёжно его обновить, чтобы он после обновления не норовил разрушить системный диск.

Я научился вытаскивать симулятор на физический диск... но видимо не умею делать что-то типа mkinitrd --preload - так что ось загружается с него только в виртуалке, а на физическом железе молча ребутится по кругу.


FYI: Ещё наметился прогресс с развиртуализацией Falconstor NSSVA. Три дня назад в топике по вмваре. С чипсетного сата-канала уверенно грузится и работает. Теперь задача запихнуть его на USB.

LevT
а есть что то мелкое как eon, но с новым iscsi ? или старый тоже нормальный ? (в инете были упреки в его сторону на тормоза)

Цитата:

Пока что симпатичнее всего выглядит сановский симулятор - но я не вижу способа надёжно его обновить, чтобы он после обновления не норовил разрушить системный диск.

в теме о ZFS, способ работающий.