» [Варез-путеводитель] Коммерческие iSCSI таргеты

модераторы, снесите плиз.

PhoenixUA

а раскажи плиз, откуда лучше начинать знакомство с ZFS софтваре райдом? В COMSTAR он есть?

Соляру не боюсь, хотя и опыт нулевой. Пускай будет комстрока. Нужны пошаговые хауту, но не для дебилов, а с объяснением "зачем".


Добавлено:

В первую очередь интересны сценарии траблошута и востановления после сбоев. А также выявления и предупреждения этих сбоев.

Потому что пересаживаться на напрочь незнакомый стораж не имея о них понятия это ...

LevT
У самого пока руки не доходят...
Много информации по ZFS есть здесь - http://yvoinov.blogspot.com/
в частности - Резервирование и восстановление ZFS I
+
* Solaris ZFS Administration Guide (eng), на русском.
* http://www.solarisinternals.com/wiki/index.php/ZFS_Best_Practices_Guide

Не въезжаю... якобы существует возможность создавать iSCSI таргеты и на них датасторы Vmware VMFS.

То есть, отдаются неразбитые и неформатированные луны? Это возмжность самой ZFS или какого-то сторадж-процессора работающего поверх неё?

LevT
я делал и отдавал по iscsi на open solaris
там (как я понял) сложнее чем "сырой том"
там диски уходят в общий "пул" или просто как Jbod или как зеркало или как Raid-z (аналог 5) или Raid-z2 (аналог 6) и видятся как "место"/"папка" в которой можно создать "файл"(причем размера больше чем сумма всех дисков ) а уже его отдать по iscsi
я делал себе 10 дисков по 900Пб(если с приставкой не ошибся ) и отдавал windows Vista - прикольно в диспетчере дисков видились

esxi тоже цеплял

меня останавливает то что (как я понял) нет инструмента для "ремонта" ZFS
то есть или OpenSolaris собирает сама том или ОП- приплыли

Добавлено:

Цитата:

в частности -

PhoenixUA
ой - как там все страшно

Dimsoft

Цитата:

меня останавливает то что (как я понял) нет инструмента для "ремонта" ZFS
то есть или OpenSolaris собирает сама том или ОП- приплыли

Ну а, может, положиться на снапшоты и бэкап?

В VMFS тоже не шибко-то с ремонтами развернешься. И в железных рейдах тоже... Работает себе что-то, а что да как - хз. Шайтан-машина...




Добавлено:

Цитата:

я делал и отдавал по iscsi на open solaris

Из инсталлятора с нуля - или есть какая-то гостевая машинка готовая, чтобы сразу подъехать поближе? EON годится, или он слишком обрезан?

Зырь сюда: http://blog.laspina.ca/ubiquitous/provisioning_disaster_recovery_with_zfs

Создал темку по ZFS:
http://forum.ru-board.com/topic.cgi?forum=8&topic=34271

Даст ли что-то использование COMSTAR в соляре сверх обычной функциональности тамошнего iSCSI ? если никаких FC и FCoE нет в заводе и не предполагаются

Цитата:

EON годится, или он слишком обрезан?

его и ковырял - мне полный солярис не понравился( чисто как виндузятнику - типа гуи, гуи и ... ОП открыли графический терминал и понеслась проще сразу без гуи )

фигня какая-то этот твой EON
скачал свежак eon-0.593-122-64-cifs.iso, сконфигурил виртуалку 7-й версии хардваре - и она уходит в ребут не успев загрузиться
пишет что-то вроде skipping system dump... и всё

как-то она криво скляпана: завелась, но по ветке "no ACPI"...



по ссылкам нарыл ещё одного монстряка:

http://www.sun.com/storage/disk_systems/unified_storage/resources.jsp

вполне может оказаться рабочим вариантом, несмотря на отпугивающее слово Simulator (ну то есть типа симулятор железного гроба, а софт кагбэ тот же...)


Добавлено:
Dimsoft

где в этом мелкопакостном EON создаются таргеты?
с zpool и zfs я разобрался поверхностно уже, вчера на опенсоляре

A “Multivendor Post” on using iSCSI with VMware vSphere

подсмотрел тут

zfs create -s -V 100GB backups/zebra_osx_backup
zfs set shareiscsi=on backups/zebra_osx_backup

а так сам использовал команду iscsitadm

угу... А есть еще альтернативный таргет (вернее целый сторадж-процессор) COMSTAR
http://wikis.sun.com/display/OpenSolarisInfo200906/How+to+Create+a+ZFS+Volume+SCSI+Logical+Unit

угу. Тока производительность записи на простой миррор в виртуалке 5-10Мбпс - при том, что каждый из дисков влегкую выжимает сотку.

(соляра в виртуалке, пишу с соседнего компа по гигабитной сети.)

видимо надо дальше оптимизюкать, менять типы таргетов и массивов. А хотелось бы свой домашний сторадж скорее туда перевести - но не такой же ценой...

Цитата:

Тока производительность записи на простой миррор в виртуалке 5-10Мбпс

LevT
а на голом железе ?

Ща буду ковырять дальше. Эх, а так хотелось хоть какой-то аспект инфры не разгребать самостоятельно, а подъехать на чужом готовом опыте....


ЗЫ. Вот еще один коммерческий таргет для скачки (EMC Celerra) с доками
http://virtualgeek.typepad.com/virtual_geek/2009/04/new-celerra-vsa.html

Цитата:

EMC Celerra

LevT
много хорошего про неё говорили на семинаре ЕМС

ну... всяк кулик своё болото хвалит

Мы тут между прочим виртадмины собрались: вполне можем сравнить способности конкурентов... только лучше как-то скооперироваться, а не набивать одинаковые шишки на одинаковых граблях, тестируя всё подряд поодиночке.



Добавлено:

ЗЫ. Вот тут http://virtualgeek.typepad.com/virtual_geek/2009/06/a-multivendor-post-to-help-our-mutual-nfs-customers-using-vmware.html

я наконец вычитал, как называется маркетинг барыг-сервероторговцев с хобота: FUD (Fear, Uncertainity, Doubt). Оказывается, эти мелкие фарцовщики и тут вторичны: их стратегия впривания давно изобретена IBM, и на западе к ней уже иммунитет.


Добавлено:
Dimsoft

получшело. Теперь по мнению проводника 2008 венды 14Мбпс, по мнению самой ZFS - 21Мбпс
(линейная запись больших файлов). Кто из них врёт?

(Это я уменьшил количество впроцов в виртуалке с 4 до 2. Ранее пришлось добавить, так как виртуалка жаловалась на перегруз).

Цитата:

То есть, отдаются неразбитые и неформатированные луны? Это возмжность самой ZFS или какого-то сторадж-процессора работающего поверх неё?

отвечаю сам себе:
zfs create -s создаёт sparse файловую систему

чтобы ее расшарить по iSCSI надо либо вручную из iscsitadm шарить получившееся в результате блочное устройство

либо просто сказать zfs set shareiscsi=on

Цитата:

либо просто сказать zfs set shareiscsi=on

LevT
это в соляре ?
EON на такую дрессировку не поддается

Цитата:

008 венды 14Мбпс

я на чистой windows 110 выжимал на интеловских pci-e карточках

ps у меня опять мысли на hyper-v податься обратно - esxi на ровном месте тупить начинает, а разобраться не смог

а в hyper-v iscsi можно на хостовую машину поставить и драйвера на intel человеческие, с разгрузкой iscsi

Цитата:

я на чистой windows 110 выжимал на интеловских pci-e карточках

именно по iSCSI? Или просто файлами по сети кидался?

Пишут что линейный трансфер для стораджей не показатель: они заточены под многопоточный доступ к мелким рзабросанным данным.

Dimsoft
Специально поставил опенсоляру на физическое железо то же, где ESX хост. Виртуализация рояли не оказывает! Ровно та же скорость (надо полагать, лимитирована моей физической инфраструктурой):

14Мбпс по версии винды (проводник 2008),
12Мбпс по версии винды (ресурс монитор чтение , примерно столько же запись)

21Мбпс запись по версии zpool iostat -v


Единственное, что на физическом железе покамест как-то больше уверенности за диски, чем через RDM. Странные ошибки (видные по результатам zpool scrub) неизлечимые через RDM, вылечились на физике.

При переносе пулов между хостами Zfs подключается и видна без проблем. А вот с таргетами сходу такого не получилось... надо разбираться. Возможно это оттого, что я включил комстаровский сторадж-процессор, оформил через него GUID-ом свою тестовую zfs (которая была записана под виртуалкой) и вначале попытался завести комстаровский таргет. Оказалось, что последний отсутствует в опенсоляре и непонятно, где его брать отдельно: он идёт в солярисэкcпсресс, которую сан с ораклом летом собирались прикрыть нахрен как раз в этом октябре.

Цитата:

именно по iSCSI

LevT
да с рам диска на рам диск

свичи между интеловскими сетевухами были какие?

У меня циска-каталист гигабитная. Если напрямую соединить инициатор (марвелл) и таргет (броадком) - выходит еще медленнее и как-то рывками.

Цитата:

попытался завести комстаровский таргет. Оказалось, что последний отсутствует в опенсоляре и непонятно, где его брать отдельно: он идёт в солярисэкcпсресс, которую сан с ораклом летом собирались прикрыть нахрен как раз в этом октябре.

это неверно. Есть в опенсоляре тот таргет. Пишут, что он более правильный - ядерный, а не в юзерспейсе как iscsitgt

теперь затык вот тут:

Код:
root@osl:~# svcs -a | grep iscsi
disabled 8:34:48 svc:/system/iscsitgt:default
online 8:35:24 svc:/network/iscsi/target:default
root@osl:~# itadm list-target -v
TARGET NAME STATE SESSIONS
iqn.1986-03.com.sun:02:29b73cff-c684-4d9a-a2a4-b99afe54061b online 0
alias: -
auth: none (defaults)
targetchapuser: -
targetchapsecret: unset
tpg-tags: default
root@osl:~# devfsadm -i iscsi
devfsadm: driver failed to attach: iscsi

Цитата:

свичи между интеловскими сетевухами были какие?

LevT
простой dlink DGS1005

Цитата:

devfsadm: driver failed to attach: iscsi



Что бы это значило?

А значило это то, что я забыл включить сервис инициатора.
включил, полет нормальный.

ЗЫ. Эх тяжело быть первопроходцем... Подскажите место, где можно задавать вопросы с шансом получить ответ. Желательно по-русски. Но не обязательно.

Начинаю излагать познанное. Буду текст править помаленьку, добиваясь педагогической ясности. Комментарии приветствуются.



SCSI - набор стандартов для соединения между компьютерами и периферией и передачи данных по установленному соединению. В SCSI v.3 обеспечена независимость протокола обмена данными от нижележещего транспортного уровня. (На практике многие уже столкнулись с тем проявлением новой версии, что только с ней работают кластера 2008 винды: именно потому вмваре пришлось в добавить поддержку LSI SAS в гостях - в дополнение к LSI SCSI, которое только v.2)


SCSI инициатор отдает команды ввода-вывода по виртуальному каналу точка-точка. Исполняет их SCSI таргет. Конечные точки канала обмениваются блоками командных дескрипторов CDB (command descriptor block), в которых содержатся команды SCSI.

iSCSI это протокол пересылки SCSI команд по сетям TCP/IP. iSCSI тоже использует термины инициатор и таргет. Таргет - это сервер, исполнящий команды одного или нескольких инициаторов (клиентов).


Перед открытием собственно сессий ввода-вывода необходима скучная бухгалтерская работа:

Таргет должен подвергнуть фейс-контролю инициаторы, на основании заданной админом политики.

Инициатор должен:
1) найти список таргетов.
2) найти дорогу к ним через порталы (выходной и входной)
3) постучаться на таргеты и получить доступ (или отказ).



Имена узлов SAN.

SAN - это коллекция сетевых элементов (компьютеров и девайсов), каждый из которых способен быть инициатором, таргетом, либо одновременно тем и другим. Конечные точки SCSI предсталяют собой узлы SAN. Каждый сетевой элемент SAN содержит один или много узлов (инициаторов и таргетов). Каждому узлу присваивается уникальное имя. Софт SAN автоматически генерит глобально уникальные имена в нескольких возможных форматах, но в зависимости от уровня попсовости может позволять "человеческие" имена. Стандартные имена iSCSI бывают в форматах iqn и eui. Последний похож на формат имён FibreChannel (wwn).


Порталы

Сетевые элементы SAN содержат как минимум один портал (входной или выходной). Для iSCSI портал это комбинация IP адреса и порта. Дефолтный порт таргета 3260, порты инициаторов выбираются от фонаря.

Порталы могут входить в портальные группы (это рукоятка, двигая которую админ может ограничивать множество задействованных интерфейсов, а также разбрасывать SCSI сессии по разным группам).


Внимание! Адреса порталов и имена узлов SAN - никоим образом не связаны между собой. Это позволяет изменять сетевую адресацию не трогая имена узлов.


Соединения и сессии iSCSI.

Транспортный протокол iSCSI - ТСР, гарантирующий доставку и разные прочие ништяки.
Инициатор может создать одно или несколько TCP соединений с таргетом.

Взаимосвязанные TCP соединения объединяются в сессии, которые гарантируют правильную последовательность доставки команд SCSI. Инициатор может создать с таргетом одну или больше сессий. Каждая сессия состоит из минимум одного TCP соединения (фича "несколько соединений в сессии" обозначается MC/S).

Инициатор различает открытые сессии по уникальным идентификаторам (ISID). Таргет - по комбинации имени узла(?) и TSID






Методы обнаружения узлов iSCSI

Discovery - процесс выявления инициатором доступных таргетов и порталов. Методы:

- статическое обнаружение (типа ручками вбить имена партнёров)
- команда Send targets (а пришли-ка мне хост name.domain.ru:3260 списочек, какие там у тебя для меня есть таргеты)
- iSNS

iSNS - это сервис-локатор узлов iSCSI. Таргеты и инциаторы регистрируются на нём при старте и опрашивают, выявляя возможных партнёров. Какая в нём вообще нужда? Инициатор в нём нуждается динамически, а таргету он собственно без надобности - но нужен админу, чтобы конфигурить для таргета политики фейс-контроля, которому подвергаются инициаторы. Вбивать руками нечеловеческие имена узлов удовольствие ниже среднего - особенно если нет возможности сделать это один раз (нет исчерпывающего списка узлов, который не будет впредь меняться).

На первый взгляд может показаться, что в доверенной сети фейс-контроль это перебор и оверхед... Авотхрен!! Эдак запросто можно отформатировать или искорёжить нужные данные, ненароком предоставив к ним доступ кому не надо!


Шаги конфигурирования инициатора

1. Сконфигурировать метод обнаружения таргетов.
2. Проверить доступность таргетов (пройти фейс-контроль).
3. Инициализировать их и подсунуть системе в качестве дисков.


Безопасность

Поскольку транспорт - TCP/IP по обычным сетям, необходимо думать о защите от подглядывания в трафик снифером. Это может быть достигнуто комбинацией следующих методов:

- физически отдельная сеть SAN
- ACL
- Аудит
- IPSec и дайджесты загловков
- Портсекьюрити на Ethernet свичах


Производительность

- Используйте ПРАВИЛЬНЫЕ(!) сетевухи.
- Включайте Jumbo фреймы.
- Используйте агрегирование сетевых линков.
- Используйте iSCSI multipathing
- Увеличьте tx и rx буферы, отрубите алгоритм nagle и убедитесь, что TCP window scaling правильно работает на вашем оборудовании.

Создал тему по COMSTAR
http://forum.ru-board.com/topic.cgi?forum=65&topic=3627