» Solaris COMSTAR и SCSI Target Mode Framework

Цитата:

в теме о ZFS, способ работающий

куда писать

confirm shell /usr/lib/ak/tools/akfixfru
hardware.refresh()


?

Добавлено:

Цитата:

а есть что то мелкое как eon, но с новым iscsi

Dimsoft

автор EON обещал в следующей версии попробовать заменить iscsi на комстар

писать в шелле, зайдя туда рутом

LevT
если залить последний ak-nas-2009-09-01-2-0-1-1-6-nd.pkg.gz
и на esxi отдать 6 sata RDM нормально будет работать ?
при откаже дисков будут проблемы ?

я сам не пробовал еще, только под воркстанцией мучил : попробуй, расскажешь


...кстати идея появилась! теоретически возможен способ подцепить модуль ahci к ядру через grub при загрузке. Надо будет поспрашивать соляроводов...

ещё шальная идея - посмотреть куда заливается обновление перед применением. Если оно распаковано - может, его можно подправить?

в EON появился comstar
где почитать про команды ?
itadm create-target создает таргет, к нему даже windows клиент цепляется, но как указать, что именно расшаривать по iscsi ?

Dimsoft
А родной комстаровский гайд не сработает под EON?
P.S. Сам EON не ставил.

i_no_k
все ок
начал с первого пункта и все получилось

Dimsoft

Писал как-то для себя чек-лист по этой теме:

1. Install packages - похоже, такой список актуален для Solaris, на OpenSolaris у меня половины из него не понадобилось, а на полноценном так руки потестить и не дошли пока

* SUNWiscsitu
* SUNWiscsitr
* SUNWiscsidmu
* SUNWiscsidmr
* SUNWstmf
* SUNWstmfu

pkg install SUNWiscsit

2. Check and enable STMF service - у меня часто не работал после установки пакэджа без ребута

svcs stmf
svcadm enable stmf
svcs stmf
stmfadm list-state

3. Create ZFS pool and SCSI logical unit - на istgt если не зафиксировать размер файловой системы при создании потом невозможно было расшарить ее по iscsi, на iscsi:target не проверял

zpool create share_vol raidz c9t0d0 ...
zfs create -V 10G share_vol/share
sbdadm create-lu /dev/zvol/rdisk/share_vol/share (если создать из /dev/zvol/disk/ - будет использоваться дисковый кэш)
sbdadm list-lu

4. Make SCSI LU available for all hosts - наиболее быстрый способ, без ограничения доступа

sbdadm list-lu
stfmadm list-lu -v
stmfadm add-view <GUID>

5. Configure ISCSI target for static discovery - а вот и твой пункт На самом деле с таргетом мне тоже не совсем понятно - похоже, его можно сделать только если есть готовый LU под него, опять же если использовать таргет-группы, хост-группы и пр. разделение доступа - этот момент получается гибче. Но все равно большая путаница с этой кучей утилиток, ибо нет у меня четкого понимания, почему например stmf-adm добавляет view для LU а не itadm - как-то они пересекаются по функциям неоднозначно, нет четких границ - вот это только для управления iscsi, вот это - физикой диска, эта - правами... Бардак, короче ИМХО, разумеется.

itadm create-target
itadm list-target -v
devfsadm -i iscsi

Большой Solaris, кстати, успел только поставить и заценить в нем встроенный (из коробки) web-интерфейс управления ZFS - пулы, системы, снапшоты... Есть мысль, что после установки на него COMSTAR может и управление им туда добавиться, да вот проверить никак руки не дойдут.

Цитата:

web-интерфейс управления ZFS

i_no_k
а тут можно по подробнее

в EON comstar уже установлен, пришлось немного команд давать.

PS расшарил 1024Тб - windows подавилась- GPT диск создать может, а отформатировать в NTFS нет

Dimsoft

Цитата:

а тут можно по подробнее

А куда подробнее? Под рукой соляриса уже нет, а так - обращаешься на какой-то порт локалхоста, там какая-то san java universal management консоль (не дословно, но смысл такой), что-то типа оболочки для веб-приложений, в ней по-умолчанию как раз только ZFS web admin и есть.
Solaris, как оказалось, качается также бесплатно после регистрации, просто поддержки видимо нет. Знал бы - сразу его ставил, один хрен разницы в нагрузке на хост особой между ними не заметил.

Цитата:

PS расшарил 1024Тб - windows подавилась

Где-то в ZFS discuss пробегала такая проблема, именно для винды.

Сам с таким столкнулся когда devfsadm -i iscsi не отработал - оказалось, без одного из пакаджей выше он и не работает, а без него у меня XP-ха тоже диск видела, но форматировать не хотела.

Цитата:

1024Тб

i_no_k
Windows просто большим диском подавилась, делал в 1Тб все ок


Цитата:

А куда подробнее?

понял, к eon webadm надо прикручивать

ну дык я немного не понял, что-то у кого-то получилось, или дальше экспериментов никто не дошел?

еще линки нашел:
http://www.c0t0d0s0.org/archives/6140-Less-known-Solaris-Features-iSCSI-with-COMSTAR.html
http://toic.org/2009/11/08/opensolaris-server-with-comstar-and-zfs/

Добавлено:
и еще: http://blogs.sun.com/jayd/entry/iscsi_failover_with_comstar
тут говориться об failover конфигурации, правда для реализации нужно аж 4 физических тазика (против двух в случае использования ietd/drbd/heartbear на линупсе)

m0ps
новый eon на 129 версии ставил - iscsi все ОК (как backup сервер держу)

Dimsoft
у меня этот твой еон в виртуалке перезагружается, не успев догрузиться.

По какой ветке его надо запускать?
Он может грузиться с сидюка, а конфиг хранить на флешке?

Цитата:

у меня этот твой еон в виртуалке перезагружается, не успев догрузиться.

LevT
с vmware он давно не дружит
если надо запустить, то
EON rebooting at grub(since snv_122) in ESXi, Fusion and various versions of VMware workstation. This is related to bug 6820576. Workaround, at grub press e and add on the end of the kernel line "-B disable-pcieb=true"

Запустил свежий eon (который с дедупликацией) на физическом железе, карточка e1000g0. Клиент - винда 2008R2 с набортным марвеллом (в линуксе это sky2 или skge)


Закачка данных по iSCSI идет рывками... В результате скорость ОМЕРЗИТЕЛЬНАЯ (5Mb/s по конечным показаниям TeraCopy и ни разу на выше 20Mb/s) .

Кто казёл?

Цитата:

Кто казёл?

LevT
ну я не знаю

у меня получалось 27
хотя на starwind получалось 110

Воткнул гигабитку интел вместо марвелла: те же тормоза.

LevT
http://eonstorage.blogspot.com/
тут товарищи отписываются о подобных проблемах.

NAS storage server in OpenSolaris JeOS Prototype

Цитата:

OpenSolaris 200906 JeOS Prototype is PURE CLI enviroment, so its small true command line only enviroment, as such is ideal install BASE for experimenting with system features like ZFS and SERVER network storage protocols like (CIFS, NFS,iSCSI).

In this example I will demonstrate a creation of simple STORAGE multi-protocol NAS using ZFS and network storage protocols (CIFS, NFS, iSCSI) integration.

I will also demonstrate some ZFS native features together with storage oriented ones.

http://blogs.sun.com/VirtualGuru/entry/nas_storage_server_in_opensolaris

PhoenixUA
JeOS это хорошо, но доступны только имеджи для vm-ок, а исошки нет
==================

мне немного не понятно позиционирование osol - с одной стороны из каробки идет с гномом (без возможности отказаться от него во время установки), с дугой - набор софта и функционал ориентирован на серверное применение. для виртуальной инфраструктуры сойдет JeOS, но вот для физических тазиков... благо есть готовый скриптик для минимизации пакетов, входящий в состав проекта Immutable Service Containers (http://kenai.com/projects/isc/pages/OpenSolaris)

Добавлено:
и все-таки, если рассматривать OpenSolaris как ультра-бюджетное SAN решение для виртуальной инфраструктуры vSphere - насколько оно конкурентоспособно в сравнении с решениями на базе Linux (Ietd+DRBD+Heratbeat)?

эт понятно, что в случае если нет возможности использовать VDR (входящий в состав vSphere некоторых версий) и приобретения средств резервного копирования, поддерживающих дедупликацию - osol с его ZFS (и его новой фичей - дедупликацией) выглядит довольно аппетитно. (правда я не проводил экспериментов и нему сказать насколько оно работает стабильно)

но меня интересует использование OpenSolaris в качестве основного стораджа (iSCSI таргета) для ESX(i) хостов.

sharesmb=on
dedup=on
compression=on

Сервер ZFS - Q6600 c 4Gb оперативы



В винде попалась разархивированная папка с 40000 мелких файлов (InstantRails что-то там, типа локальный вебсайт, 150Мб в сумме).

По каким-то причинам копирование ее на ZFS захлебнулось (есть подозрение, что тоже какая-то проблема с длинными путями).

Но самый атас - перемещение обратно, с удалением. Скорость процесса десятки килобайт в сек., на отдельный файл уходит видимое глазу время (до минуты!).



ПОПАЛ В ЗАСАДУ!
Дедуп сырой и реально ОПАСЕН!

Завёл NexentaStor... и убедился, что "я просто не умею готовить" ZFS!
Все нормально.

Правда, никакой дедупликации там не предвидится ещё несколько месяцев.


Нексента торгует решениями следующего уровня (типа многослойного и многоголового хранения), а для базовой функциональности вроде бы достаточно бесплатного функционала.

Пул в любой момент можно экспортнуть и попробовать где-то ещё. Внимание: засада - в несовместимости версий ZFS! Скажем Nexenta отказывается импортировать пул созданный по дефолту на соляре с потенциальной возможностью дедупа (snv_129).


Добавлено:

Другое дело, что для бесплатной активации требуется сгенерить ключик на офсайте... лавочку могут прикрыть в любой момент.

ZFS там остаётся собой, COMSTAR - в качестве отдельно платного плагина.

Все одно, руками самостоятельно нарисовать что-то подобное совершеннно нереально. Даже без красивостей, чисто содержательно. (Есть однако подозрение, что после 45 дней триала все красивости будут заблокированы.)

Добавлено:

У нексентовцев хорошие практические доки
http://www.nexenta.com/corp/component/content/303?task=view

Пфф, собрал более-менее SAN сеть дома. По крайней мере винда грузится с LUNов.
Железо с ебая:
FC switch Brocade Silkworm 200E, 8 портов активно, $130
(купил Silkworm 3800 но он оказался несовместим с COMSTAR)
SFP 2Gb Cisco 10 штук, $80
Коробка LC-LC кабелей разных, килограм 5 $20
Корпус Norco RPC 4220 , 20 SATA - $280
Мать Tyan S2882D - $25
Процы Opteron 290 - $140
Память 8GB - $80 (ddr400 reg ecc)
Винты wd green 2TB - 5*150
FC HBA Emulex 2*5-10$ - они используются в target режиме.
FC HBA Qlogic 5*5-10$ в писюки.

Что работает/не работает:
Silkworm 3800 не работает, в фирмваре нет нужных функций name server'а
200E работает, после создания зоны и включения FC девайсов в нее.
Emulex target не работает под свежей соляркой . Последний рабочий билд 127.2GB Qlogic'и 2Gb не имеют target драйвера, 4GB стоят в пределах $200-$400.
Шустро грузится с LUN ов и работает винда! ESX еще не пробовал.
iozone под виндой показывает 30-150MB/sec чтение/запись. Под соляркой при тестах на сыром устройстве производительность гораздо лучше (видимо есть проблемы с выравниванием виндового раздела), но рано или поздно драйвер эмулекса захлебывается и начинают сыпаться ошибки его работы с буферами. надо обновлятся, но на более свежих билдах эмулекс не работает в target режимах.
Для правильного использования COMSTAR надо пробить тему взаимного влияния свойства volblocksize, выравнивания разделов и размера кластеров ФС

поздравляю
и завидую (такому доступу к ебаю)

Спасибо за крупицы бесценного опыта!

офтопик
напредмет ебая надо юзать пересыльщиков:
+ можно использовать их склад, формировать посылки - существенная эконимия $$$
+ можно писать шо хош в описании частей посылки так чтобы общая сумма <10000руб, таможня не палит абсолютно.
переслать 20 кг через USPS Express mail стоит в районе $250
сроки 2-4 недели до выпуска с таможни, от москвы дальше со скоростью ЕМС почты
пользую www.usamail1.com, $9.99 в месяц,хабар бесплатно хранится 45 дней дальше доллар за фунт в месяц.
+ из 10+ посылок все дошли в целости
- возникают моменты когда надо обратится к поддержке, по телефону реально быстро но человеческого языка не понимают, приходится изъяснятся по английски
- бывает что приходит нерабочий товар. тут уж ничего не сделаешь

Цитата:

Завёл NexentaStor

LevT

появилась версия 3.0.0 с заявленной дедубликацией и сжатием
на intel D33BU + 2,5 Ггц 2 ядра + 4 гб RAM + 4x500U, sata получил 57 мегабайт / сек линейно и 11 блоками 4к

к сожелению на старом сервере 2x2,8 xeon + 2 Гб + 8x250sata всего 26 мегабайт / сек - грусно до жути.
хоть выкидывай сервер из корпуса и ставь intel на q35

пардон за offtop, но зачем же вы в nas ставите green винты - у них производительность ниже плинтуса.

второе, если такие траблы с brocade/qlogic/emc (или в общем с FC) почему было бы не попробовать это все собрать поверх GigE ethernet ?

я не критикую, мне просто интересна ваша точка зрения.

у нас на работе стоят пару brocade 38xx , могу попробовать пошукать нужный firmware.

ну и последнее, чесслово, мне кажется что zfs в продакшн еще рано пускать, читая changelog'и на патчи к ядру solaris.

nick0001
у нас на работе ZFS в продакшен - уже 1 как год
и пока живем - правда пока серьезных аварий не было. тьфу.тьфу