» [Варез-путеводитель] Коммерческие iSCSI таргеты

Об одной из фич хранилок - дедупликации http://forum.ixbt.com/topic.cgi?id=66:7263

ЗЫ. ВНИМАНИЕ! У кого есть Netapp - просьба выложить утилитки, которые можно получить только по партнёрским каналам (у поставщика).




Добавлено:


Статья главного архитектора ZFS Бонвика о дедупликации
http://blogs.sun.com/bonwick/en_US/entry/zfs_dedup

сегодня гонял новый iscsi terget от starwind HA5
ност WHS Intel Q35 (встроенная сеть) + Dlink DGS 1005 Green + Realtek 8168 (слабое место, встроен в ноутбук)

скорость 44 мегабайта на линейном чтении и 67 на записи при включении кеша в размер данных.

у кого еще есть такая возможность - имидж хранить на диске, но 100% кешировать ?
желательно opensolaris или что то похожее

а твики реестра и размер JumboFrames изменены на рекомендуемые?

Dimsoft

Цитата:

у кого еще есть такая возможность - имидж хранить на диске, но 100% кешировать ?

подробнее.. что за возможность?

Цитата:

а твики реестра и размер JumboFrames изменены на рекомендуемые?

prymara
нет

а можно ссылку про реестр (про
Цитата:

JumboFrames

в курсе, но реалтек умеет от 2 до 7 К а Intel или 4 или 9 => сделать 4 и радоваться ?)


Добавлено:

Цитата:

подробнее.. что за возможность?

LevT
у нового starwind-a при создании таргета можно указать не кешировать/кешировать паз-тру/кешировать врайт-бек и размер кеша

Добавлено:
с
Цитата:

JumboFrames

по 4 к скорость 88/77
но в несколько раз упала блоками по 4к (скорее всего блок немного не входит в пакет )

а у нас на сайте есть в доках.
А вообще ключи следующие:
Изменить ключи в ветке HKLM\System\CurrentControlSet\Services\Tcpip\Parametres на следующие: GlobalMaxTcpWinowSize=0x01400000
TcpWindowSize=0x01400000
Tcp1323Opts=3
SackOpts=1.
Все параметры имеют тип DWORD. После применения необходимо перезагрузить компьютер.

prymara
синхронизацию удаленных "зеркал" починили , это хорошо.
рабочую версия назвали НА ?
или два простых таргета тоже можно синхронизировать ?

HA - это редакция программы. простые нельзя- только HA устройства.

(delete)

Комрады, не уверен, что пишу вопрос в правильную ветку. но более подходящей не нашел, Требуется совет. Есть 2 ESX, на которых хочу собрать отказоустойчивую СХД. Выбор пал на Openfiler, т.к. в нем изначально есть все что нужно (DRBD и iSCSI Enterprise Target) Итого благополучно запустил по одной машине с Openfiler на каждом ESX, где каждый Openfiler имеет диск, который он наружу расшаривает по iSCSI а изнутри синхронизирует с диском другого Openfiler'а через DRBD. Ровно так, как написано здесь http://blog.core-it.com.au/?p=62 и здесь http://blog.core-it.com.au/?p=62&cpage=1#comment-1360 .Для каждого ESX данные на iSCSI диске видны 2-мя путями через один Openfiler и через другой. Я хочу заставить ESX работать с этим iSCSI диском в режиме multipath, но он, гад, этого не хочет. Он выбирает для работы только один путь и не переключается на другой ни вкакую. Даже после отключения рабочего пути, он не хочет использовать запасной. Не говоря уже о Round Robin алгоритме использования путей, Помогает только перезагрузка ESX, что не катит никак.

Может кто сталкивался с такого рода проблемами? Буду признателен за любую помощь,

С уважением, Дмитрий

P.S. Отказоустойчивое решение без multipath, собранное по схеме http://www.the-mesh.org/tiki-index.php?page=OpenFilerHaSetup проверено и работает. Оно просто не эффективно по производительности.

rdmitry0911

А какой смысл в переключении путей? Чем не устраивает схема xtravirt XVS (там каждый сервер подцеплен только к своему файлеру, а они между собой синхронизируются по drbd)

Я не в курсе: неужели В ПРИНЦИПЕ возможен такой multipath, чтобы часть IO гнал на свою виртуалку, а часть на соседскую ("одновременно")?

LevT

Смысл в производительности операций чтения. При существующих сетевых каналах (2x10GB не является проблемой), узким местом является пропускная способность дисковой системы. Для примера, если у тебя основной трафик по чтению идет только с одного хоста, то производительность в схеме XVS будет лимитироваться пропускной способностью дискового массива на этом хосте, а в случае round robin смены путей будет практически удвоена.

В Vmware 4.0 режим multipath поддерживает 3 варианта работы Fixed path - задается администратором, round robin - выбор пути чередуется и most recently used - последний использовавшийся. Round robin будет делать как раз это - гнать запросы по очереди на свою и на чужую машину.

Скачал книжку
Storage networks Explained, 2nd Edition July 2009

Цитата:

Storage networks are a complex subject area. There is still a lack of unified terminology,
with different manufacturers using the same term to refer to different features and, con-
versely, describing the same feature using different terms. As a result, it is often unclear
what kind of a product is being offered by a manufacturer and which functions a customer
can ultimately expect from this product. It is thus difficult for the customer to compare
the products of the individual manufacturers and to work out the differences between the
alternatives on offer.


Это именно то самое, ради чего я создавал тему. А вот конец абзаца:


For this reason, the Technical Council of the Storage Networking
Industry Association (SNIA) has introduced the so-called Shared Storage Model in 2001
in order to unify the terminology and descriptive models used by the storage network
industry. We introduce this model in Chapter 12.


Ну вот и славно, стандартная терминология оказывается есть. Будем изучать.

Цитата:

Я не в курсе: неужели В ПРИНЦИПЕ возможен такой multipath, чтобы часть IO гнал на свою виртуалку, а часть на соседскую ("одновременно")?

Поосле некоторых экспериментов запустил XVS в режиме multipath iSCSI. Выяснилось, что возможен только 1 комплект XVS на хосте. Почему так - непонятно. В остальном все работает нормально. Из особенностей эксплуатации, при пересканировании iSCSI шины на каком-нибудь из хостов, нужно сначала остановить xvs services на этом хосте, иначе возникает split brain и надо руками все чинить. Не очень удобно, что по умолчанию только /dev/sdb может быть использован в качестве разделяемого iSCSI ресурса, Это делает невозможным (по меньшей мере трудно исполнимым и не эффективным) расшаривание нескольких дисков на хосте. Однако, это довольно лего лечится правкой конфигурационных файлов и для себя я выбрал (как наиболее удобный) вариант с LVM. Сначала собираю диски в том а затем синхронизую его через DRBD и расшариваю по iSCSI

Призна.ю, что был неправ, начав темы плодить. Вот здесь важная инфа (о NexentaStor)

Сам же пощу в темы мимо заложенной в них логики.


Значит, нексентовцы тоже пиарятся. Типа 45 дней будет работать регистрация триала (ссылка зачем-то в варезнике) - после чего останется базовый функционал. Базового я ещё не видел, а платный реально впечатляет.

Какие из таргетов поддерживают SCSI-3 PGR (необходимо для Windows 2008 Clustering)?
Пока нашел FreeNAS, StarWind, COMSTAR, Open-E DSS V6 Lite...
В Openfiler в виде платного плагина то ли доступен, то ли будет доступен.
Nexenta вроде не поддерживает:

Цитата:

Question: does the cluster use SCSI-3 PGR to ensure exclusive access?

Answer: not at the time. SCSI-3 PGR won't work with SATA drives, and has certain other limitations. It is our recommendation to always deploy cluster with a shared disk (quorum device) and at least one more heartbeat type of a channel (Ethernet or Serial). If this is done, the cluster logic itself will ensure exclusive access, independently of the storage interconnects used in the cluster. Having said that, we do plan to provide a configurable ability to make use of PGR (Note: please see related F.A.Q. entry on SCSI-2 PGR).

Пока такая фишка не нужна, но хорошо бы планировать возможности заранее.

Цитата:

Я не в курсе: неужели В ПРИНЦИПЕ возможен такой multipath, чтобы часть IO гнал на свою виртуалку, а часть на соседскую ("одновременно")?

Собственно StarWind так и работает.
Честно говоря, не понимаю смысла в покупке OpenFiler, тогда как за 6000$ они продают active-passive решение. (Просьба не воспринимать как пиар себя, а как попытку понять причину, когда следствие уже известно).

Отчитываюсь по нексенте: дистрибутива два (EVAL и TRIAL)

Отличаются они тремя файлами
menu.lst
platform/i86pc/kernel/miniroot и
USR_IMG.ZLIB

То есть реальные различия запакованы.


Оба дистра завести невозможно, не получив ключ регистрации (он так и будет начинаться на EVAL- или TRIA-)


Разработчики, даром что русские, на контакт не выходят, на офиц запросы в суппорт по-русски не отвечают.

Фичи даже эвала - впечатляют. Напрягает недоступность плагинов. Ради плагинов поставил триал, тома и шары с содержимым удалось перенести (но тут нужна тренировка и постоянная прокачанность: времени с непривычки ушло многовато. В результате у меня сейчас на нексентовском таргете завелась виртуалка, которую я когда-то создавал на сторадже zvol созданном голой опенсолярой. Думал, тот тестовый сторадж давно сломан: ан жив, курилка...)


Триал будет функционален 45 дней, а потом посмотрим...

LevT
Ну разве это отчёт? Никакой конкретики, одни эмоции.

Цитата:

Фичи даже эвала - впечатляют.

Цитата:

Огласите весь список, пожалуйста!

Цитата:

Напрягает недоступность плагинов.

Ага, вот что впечатляет!

Ну а если серьёзно, то хотелось бы знать какие возможности есть у этого продукта. В частности меня интересует ранее упомянутый SCSI-3 PR, т.к. в необходимости оного я уже был убеждён на практике.

Продлил на офсайте давно протухший триал Nexenta v 2.2, со старым логином и емайлом.

Отрубались все возможности управления (кроме чистой переустановки ; ) (ZFS после неё импортируется бай дизайн) а шары продолжали оставаться доступными.


К ранее установленому плагину "VM DataCenter Dashboard" доступ есть.
К странице http://nexenta:2000/settings/appliance/plugins/ доступ запаролен: то ли я забыл логин, то ли защита...

Упд. Логин admin (это веб-юзер, а ещё есть root)




Обновляеца... [more]Last login: Tue May 4 07:51:57 2010
nmc@nex:/$ setup appliance upgrade
This operation may take some time to check with the remote appliance's software repository. Proceed? Yes
Checking repository sources. Please wait...
Found new upgrades!
Verifying upgrades...
Trying to gain exclusive access to the appliance.
This operation may take up to 30 seconds to complete. Please wait...
Exclusive access granted.
Initiating appliance upgrade procedure. Please wait...
Success. This upgrade will download approximately 21.70MB
This upgrade will require REBOOT. Proceed? (y/n)
Downloading upgrades. This may take a few minutes. Please wait...
Upgrade is in progress. Please DO NOT interrupt...
Creating Upgrade Checkpoint...

Upgrade Checkpoint has been created: rootfs-nmu-005

Use NMC 'show appliance checkpoint' command to list all available
system checkpoints

Reading package lists...
Building dependency tree...
Reading state information...
dpkg is already the newest version.
apt is already the newest version.
0 upgraded, 0 newly installed, 0 to remove and 16 not upgraded.
Reading package lists...
Building dependency tree...
Reading state information...
The following packages will be upgraded:
base-files binutils nlm-com nmc nmc-delorean nmdtrace nms-delorean nms-dev nms-vmdc nms-vmdc-driver-esx nms-vmdc-driver-xen nmv-apiviewer
nmv-theme-iceweb nmv-vmdc sunwckr sunwiscsitr
16 upgraded, 0 newly installed, 0 to remove and 0 not upgraded.
Need to get 0B/21.7MB of archives.
After unpacking 2356kB disk space will be freed.
Do you want to continue [Y/n]? y
(Reading database ... 38271 files and directories currently installed.)
Preparing to replace base-files 3.1.9nexenta69 (using .../base-files_3.1.9nexenta70_solaris-i386.deb) ...
Unpacking replacement base-files ...
Setting up base-files (3.1.9nexenta70) ...
Installing new version of config file /etc/issue ...
Installing new version of config file /etc/issue.net ...

(Reading database ... 38271 files and directories currently installed.)
Preparing to replace sunwckr 5.11.104-10 (using .../sunwckr_5.11.104-11_solaris-i386.deb) ...
Unpacking replacement sunwckr ...
Setting up sunwckr (5.11.104-11) ...
Setting up class: mptconf /kernel/drv/mpt.conf
Setting up class: kcfconfbase /etc/crypto/kcf.conf
Setting up class: renameold /etc/name_to_sysnum
Setting up class: etcsystem /etc/system
Setting up class: preserve /kernel/drv/log.conf
Setting up class: scsivhciconf /kernel/drv/scsi_vhci.conf
Setting up class: preserve /kernel/drv/sgen.conf
Setting up class: preserve /kernel/drv/st.conf
Setting up class: manifest /var/svc/manifest/system/dumpadm.xml
Setting up class: manifest /var/svc/manifest/system/fmd.xml
Setting up class: manifest /var/svc/manifest/system/intrd.xml
Setting up class: manifest /var/svc/manifest/system/scheduler.xml

(Reading database ... 38271 files and directories currently installed.)
Preparing to replace sunwiscsitr 5.11.104-7 (using .../sunwiscsitr_5.11.104-8_solaris-i386.deb) ...
Unpacking replacement sunwiscsitr ...
Preparing to replace binutils 2.16.1cvs20060117-1nexenta3 (using .../binutils_2.18.1~cvs20080103-1nexenta1_solaris-i386.deb) ...
Unpacking replacement binutils ...
Preparing to replace nlm-com 2.1.2-1 (using .../nlm-com_2.2.2-1_solaris-i386.deb) ...
Unpacking replacement nlm-com ...
Preparing to replace nms-dev 2.2.0-8 (using .../nms-dev_2.2.2-1_all.deb) ...
Unpacking replacement nms-dev ...
Preparing to replace nmc 2.2.0-7 (using .../nmc_2.2.2-1_solaris-i386.deb) ...
Unpacking replacement nmc ...
Preparing to replace nms-delorean 1.0-3 (using .../nms-delorean_1.1-1_solaris-i386.deb) ...
Unpacking replacement nms-delorean ...
Preparing to replace nmc-delorean 1.0-1 (using .../nmc-delorean_1.1_solaris-i386.deb) ...
Unpacking replacement nmc-delorean ...
Preparing to replace nmdtrace 0.7 (using .../nmdtrace_0.7_solaris-i386.deb) ...
Stopping NMDTRACE service... done
Waiting for NMDTRACE to shutdown... done
Unpacking replacement nmdtrace ...
Preparing to replace nms-vmdc 2.2-4 (using .../nms-vmdc_2.3-1_solaris-i386.deb) ...
Unpacking replacement nms-vmdc ...
Preparing to replace nms-vmdc-driver-esx 2.2-2 (using .../nms-vmdc-driver-esx_2.3_solaris-i386.deb) ...
Unpacking replacement nms-vmdc-driver-esx ...
Preparing to replace nms-vmdc-driver-xen 2.1-2 (using .../nms-vmdc-driver-xen_2.2_solaris-i386.deb) ...
Unpacking replacement nms-vmdc-driver-xen ...
Preparing to replace nmv-apiviewer 0.9 (using .../nmv-apiviewer_0.10_solaris-i386.deb) ...
Unpacking replacement nmv-apiviewer ...
Preparing to replace nmv-theme-iceweb 2.2.0-8 (using .../nmv-theme-iceweb_2.2.2-1_solaris-i386.deb) ...
Unpacking replacement nmv-theme-iceweb ...
Preparing to replace nmv-vmdc 2.2-4 (using .../nmv-vmdc_2.3-0_solaris-i386.deb) ...
Unpacking replacement nmv-vmdc ...
Setting up sunwiscsitr (5.11.104-8) ...
Reboot client to install driver.
Setting up class: manifest /var/svc/manifest/network/iscsi/iscsi-target.xml

Setting up binutils (2.18.1~cvs20080103-1nexenta1) ...

Setting up nlm-com (2.2.2-1) ...
Setting up nms-dev (2.2.2-1) ...
Setting up nmc (2.2.2-1) ...

Setting up nms-delorean (1.1-1) ...
Setting up nmc-delorean (1.1) ...
Setting up nmdtrace (0.7) ...
Starting NMDTRACE service... done
Waiting for NMDTRACE to come up... done

Setting up nms-vmdc (2.3-1) ...
Setting up nms-vmdc-driver-esx (2.3) ...
Setting up nms-vmdc-driver-xen (2.2) ...
Setting up nmv-apiviewer (0.10) ...
Setting up nmv-theme-iceweb (2.2.2-1) ...
Setting up nmv-vmdc (2.3-0) ...
Creating boot_archive for /tmp/upgrade-attempt.1831
updating /tmp/upgrade-attempt.1831/platform/i86pc/boot_archive
* * *
SYSTEM NOTICE

The first phase of upgrade has completed successfully:
- created Upgrade Checkpoint 'rootfs-nmu-005'
- the appliance is ready to reboot into this new checkpoint

+------------------------------------------------------------------+
| |
| At this point there are two options: |
| |
| - You can reboot now and make sure that system is healthy. |
| You will be prompted to activate the newly created |
| checkpoint after the reboot. |
| |
| - Or, you can simply continue using the appliance as is and |
| later activate this new checkpoint, and then reboot. |
| |
| See also: 'setup appliance checkpoint' |
| See also: 'setup appliance reboot' |
| |
+------------------------------------------------------------------+
Would you like to reboot now ? (y/n)
Operation in progress...[/more]

Добавлено:



Oleg_Kurilin
Извини, не видел. По-прежнему нужен отчёт?

ЗЗЫ. Никакой прокачанности для подхвата данных не требуется. Я когда писал, не знал ещё, что в нексенте есть фронтенды к команде zfs import - и в вебморде, и в management shell
А вот доступа к шеллу солярки я так и не получил. Но, похоже, он реально не нужен: все, что надо, реально абстрагировано в фронтендах.

Цитата:

триал Nexenta v 2.2,

LevT

так по моему 3.0 вышла

я покрутил - мне понравилась, на том же железе быстрее чем 2008R2 бегает.

напрягает немного что ключь генерить надо, но не сильно.

Триалка 3-я тоже вышла уже? Из коммунальной редакции нет доступа к плагинам (если это то же, что раньше называлось EVAL).

Добавлено:
ну и потом, мне нужен был положительный опыт продления триала. Я его получил, с 2.2 Все фичи после продления открыты, продлевает робот через мыло и повторное введение номера из вебморды даже проще чем начальное из CLI. Для запроса использовал старое мыло, в конечном результате никаких ограничений нет.


Добавлено:

Нексентовцы мудры )

А вот жадный старвинд черезчур поздно решился слить свое поделие в варез: хватило бы ума сделать это двумя-тремя годами раньше - лично я бы едва ли заинтересовался соляркой...


Добавлено:
Вообще, спасибо "интеллектуальным проприе"тарщикам (включая партнёров мелкософта и маркетоидов самой Корпорации): если бы не их гнусная медиа-активность и не слёты активации - едва ли я вообще когда-то посмотрел на никсы.
А теперь это уже навсегда, слишком много там интересного и полезного.

Цитата:

Триалка 3-я тоже вышла уже?

да, но я "коммунальную" использовать собрался - по мне так нормально.
на usb установку только вот не дождался пришлось мелкий IDE выделить

Dimsoft

А что, в 3 коммунальной таргет сразу комстаровский? В 2.2 он идет как плагин, а в EVAL старый юзерспейсовский.

Цитата:

в 3 коммунальной таргет сразу комстаровский?

LevT
а как узнать ? где посмотреть ?

Думаю, на офсайте где-нибудь должно быть написано, среди послаблений и благодеяний, вроде бесплатных 12Tб

Или смотреть список плагинов для коммерческой версии. Вот у меня в 2.2



Добавлено:

Ещё беда такая, что луны невозможно сконверировать между таргетами. Поскольку я сам никак не освобожу старые луны, у меня comstar-плагин не включён (хотя и установлен, как следует из картинки).

Ссылка в шапке на Openfiler 2.3 Administrator Guide умерла. Если у кого-то есть этот мануал - переложите пожалуйста.
Заранее спасибо.

Microsoft iSCSI Software Target (v3.2) на WinXP x64 SP2 работает?
После удаления проверки SKU оно ставится, и в DeviceMngr SCSI устройство появилось "WinTarget Local Mount Adapter", но пишет что неудалось инициализировать драйвер.

Может что другое рабочее поставить на XP можно?

gp7
LocalMounter это не таргет, а клиентский драйвер, локально монтирующий образы.
Новичкам лучше его даже и не ставить, чтобы лишний раз не путаться.

2ROM9
Как бы на бухте есть - http://thepiratebay.org/search/openfiler/0/99/0