» [Варез-путеводитель] Коммерческие iSCSI таргеты

iSCSI таргеты

Обзор технологии в википедии

Подробности на XGU.ru (wiki)

Здесь будут:

Обзоры, обсуждения, сравнения и выбор софтварных роутеров систем хранения. Точно так же, как и в случае с роутерами (из чьей темы была слямзена эта шапка) хранилка - не более чем софт, чаще всего никсовый, собранный на базе опенсорса. До 2008 года такого типа софт продавался только вместе с "серверным" железом, часто позапозапрошлого поколения (иные именитые вендоры систем хранения умудрялись использовать для своих мультикилобаксовых кастрированных поделок аж XP Embedded... на процессоре класса PIII)

Недавно ситуация изменилась: вендоры никсовых сборок стали распространять готовые настроенные виртуальные машинки. Эти продукты можно крутить на современных мощных матерях, не исключая широкодоступные десктопные варианты. Притом - мощи у такой матери остаётся неизрасходованной вагон, так что предполагается возможность её совместного использования с другими виртуальными машинами. В основе никсовых коммерческих сборок лежат опенсорсные таргеты, с функционалом опенсорсных Volume Managers под ними. Стремительно набирает популярность ZFS - опенсорсная ФС с функционалом рейд-массива и диспетчера томов. В соляре также прилагается COMSTAR - сторадж-процессор, абстрагирующий разные типы SAN.

iSCSI - вариант SAN (сеть хранения, с блочным доступом к данным), использующий распространённое сетевое железо. Иногда iSCSI прикручивают для увеличения потребительской ценности к изначально файловым хранилкам типа NAS.

МS тоже прикрутила iSCSI к своему WSS, обозвала его WUDSS и продаёт исключительно OEM-сборщикам серверов. Её таргет основан на купленном ею шароварном продукте WinTarget. Под винду имеется ещё некоторое количество платных таргетов.


Функция хранилки - виртуализация доступа к данным. Ближайший аналог - плата "железного" рейд-контроллера, который прикидывается для своего клиента (локальной операционной системы или "железного" гипервизора виртуальных машин) набором жестких дисков. Реальные харды контроллер прячет и передаёт дальше взятое от них дисковое пространство, добавив к нему некоторый уровень отказоустойчивости. Сетевая хранилка предоставляет аналогичный сервис для соседних компов в SAN. Её клиенты могут вовсе не иметь локальных жестких дисков, а сама она может быть клиентом других хранилок и-или своих локальных "железных" рейдов.

Каков смысл в виртуализации хранения данных? А тот же, какой вообще в клиент-серверной и трехзвенной IT-архитектуре; изоляция проблем клиента и разнообразных сервисов, масштабируемость, брокерство (промежуточный уровень между клиентом и сервером) с добавлением дополнительных сервисов. Собранная на самом обычном пользовательском железе софтовая хранилка может предоставлять своим клиентам изощрённый функционал (высокая доступность, CDP, снапшоты, дедупликация...), изначально связывавшийся с безумно дорогим серверным оборудованием. За добавленный функционал, а также за более чем минимальный совокупный объем виртуализованного дискового пространства вендоры обычно хотят денег... но даже так накручивают существенно меньше, чем вендоры серверного оборудования с тем же самым софтом внутри.

Название

Особенности

Топики

ОС

Статус

Скриншот

Возможности

Склонировал IpStor - тот, который NSS Virtual Appliance - на физический саташный диск (подцепив тот к виртуалке через RDM) с целью вытащить виртуалку на физическое железо.

На виртуальном железе запускается, на физическом (ICH7 ahci) не хочет: не находит рутовый раздел и вываливается в busybox

Видимо, надо добавить или включить ahci драйвер. Как это сделать? Виртуалка основана на CentOS 2.6.18-53

Даже если система и поднимется, оно все равно работать на сате не будет, т.к. сам IpStor понимает только взрослые HBA(SCSI, FC), хотя может я чего-то и недоглядел...
И кстати в варезнике была ссылка на диск востановления некого вендова который продает IpStor в составе железок, так вот от туда его куда проще ставить чем перенос Virtual Appliance на железо.


Цитата:

(иные именитые вендоры систем хранения умудрялись использовать для своих мультикилобаксовых кастрированных поделок аж XP Embedded... на процессоре класса PIII)

Дык этот PIII там, как правило, крутит вебсервер для веб-морды с управлением, мониторит работу контроллеров и алярмы на мыло рассылает "если чо не то". А сами контролееры в таких машинах автономны, так что более крутой проц там и ненужен собсно.

Ты не оговорился? Неужто только HBA? Я рассчитываю, что он подхватит один из моих LSI рейдов (типа megaraid_sas). Идея в том, чтобы отдать под хранилку физический пень, который не жалко. Просто в целях самодисциплины: надоела дурная бесконечность виртуализации (хранилка на рдм под вмваре, на виртуализованном ею сторадже ещё один виртуальный ESX и т.д...) хочется уже нормально работать, а не играться.


А о том вендоре я уже думал: там всё-таки существенно более старая версия. Или ты знаешь о существовании более поздних дисков восстановления?

И нет ли нормальных пдф доков по ипстору? Как я погляжу, в инете рабросан сплошной маркетинговый булшит...

Например, мне интересны бестпрактисы по части использовать ли фичи железного рейда под ипстором. А то там тоже можно навиртуализовать по самое небалуй... Вижу два противоположных варианта:

1) отдать ипстору единственный железный лун RAID10, про рейд фичи ипстора забыть.
2) настругать по железному луну на каждый физический диск - и дать все их ипстору на растерзание.

LevT
А почему именно коммерческие?
Как насчет ZFS в качестве таргета?
http://blogs.sun.com/storage/entry/running_zfs_over_ru

PhoenixUA
Ага, NexentaStor - это оно, там как раз ZFS внутрях.


Цитата:

А почему именно коммерческие?

Потому что нужен сводный указатель, где можно было бы сравнивать варианты готовых софтинок с учётом их варезной доступности. Точнее, в данный момент - заострить внимание на недоступности почти всего.

А ZFS как самостоятельный конструктор достойна отдельной темы. Да и openiscsi (iet) тоже. Но ничего сравнимого с ипстором большинству из нас за разумное время руками не собрать, даже начерно для себя любимого... Тем, может быть, единицам-гениям, кто на такое способны, здесь в этой теме делать нечего.

Сам сервер-таргет это полуфабрикат. Интересна обвязка добавленной функциональности (насчет того, что в ZFS обвязка отчасти присутствует изначально - но по-своему-, я в курсе). Даже старвинд виндовый при всей своей попсовости далеко не только таргет. И пока также несломан...



Добавлено:
PhoenixUA
Кстати, что за зверь такой COMSTAR?
http://opensolaris.org/os/project/comstar/

Вот это похоже именно сюда в тему, хотя и не коммерческое.


Добавлено:
alex sikorsky

Цитата:

И кстати в варезнике была ссылка на диск востановления некого вендова который продает IpStor в составе железок,

уже не продаёт, обанкротился и накрылся:
http://www.infoworld.com/t/tech-support/grassroots-forum-orphaned-mpc-customers-803?source=fssr

Добавлено:

вот так-то покупать саппорт:
http://www.infoworld.com/d/adventures-in-it/are-you-mpc-refugee-718

alex sikorsky

Цитата:

хотя может я чего-то и недоглядел...

Недоглядел, достаточно любой карты, драйвер которой отдаст системе SCSI интерфейс.
Из удачного опыта: контроллер Tekram TR-824, который на Silicon Image.
По идее и AHCI должен пойти, но надо встроить его драйвера в загрузочный рам-диск (build initrd). Но это теоретически, сам эту операцию не делал, но над аналогичными операциями наблюдал со стороны.

LevT
Можно его тоже добавить, как-нибудь надо будет потестить.
Есть еще EON на том же солярисе - EON NAS.

Ага, вот тут и проявляется недостаток готовых кем-то собранных машинок: поди разберись, как их подправить, поставить вебмин на солярку и т.д. Хочу предложить по порядку ведения именно этой темы: здесь обсуждать, выбирать и подбирать именно эталонный функционал, с учётом его доступности. То есть вместо рекламы каких-то уникальных коммерческих фич просто заостряем внимание на нерешённости варезного вопроса.


Пока что кандидат в эталон - ипстор. Здесь в этой теме имеет смысл вопрос "как в COMSTAR (или скажем в EON NAS) называется фича TimeMark/CDP (или, там, HotZone, или Near-Line Mirror и т.п.) " Кстати, повторяю свою просьбу выложить нормальные пдфы к ипстору. Сам располагаю образами от MPC; там и доки есть, но старые, и без тех фич, что в их продукте были зарезаны.

Если выясняется, что такой фичи не предусмотрено - то для вопросов о том, как её сделать руками, создаём отдельную тему. Может быть, даже по фиче, а не по конкретному продукту. (Причём мне кажется, что даже по продуктам такого рода темы надо создавать именно в сисадминистрировании, а не в "программах" - но это пускай модераторы скажут). Если фича в продукте предусмотрена, но платная - то с вопросами о варезных ключиках, естественно, в Варезник.

А здесь только общие вопросы, которые не укладываются в этот прокрустов классификатор. Исключение может быть сделано только для эталона - а можно и не делать исключения, чтобы избежать хуливора. Но терминологию для фич надо как-то сравнивать и приводить рекламные названия к общему знаменателю. Потому выбор эталонной базы для сранения именно в этой теме технически неизбежен.


Добавлено:
alex sikorsky

Цитата:

Дык этот PIII там, как правило, крутит вебсервер для веб-морды с управлением, мониторит работу контроллеров и алярмы на мыло рассылает "если чо не то". А сами контролееры в таких машинах автономны

То есть там локальные для хранилки обычные "железные" рейды - а за бешеные бабки продавался PIII с управляющим этими рейдами серверным софтом?

Или там рейды с какими-то уникальными фичами, недоступными иначе, кроме как в сборке именно этого вендора?

Вы забыли про всякие NAS серверы. Точно имеют в своем составе iSCSI Target такие продукты как FreeNAS, OpenFiler. Второй как раз под варез попадает.

LevT

Цитата:

Кстати, повторяю свою просьбу выложить нормальные пдфы к ипстору.

Более свежие но не более полные есть в NSSVA, но тебе наверно хочется большего?
К сожалению более полной документации я не встречал, были у разных вендоров (даже у SUN), но все они производные от уже известных.

В качестве начала разговора могу предположить некий список фич, которые присутствуют а IPstor-е:
NAS
FailOver
High Availability
Network Config
Software Upgrade (про это хотелось бы заострить, но возможно только в сентябре)
Sync Mirror
ASync Mirror
Replication Remote
Replication local
Adaptive Replication
Snapcopy
Direct Devices
TimeMark by Delta
hosted backup
multiPath IO

Возможно что-то из этого списка только номинально определение технологии, и никаким образом не реализовано в IPstor-е (с таким сталкивался), но большую часть мне удалось пощюпать.

Цитата:

Недоглядел, достаточно любой карты, драйвер которой отдаст системе SCSI интерфейс.

Значит буду искать время посмотреть повнимательнее.


Цитата:

То есть там локальные для хранилки обычные "железные" рейды - а за бешеные бабки продавался PIII с управляющим этими рейдами серверным софтом? Или там рейды с какими-то уникальными фичами, недоступными иначе, кроме как в сборке именно этого вендора?

Не так давно заглядывал в недра контроллера от HP MCA 2000fc. На входе 12 SAS + внешний порт, на выходе 4Gbit FC, посредине проц с гигом кеша и прочей обвязкой. В голове стоит пара таких контролеров - работают в режиме active-active кластер. То есть в целом, да железный рейд, а вот насколько обычный это другой вопрос, про завести это на другом железе, по понятным причинам, речь вобще не идет.
Вперчтления по работе - конфигурится просто и заявленный функционал отрабатывает. Правда после общения с машинами от NetApp, функционал кажется весьма примитивным...

Цитата:

Второй как раз под варез попадает.

Неужели я отстал от жизни, и OpenFiler стал коммерческим?

В этой теме более чем уместно обсуждение например того вопроса, как прикрутить к нему или к FreeNAS "уникальную" рекламируемую фичу очередного коммерческого продукта. Но все-таки именно к ним, а не к голому IET.

И если какая-то фича пользуется устойчивым спросом - то для неё надо создавать рядом свою обзорную тему и давать ссылку здесь. Например, чистый NAS-функционал (файловый доступ по протоколам NFS и CIFS, теперь вроде уже и AFS куда-то прикрутили...) - явный кандидат в отдельную тему. А дедупликация - в ещё более другую тему, вне зависимости от того, чем занимались реализующие её сейчас продукты в девичестве и как они позиционируются сейчас.


А под варез скорее попадает NetApp - которая также раздаёт свой OnTap в виде виртуалки, но только своим уже зарегистрированным клиентам. Кстати, у меня где-то валялся образ полуторагодовой что ли давности... (утечку они сами тогда организовали). Могу поискать - но сам для пробовать предпочту свежак.

Ещё у меня есть EMC Celerra в виде дистра, годовой примерно давности. Ключей к ней нет.

Никто леворуких не пробовал?

виртуалка:

http://h30279.www3.hp.com/downloads/VSA_VMware_ESX_for_SAN_iQ_8.1_OVF_Format_AT004_10007.zip?ordernumber=420955726&itemid=1&downloadid=54402727&merchantId=SW_DEPOT

виндовая управлялка:

http://h30279.www3.hp.com/downloads/CMC_MS_Windows_for_SAN_iQ_8.1_AT004_10004.exe?ordernumber=420955732&itemid=1&downloadid=54402733&merchantId=SW_DEPOT&dummy=file.exe

(Если ссылки перестанут действовать - можно зарегаться c левым адресом и сразу качать)


Застрял, не могу сконфигурить RAID.

Кетайский аналог StarWind под винду, плюс пара дополнительных прог
http://www.kernsafe.com/Products.aspx

Лекарства так же нет.


-----

ВНИМАНИЕ! Вопиющий нерешённый (!!!!!!!) вопрос - виртуализация сырого тома или диска вистой или 2008 R2 сервером. Именно сырого тома, а не файла vhd (на что только способен мелкомягкий таргет)

У меня вся домашняя инфра из-за этого стоит без развития уже несколько месяцев... Подскажите, кто может! Ну жалко мне ставить на современное железо ипстор (к тому же, в устаревшей инкарнации от MPC).

LevT
а starwind который платный ?

он недоломан.

дискбридж не работает кажется вовсе. Обычные имаджфайл надо каждый раз вручную пересоздавать.

LevT
я в теме по нему писал - можно долго триал юзать - проверяет только на старте время =>
ставил запуск вручную и батником сначала время назад, старт и возврат времени.

Добавлено:
скачал
en_windows_storage_server_2008_iscsi_cd_x64_x86_x15-49563.iso с технета
подредактировал msi с помощью orca
пробую на windows 7 поставить

установилась хорошо, так как серийников не спрашивала думаю будет жить вечно

мс таргет хорошо, но сырой диск не умеет шарить, только vhd

с батником - попробую



Добавлено:

ты на четвёрке пробовал, или только на 3.5?

LevT
на 3.х которой не помню

старвинд проверить собираюсь... Но покамест единственный рабочий способ расшарить сырой диск 2008 сервера (по крайней мере R2) это виртуализация Hyper-V

Надо диск хоста вывести в офлайн, тогда он становится доступен для цепляния к гостю - который будет таргетом. Тот же самый трюк с вмваре воркстанцией 6.5.2 иногда срабатывает, но чаще нет... в зависимости от сочетания созвездий.

LevT
Есть вот такая интересная табличка сравнения - на сайте старвинда такой не увидел, хотя она ихняя.

Честно говоря эту таблицу делал я сам (приятно видеть её в сети, хотя источник слива мы найдём). Какая именно функциональность вас интересует? )

prymara
Интересует та же самая картинка в нормальном качестве: перерисовывать лень.




Добавлено:
ну, или в текстовом виде - так даже лучше.

В ПМ почту плиз.

Зачем в ПМ? Картинка уже в общем доступе, только в скверном качестве: надо приглядываться.

Возьмите да выложите исходник: это условие недостаточное для того, чтобы вашему дружелюбию к сообществу тут поверили, но абсолютно необходимое.

А я лично в личных отношениях с вами не нуждаюсь.

Хм, тоже правильный вариант. Ссылка на Scribd устроит?

Если качество будет лучше, чем то что имеется сейчас - то сойдет.


Идеал же я вижу так:

Исходник можно будет поместить в шапку (со ссылкой на вас или Вас, как угодно).
Но и корректироваться он будет, по мере поступления новой инфы.

обойдёмся ссылкой на компанию (то есть вас ). ссылка вот - http://www.mediafire.com/?mkiwq03wwly

В этой таблице не вся информация верна. В частности продукты Nimbus MySAN и iSCSI Cake Beta Version не поддерживают Mirroring and Replication как обозначено в таблице.....

З.Ы. Проверенно сегодня .... лично.....