» ZFS, использование и настройка

Кто-нибудь может начать здесь хавту по установке опенсоляры в ESX/i - в качестве стораджа для своего хоста?

Вот этот товарищ слишком круто для новичков забирает:
http://blog.laspina.ca/ubiquitous/provisioning_disaster_recovery_with_zfs

ктому же гайд предполагает неплохую готовую сетевую инфраструктуру под боком -а нужен пионерский вариант для "самовытягивания себя за шнурки" (bootstrapping).




Итак, первая цель: просто поставить таргет в виртуалку. Максимально функциональный, с нужным количеством интерфейсов. И со всеми тулзами, разумеется.

Следующая цель - сделать таргет минимальным без излишеств.



Добавлено:

Это я попытался накатить тулзы в свежеустановленного гостя 2009.6



Код: Stopping VMware Tools services in the virtual machine:
-n Guest operating system daemon:
-n done



Detected X.org version 7.4.3.

Unable to copy the source file
/usr/lib/vmware-tools/configurator/XOrg/7.4/vmware_drv.so to the destination
file /usr/X11/lib/modules/drivers/vmware_drv.so.

Execution aborted.

root@zfs:/tmp/vmware-tools-distrib#

LevT
а мне EON нравиться - как минимальный солярис, но я его кастомизировать не умею

ZFS - очень вкусная штука, убивец железных рейдов. По внутреннему устройству и идеологии она ближе всего к Netapp (в которых своя основанная на bsd проприетарная WAFL)

Но и ограничение аналогичное: расширить пул можно только целой "полкой" дисков. С 2006 г. ничего в этом смысле не изменилось - разве диски еще больше подросли и удельно подшевели.

Траблошут и восстановление данных: http://docs.sun.com/app/docs/doc/819-5461/gavwg?a=view


Добавлено:

Технические подробности: http://opensolaris.org/os/community/zfs/docs/zfs_last.pdf

Есть тут кто-нибудь опытный в деле scrub ?

Нипанимяю я логики в ругательствах zpool status...

Непонятно, нафига второй подряд скраб исправляет те же самые ошибки, которые только что "исправил" первый.


Добавлено:

Есть идея, что это те же софтбэды (где-то на форумах кто-то обмолвился...)
Можно ли их как-то убрать с дисков под zpool - чтобы глаза не мозолили?


Добавлено:

Это после третьего подряд скраба. А до того писало про второй диск DEGRADED... исправлено через clear


Код: root@zfs:~# zpool status -v temp
pool: temp
state: ONLINE
status: One or more devices has experienced an unrecoverable error. An
    attempt was made to correct the error. Applications are unaffected.
action: Determine if the device needs to be replaced, and clear the errors
    using 'zpool clear' or replace the device with 'zpool replace'.
see: http://www.sun.com/msg/ZFS-8000-9P
scrub: scrub completed after 0h11m with 0 errors on Mon Oct 5 00:07:24 2009
config:

    NAME STATE READ WRITE CKSUM
    temp ONLINE 0 0 0
     mirror ONLINE 0 0 0
     c10t0d0 ONLINE 0 0 0
     c10t1d0 ONLINE 0 0 12.1K 762M repaired

Создал тему по COMSTAR
http://forum.ru-board.com/topic.cgi?forum=65&topic=3627

Из Википедии
Limitations:

ZFS expects a disk cache flush command to commit cached data to media. Some virtualization software is configured by default to ignore cache flush commands, and some consumer-grade hardware 'lies' about actually executing the command as well. For example, VirtualBox can be, but is not by default configured to properly respect cache flushes (configuration would be using the procedure described in section 11.1.3 Responding to guest IDE flush requests of the Sun VirtualBox User Manual[26]); consumer grade USB disk enclosures are said to be particularly vulnerable to this problem. In the event of an outage or fault this can quite possibly lead to damage to the pool; as ZFS ships without any recovery tools (such as fsck or chdsk), this damage is currently almost irrecoverable [27]. Special pool recovery tools are ready for integration in Q4 2009 to overcome this robustness issue by restoring a pool to an older uberblock.

LevT
посмотрел сегодня (правда только со стороны web интерфейса ) на sun open storage 7000 (толстая моделька 60 Гб памяти, 4 проца, SAS стойка на 24 диска рядом)
внутри как бы опен солярис, а снаружи красота
из web можно все, вплоть до того, что лампочкой на определенном диске помигать.
аналитику сразу в онлайне показывает, кто и какие файлы использует и тд.

правда в руки не дали, буду искать

нашел ak-nas-2009-09-01-1-0-1-1-3-nd.pkg качну посмотрю

[more=нашел статью про это]
Подобной модели придерживается и Sun, выпустившая на базе Sun Open Storage линейку продуктов Sun Unified Storage 7000 (Amber Road) и Storage Server X4500 (Thumper). Это системы, основанные на серверах архитектуры x86 и открытом программном обеспечении с добавленной стоимостью в виде интеллектуальной составляющей Sun.

«Любой желающий может взять стандартный сервер, Open Solaris и получить весь функционал полноценной системы хранения данных. С одним небольшим условием — этот человек должен быть хорошим администратором Solaris и иметь немалый запас времени, – комментирует Аркадий Агапкин, специалист отдела систем хранения данных Sun Microsystems. – Sun Storage 7000 – это готовое решение с простым интуитивным интерфейсом. Удобство администрирования стоит тех денег, которые заложены в добавочную стоимость этой системы».[/more]

Добавлено:
нашел на сайте эмулятор под vmware если нам тайм бомбы нет - прикольно

Я тоже скачал эмулятор, завести не смог ни с первой, ни со второй попытки. Если преуспееешь, расскажи.

LevT

Цитата:

Если преуспееешь, расскажи

сумел
пока одни розовые сопли все шоколадно, там сразу 16 дисков, добросил еще 3 сами вошли в пул.

сейчас пытаюсь обновить версию на последнюю простую, не vmware

хитрость в настройке интерфейсов и нажатии "esc" и "1" одновременно (как нормальные люди нажимают например alt-A)

Добавлено:
поковырял - есть нехилая вероятность запустить без vmware
(там груб и я даже все в конфиге понял )

Добавлено:
при обновлении (загрузке файла) на 40% упал с ошибкой и больше не встал.
попробую с firefox-om, тк ie8 не очень понравился, только в режиме совместимости.

Добавлено:
http://slil.ru/28081056
там где пауза нажал esc-1

Добавлено:
нормально взял последнюю версию, только под vmware медленно крутиться (на буке проц слабоват)

Добавлено:
версия обновилась, но странные ошибки есть

после обновления объект потерял "сервер" - ругается на отсутствие и не делает LUN для iscsi

я тока думаю, что не следует валить в одну кучу. Есть:

- обзорная тема по коммерческим сторадж-процессорам
- тема по COMSTAR - одному из них. Если у тебя svcs -a | grep stmf показывает наличие присутствия, значит лучше идти обсуждать туда.
- эта тема по ZFS как таковой а не по iSCSI

LevT
так умрем темы плодить, тк open storage 7000 это еще одна отдельная вещь
в её "консоли" десяток команд и они свои, а не open solaris
но отпишусь в
Цитата:

обзорная тема по коммерческим сторадж-процессорам

Цитата:

в её "консоли" десяток команд и они свои

это фронтенд, подражание цисковским эплаенсам. vyatta роутер похожим образом сделана, и проч. разное.
Зайди рутом - скорее всего получишь доступ к нативным командам. Дырка к ним должна быть по-любому.

Цитата:

после обновления объект потерял "сервер" - ругается на отсутствие и не делает LUN для iscsi

что за обновление ты пытался проделать?

Добавлено:

хммм... действительно при заходе рутом доступа к нативному шеллу не даёт...
это не означает, что его там нет: просто спрятан как-то хитрее.

Цитата:

что за обновление ты пытался проделать?

LevT
на офсайте есть
демо старое и есть обновление для простого open storage 7000 (хотя в реадми написано, что и для эмулятора) ak-nas-2009-09-01-1-0-1-1-3-nd.pkg.gz
вот его и пытался ставить.

Dimsoft
а как ты его пытался ставить?

ЗЫ. Чтобы попасть в шелл надо набрать shell или confirm shell

Цитата:

а как ты его пытался ставить?

LevT
через web интерфейс, там есть где обновить

а вот как его перенести на реальный ПК пока не придумал

говорят, в соляре есть flash flar archive для клонирования системы.

где там обновление в вебморде - я в упор не вижу...
и откуда ты слил обновление тоже подскажи, пожалста

исходная страница http://www.sun.com/storage/disk_systems/unified_storage/
там есть http://www.sun.com/storage/disk_systems/unified_storage/features.jsp
и сам файлик https://cds.sun.com/is-bin/INTERSHOP.enfinity/WFS/CDS-CDS_SMI-Site/en_US/-/USD/ViewProductDetail-Start?ProductRef=SS7000SU-2009.Q3.0.0-OTH-G-F@CDS-CDS_SMI

обновление
Maintenance
System

нажимаем плюс
Available Updates

выбираем обновление ak-nas-2009-09-01-1-0-1-1-3-nd.pkg.gz
оно загружается
после появляется кнопка применить

тебе обновление хотя бы зааплоадить удалось? У меня заливка повисает то на 75%, то на 67%...

Цитата:

ебе обновление хотя бы зааплоадить удалось?

LevT
тут есть мега-чит
использовать firefox последний, я ie 8 пробовал, ниразу до 30% не загрузил.

использую 3.5.1

LevT
еще я понял не надо переключаться на другие приложения

виртуалке для успешной заливки попросу маловато дефолтного гектара рамы. Увеличил вдвое; залилось, обновляеца

Добавлено:

Обновление довольно серьезное: с ним обновился например таргет со старого iscsitgt на комстаровский iscsi/target и сервис stmf включился.


Добавлено:
реально другая система внутри (типа R2 для винды)
щас попробую начисто

1) распаковать виртуaлку
2) добавить памяти
3) стартовать и сразу же обновить
и только потом настраивать и играться.

Цитата:

щас попробую начисто

LevT
я пробовал - iscsi target перестал создавать
пишет дайте железку

Во-первых, таргет там неиллюзорно другой. Я бы не стал обновлять существующий конфиг, а только конфигурить заново.

Но у меня вообще-то до этого дело даже не доходит: после обновления системы любое конфигурирование стораджа приводит к битому загрузочному пулу, машинка просто отказывается грузиться. Один раз слетел даже груб, другой раз только груб в mbr и уцелел.

LevT
тоже самое - умирает

я задал вопрос представителю SUN
как сделать шаг от open solaris до open storage
пока нет ответа

Надо спрашивать конкретно.

Проблема вот в чём: после обновления вебморда радостно включает в конфигурацию стораджа системный диск в качестве 16-го Data Device - ну и тогось...
А до обновления она ведет себя в этом месте корректно (пишет, что Data Device-ов всего 15, и системный диск не трогает).

Какие могут быть способы поправить это поведение?

Добавлено:


Цитата:

я пробовал - iscsi target перестал создавать
пишет дайте железку

угумс...

у меня такого не пишет, но сухой остаток тот же:
http://forums.sun.com/thread.jspa?threadID=5408415

Собсно меня не затруднит и руками из CLI создать все что надо: но нужен образцовый образец.