» Локальная сеть со скоростью больше Гигабита.

iliuxa
скорее так .. драйвера сетевух не умеют работать с такими скоростями.
а дальше можеш параллелить задачи, через задницу...

я бы в гугл пошел. на тему 3d рендеринг. скорее всего там будет проблеск., не факт.

как сконвертили Аватара. ?

varbasik
не понял на счет сетевух - каждая в отдельности спокойно работает на 1gbit
при объединении пакеты должны распараллеливаться на все карты по тому же принципу что харды работают в рейде. В описании стандарта IEEE 802.3ad сказано что помимо обеспечения отказоустойчивости он еще и увеличивает полосу пропускания, но при поддержке свитчем.
Карты не абы какие а серверовые, свитч управляемый.
Присвоение картам разных подсетей и ручное распараллеливание не подходит так как просто некому сидеть и в ручную копировать по сети каждый и 2-3 десятков файлов
Нужно так чтобы поставил всю пачку и она шустренько скопировалась.

iliuxa
Я уже сказал, делить пакеты плохо....рейд другое...совсем другой протокол и ты пишешь-читашь, а не передаешь на другой конец...Если делить пакеты приложением - то пожалуйста, если приложение поддерживает...Делить драйвером - плохо...
Много таких примеров, например, никто не будет на уровне драйвера разделять комманды по ядрам и если приложение умеет работать только с одни ядром оно с ним работать и будет.

IEEE 802.3ad - увеличивает производительность сервера, если к нему подключены два клиента...
Возьми умный свитч включи в него два порта от сервера используя LACP и включи два клиента и запусти копирование...каждый клиент получит гигабит, а сеть сервера будет нагружена на 2 гигабита.

Ручное разделение - самое простое в твоем случае. Достатчно задать серверу два ip в разных сетях.
На клиенте сделать две ссылки Сервер1 и Сервер2.
И копируя файлы половину файлов отпралять на первый сервер, вторую половину на второй..
Это не так сложно.

Я уже сказал из коммутаторов разбивать пакеты умеет только циска.
Из адаптеров это умеею HP, броадкомовские и может какие-то еще...у меня интел и они не умееют.
Если драйвер твоих поддерживает - пробуй, но это не рекомендуется даже там где поддерживается.

Кстати, если варез в продакшене не пугает, то твое сравнение с РЕЙД натолкнуло на еще одну мысль:
- ставишь на сервер iSCSI таргет например starwind http://forum.ru-board.com/topic.cgi?forum=35&topic=20301&start=280#lt
- на сервере и на клиенте настравиваешь адаптеры на две подсети
- цепляешься к диску с клиента по iSCSI используя виндовый iSCSI инициатор и его же MPIO (Multipathing) www.starwindsoftware.com/images/content/StarWind_MPIO.pdf
Кстати, на клинте инициатор можнго тоже от starwind попробовать (он должен также уметь Multipathing)
- дальше все файловые операции производишь не с шарой, а с этим диском подключенным по iSCSI

В данном случае пакеты будет делить как раз приложение (MPIO) поверх TCP/IP...

Данную проблему решать нужно организационно. Ну не решить это в лоб даже с экстра быстрым рейдом и оптикой. Сейчас с нашими нелинейщиками поговорил, как они решили. Всё оказалось проще простого. У них 6 десятков eSATA дисков 2ТБ. 5 штук с раскопированными футажами и другой инфой общего пользования, которые раз в неделю синхронизируются (в сервер втыкаются по субботам). Около 40 - всякого рода библиотеки (хранилище). Остальные винты - рабочий носитель на весь срок проекта. Т.е. пришла съемка, достали чистый винт воткнули в видеомагнитофон, оцифровали и поехало, до те пор пока материал не готов. После чего скидывается на ленту и винт форматируется. В нынешнее время 100Гб легче ногам отнести куда надо (в пределах длины локалки).

у меня сетевой рендер на Rhozet Carbon Coder - я разрулил пока так
На рендер агенте выделил одну сетевуху в другую подсеть и в карбоне указал чтобы общались именно по ней, а 2 сетевухи ( INTEL ET PCI-Exp) в тиминг LACP, все заработало и тимиг тоже видать ему не нравились встроенные сетевухи на матери. Мать SM X8DAL.
как будет время на втором компе сделаю тиминг из таких же сетевух - посмотрю как будет работать тиминг между 2мя компами.

добрый день
я использую два ДЛ180 Г6
1 Server
Windows Hyper-V server 2008 R2 (iscsi initiator )
raid 10 system file
raid 10 volume data
2 Server Windows Storage Server 2008 R2 Enterprise (iscsi target)
raid 1 volume -system
raid 10 volume data
в каждом по 2 сетевые карты NC362i настройки на двух серверах одинаковые

в настройка в HP v1910-48G
LInk aggregation mode (dynamic mode lacp)
Server 1 (port 1 and 2)
Server 2 (port 3 and 4)
в серверах через NCU созданы Network TEAM #1 модель аутоматик use (802,3ad)
NCU utilization Network TEAM #1 2GB\s (Tx rx)

при копировании файла 2 GB,10GB 30 Gb. между двумя серверами скорость 90-116MB\s

локально при копирование с диска на диск более 240MB\s
Скриншоты всех настроек и даные диагностики и свитча
http://narod.ru/disk/10669142001/FOR%20HP.7z.html

VEnZ0ja
Я уже писал:
По умолчанию агрегирование канала расчитано на соединение точка-многоточка...
Автоматический режим в выборе типа тимминга в NCU это оно и есть (точка-многоточка).
Это сделано для того, чтобы не дробить пакеты по разным адаптерам.

Напишите какие режимы тима присутсвуют в NCU?
Насколько помню, в NCU вместо автоматического можно поставить режим который вам нужен, правда там же указано, что это не рекомендуется и написано почему

Кстати, если канал используюется для скази трафика, то почему бы не использовать мультипассинг микрософтского iSCSI инициатора. По-моему это гораздо лучше... ИМХО

LanStateMap
В NCU выбор такой
Автоматически
802.3ad
Switch-Assisted Load Balancing (SLB)
Transmit load balancing (TLB) (устанавливается автоматом если нет возможности 802.3ad)
Network Fault Tolerant
через iscsi такие же результаты
пробовал два сервера напрямую соеденять четыре хвоста в тиме к друг другу. нет прироста в скорости те же 100мегайбайт примерно

Насчет HP точно что-то должно быть...мне не приснилось
Может версия дров или софта другая, а может только в дополнительном паке..копай в сторону режимов тима...

Насчет iSCSI тебе нужно:
- на сервере задать адаптерам ip в разных подсетях
- на клиенте задать адапатрам ip в тех же подсетях
- включить мультипассинг для iSCSI
- создать два поключения с клиента на сервер по iSCSI в разных подсетях

Подробная иструкция есть например у старвинда...У них все тоже только таргет их.
Исправил ссылку www.starwindsoftware.com/images/content/StarWind_MPIO.pdf

LanStateMap
Привет, сделал тиминг через ncu по iscsi с мультипасингом скоростьтак же 1г, в один коннект, нет решения чтоб при объеденении в тим использовать 2 Гб на точка точка?)

VEnZ0ja

Цитата:

нет решения чтоб при объеденении в тим использовать 2 Гб на точка точка?)

Нормальных я не нашел...

Сделай мультипассинг для скази трафика как я сказал:

Цитата:

Подробная иструкция есть например у старвинда...У них все тоже только таргет их.
www.starwindsoftware.com/images/content/StarWind_MPIO.pdf

это гарантированный вариант для любой конфигурации и с любыми свитчами и топологией.
Единственный недостаток - только для iscsi
ну и при большом кол-ве адаптеров много ip-шников заводить нужно...

народ, у когонить есть реально работающая технология в действии LACP 802.3ad
как написано тут:

Цитата:

Стандарт IEEE 802.3ad принят в 2000-ом году. Полное название — «802.3ad Link aggregation for parallel links».
Примером может служить сервер с 8 сетевыми 1000-мбитными карточками и свитч, объединяющий эти 8 каналов в один 8 гигабитный канал.
802.3ad намного дешевле, чем одна 10-гигабитная плата, но имеет ограничение — максимальная скорость 8 гигабит/сек.
Агрегация каналов позволяет постепенно увеличивать скорость каналов в системе без необходимости покупать разом дорогостоящие новые платы, более быстрые на порядок.
На практике часто возникает ситуация, что кабелей прокладывают больше, чем будет использоваться в ближайшее время. Это делается из-за того, что стоимость работ по прокладке кабеля намного больше, чем стоимость самого кабеля. Компании тем самым избегают платы за прокладку новых кабелей, если такая ситуация возникнет в будущем. Агрегация каналов может использовать эти каналы, увеличивая пропускную способность системы при небольшой стоимости.
Сетевые карты для скорости передачи данных в 10-гигабит/сек существуют, но пока что дороги и используются только для узкого круга задач. С агрегацией каналов можно создать сеть с пропускной способностью до 8-гигабит/сек, используя намного более дешевые 1-гигабитные коммутаторы.

плз подробно опишите и скрины если не сложно... если написано можно сделать значит както можно...


Добавлено:
у меня есть свитчи AT и proCurve поддерживающие эту технологию, но при моих экспериментах не получается скорость более 1Гбит.

мертвая штука изначально - если увас есть сервер, который способен выдать 8 гигабит, то уж на сетевушку 10-ти гигабитную как-то деньги найдутся.

golychev
если ты объединил (2 или 4 карточки по 802.3ad)
то 2 и 4 Гигабита будет не в один коннект, а по 1 Гигабиту каждому хосту кто просит от сервера данные.
допустим:
2 сетевые карточки подключили в 802.3ad, имеем агригацию LACP на свитче.
если 1 клиент качает то ему выдают 1 Гигабит, и нагрузка всего 50 % от 100
если в это же время подключается 2 клиент качать то тут и используется вторая сетевая в 1 гигабит. и в итоге имеет Утилизацию в 100 % тоесть 2 Гигабита
каждый из клиентом получает 1 Гигабит.
если 8 сетевых, по 1 Гигабиту , то общая пропускная будет 8 Гигабит для 8 клиентов по 1 Гигабиту каждому. качают 4 будет 4 Гигабита и 50 % утилизация

okVEnZ0ja
я понял, есть ли протокол, технология позволяющая сделать тим с суммой проускных способностей ее членов?

Добавлено:
при реализации точка точка конечно.

golychev
нет, не выгодно это ) производителям FC) и так далее)
физически реализовать можно но нет драйвера который бы разбивал на части и собирал на другом конце, с учетом проверки целостности) и тому подобное.

а FEC/GEC тоже как 802,3ад работает?

Добавлено:
цисковская которая

tankistua
10G конечно хорошо но очень дорого - только контроллер будет стоить почти как сам сервер,
а к контроллеру еще и свич соответствующий нужен, и провода и еще такие же контроллеры для других компов чтобы скорость точка-точка была высокая, а то точка-мультиточка можно и на 802,3ад сделать за более низкую цену

iliuxa

Цитата:

на одном HDD - это массив infortrend на 8 банок в RAID5 ( скорость 280\180 мбайт\с)
на втором массив из 24 банок в RAID6 ( скорость 800\700 мбайт\с).

Если не сложно раскрой конфиги пожалайста, а то скоро собирать рендер ферму, с нодами всё понятно, а вот управляющий/файлохранилище пока не понятно.

Буду премного благодарен.

zed3d
корпус SuperMicro на 24 HDD
материнка SuperMicro помоему X8DAL
2 проца 5530
8гб памяти
контроллер adaptec 52445
и 24 диска в RAID6 + 2 Hot Spare
но у меня ферма не большая - 3 компа
правда пришлось везде ставить win 2008 server
так как с сетью на 7 были проблемы

iliuxa
А что за диски? И какие траблы с сетью в Win7?

диски WD Green 2Tb
а траблы простые - после того как компы на 7 активно поработают с сетью, на их шары нельзя войти ни с одного компа с win xp и да же с win 2003, помогал только рестарт семерок.
Но вот что странно - между семерками все продолжало работать, перевел один комп на 2008,
так и он не смог до семерок достучаться - хотя сеть у меня простая, одноранговая, без домена, все в одной рабочей группе, все логины пароли совпадаю, права к физ папкам так же одинаково заданы.
После того как все перевел на 2008 больше проблем с сетью не было.

Недавно тестировал напрямую связь 2-х серверов HP DL370G6 и DL380G7 объединив в HP Network Team по 3 интерфейса 1 Гбит в каждом = 3Гбит, полный дуплекс. В обоих RAID 0 из 6 HDD, тестовый файл 21 ГБайт
Получил следующие результаты:
а) При автоматических настройках по умолчанию
1 инициирую копирование одного файла на 1-м сервере со второго на первый. Общая скорость 115МБайт идет по одному интерфейсу.
2 повторяю пункт 1, но сразу с двумя тестовыми файлами. Общая скорость 115МБайт идет по одному интерфейсу. На каждый поток приходиться по половине от общей скорости.
3 инициатор 1-й сервер. копирую один файл со второго на первый сервер и один файл с первого на второй. 115МБайт идет по одному интерфейсу в каждую сторону.
4 повторяю пункт 3, одновременно инициаторы 2 сервера. 1-й сервер занял на прием и отдачу 1-й интерфейс, второй сервер на прием занял 2-й интерфейс а на отдачу 3-й интерфейс. Общий поток получился в районе в 3 Гбита (по 1.5 в каждую сторону). Здесь наверно уже играло ограничение по скорости контроллера RAID или самого массива.
5 каждый сервер инициатор потока с первого сервера на второй. каждый поток по 115МБайт, и по своему интерфейсу. суммарная скорость около 2 Гб в одну сторону

б) при Team Type Selection выставленном в "автоматически" , включаю режим балансировки Round Robin (Packet order not guaranteed Load balances transmit IP packets among all team members. A packet is sent on one team member then the next packet is sent out on the next team member and so on. When the last team member is utilized, the rotation begins again.) .
Скорость копирования в один поток уменьшается до 3 МБайт !!!!

Возможно я что-то не так делал, но уж такой результат.

Выводы делайте сами

З.Ы. Сервера пока еще не в работе так что можно поэкспериментировать

raijob
да так оно и будет, суммарная утилизация в 3Гбит у тебя получиться если к 1 серверу будут подключены 3> тачки. но каждая тачка и получит по 1 Гбит.

c хабра
10 гигабитный линк дома?

varbasik

Цитата:

c хабра
10 гигабитный линк дома?

Сколько, сколько она стоит???
(Ушел выписывать денег на тест)

10gb карточка на медь будет стоить в районе 20кРуб.

LanStateMap

1. ставишь 2/4 головые Интел сетевые адаптеры на сервера и клиенты
(делаешь бонд - дрова даж под виндой умеют это делать, одна галочка в настройках сетевого адаптера)

к примеру:
Intel Ethernet Server Adapter I350-T2 - 140 евро каждый в среднем за 2 головы
Intel Ethernet Server Adapter I340-T4 - 280 евро каждый в среднем за 4 головы
(в комьютерах нужны будут PCI Express x4 порты)

на свиче делаешь транки по 2-4 порта на каждый ПК (тоже несложно пару галок в гуи свитча тыкнуть)
(дешево, практично, нажедно - придеться тянуть еще кабели (но они дешевые)

в такой схеме стоит учитывать что сервер обладая даже 4мя портами и транком со свитчом на 4 порта будет иметь запас прохода только для двух одновременно работающих клиентов
при этом подсистема дисков должна быть либо явно крутой, либо много ssd

2. покупаешь 10гигабит свитчи/ адаптеры
(стоимость ололо
адаптеры в европе от 600 евро, кабели, свитчи вообще молчу
персонаж который привел ссылку на хабр - пусть приведет стоимость свитча на эти линки
я просто не буду описывать почему нельзя делать кольцо
)
личное мнение - учитывая стоимость окупания сети, мое предложение брать первый вариант на 4-6 лет и потом ставить 10гб адаптеры которые к тому моменту сильно подешевеют

в такой схеме стоимость массива дисков на сервере будет еще более космической чем цена апгрейда сети

3. скорость 1гб должна и обязана достигать 110 Мегабайт в секунду. если такую скорость тест не показывают то у тебя что то не так с :
а) встроенная карта на сервере или на клиенте
б) плохой провод
с) свитч не очень (бывает редко)

---------------
не забываем про программную часть вопроса, если вы хотите скорость и пользуетесь шарами виндовса то вам нужен
Windows 2008 сервер и windows 7 как клиент
хп и 2003 не дадут вам скорости ни разу (даже гигабит на идеальных железках работать будет в половину мощности)
фтп протоколом можно замерить уже скорость самой аппаратуры (в качестве сервера нужно использовать ioftpd, клиент flashfxp)
serv-u скорость не даст

то есть для начало рекомендую Windows 2008 на виртуалку, Windows 7 на клиент и туда простую Intel сетевуху на гигабит (а не встроенную на мамке)

и делать тесты - сравнивать с тем что есть сейчас

Farch
К примеру, у меня есть как раз пара I340-T4.
И два сервера Win 2008R2.
И Коммутатор D-link DGS-1216T.

Не завелось на 4 гигабита...как я только их не крутил...может где-то недокрутил, бывает

Вы под win пробовали, то о чем пишите?
Если да, то с каким коммутатором и дайте скрины конфига интеловских дров.



Добавлено:
Да, тестирую jperf'ом

LanStateMap
google.com
там вапще все скрины есть!

http://www.intel.com/support/network/sb/cs-009747.htm
(под пингвина бонд сделать стократ проще - причем на любой адаптер а не только интел)

а вот тут: http://www.dlink.com/products/?pid=324
берешь мануал на свитч и читаешь читаешь (link aggregation он же trunk свитч поддерживает)