» Локальная сеть со скоростью больше Гигабита.

Столкнулся с проблемой, гигабита стало категорически не хватать.
Кто сталкивался с увеличением скорости сети? Как достичь?
Краем уха слышал об агрегации канала. Может кто-нибудь подсказать как это с чем едят?
Какие конкретно железки нужны? Куды бечь покупать в Питере?

Оптика? Какие варианты есть с ней? Спец карты в рабочие станции, спец свитчи - какие сколько стоят?

Заранее спасибо.

Я бы начал с анализа сетевого траффика с последующим отсечением бродкастов и проиритезацией оставшихся пакетов. Можно поделить сеть на сегменты и только ядро сети перевести на 10Гб, врядли для раб станций надо более гигабита и тем более дорогая оптика.

Дело в том что нужно перетаскивать большие объёмы информации (исходники видео) постоянно туда\сюда + возможность работы с материалом по сети.
Потому даже отсеяв всё лишнее получается мало. Т.е. стоит вопрос об увеличении скорости минимум раза в 2-3...

В принципе скорость в 1Гб (~80Мб/c) это предел для обычного HDD на раб станции, даже если сеть будет 10ГбЕ, скорость копирования по сети может не возрасти. При редактирование материала непосредсвенно на сервере что-то будет свопиться на локальный диск, что тоже будет упираться в скорость диска.
Если на раб станциях и серверах уже есть RAID>1, тогда можно попробовать поставить 2-3 сетевухи (или 2х-4х портовые) и настроить агрегацию. Если у Вас манагед свичи, то скорее всего они уже имеют такую возможность, надо просто её настроить и включить.

http://ru.wikipedia.org/wiki/%D0%90%D0%B3%D1%80%D0%B5%D0%B3%D0%B0%D1%86%D0%B8%D1%8F_%D0%BA%D0%B0%D0%BD%D0%B0%D0%BB%D0%BE%D0%B2

Вот как раз raid и будет на машинах: либо 0. либо 5.
Вопрос в том какое железо купить... рассказов много вокруг да около, но конкретную модель сетевых карт и свитча НИКТО мне так и не сказал.

Если есть какие-то конкретные предложения, буду признателен.

http://www.thg.ru/network/gigabit_ethernet/index.html

неплохая статья - даже не смотря на ее почтенный возраст.

За статью спасибо, но скорости нонче уже не те, сейчас SATA не 1,5 Гбит/с, а уже 3 Гбит/с, а то и 6 Гбит/с.
Так что RAID 0 или RAID 5 на дисках Western Digital RE4, 7200rpm, 64Mb, WD2003FYYS
слопает гигабитную сеть на раз.

Так что какие железки нужны для агрегации каналов? Если б в 2 раза увеличить скорость было бы уже хорошо.

Не совсем в тему, но немного поправлю ТС
Скорость 6Гбит/с это конечно круто, но ведь это скорость канала, а не физического чтения/ записи. А если райд 5 встроенный в материнку то он не тянет прироста скорости 2х. У самого 2 винчестера (WD Black 320Гб/пластину) в рейд 0 (домашний комп) и то показатели биферизированое чтение не более 210Мб/с, запись не более 130Мб/с. а если чтение/запись не буферизированые (непоследовательные) то 50/30 Мб/с. Если использовать указанные вами диски то скорость может быть выше, но не более 300/160 Мб/с (линейно) 70/50 Мб/с (случайно). Да и встроеная сетевая при потоке 1 ГБит/с стабильно 3 процесора из 4 сьедает на 100%. Так что советую ещё раз задасться вопросом целесообразности сети более 1Гбит.

Напишу совсем не в тему. Задумайся о виртуализации десктопов - может решить большую часть твоих проблем.

zed3d

Цитата:

За статью спасибо, но скорости нонче уже не те, сейчас SATA не 1,5 Гбит/с, а уже 3 Гбит/с, а то и 6 Гбит/с.
Так что RAID 0 или RAID 5 на дисках Western Digital RE4, 7200rpm, 64Mb, WD2003FYYS
слопает гигабитную сеть на раз.

ты не понял основного смысла статьи - эти все цифры не больше, чем маркетинг.

вот мой винт:
[ 1.219219] ata3.00: ATA-8: SAMSUNG HD103SJ, 1AJ100E4, max UDMA/133

просто в инете нашел тест.
http://www.thg.ru/storage/hdd_big_capacity_2010/hdd_big_capacity_2010-03.html

Скорость записи потоковой соствляет 75,9 мегабай в секунду. И это с винта на винт, а ведь пакет надо запаковать и отправить по сети - я бы еще процентов 20-30 откинул. Итого теоретическая результирующая скорость составляет около 400 мегабит, ну пусть 500.

Мне вот очень интересно, почему выбор стоит между рейдом нулевым и пятым. Если говорить о производительности, то быстрее нулевого наврядли что-то можно придумать. Если же нужна еще и надежность какая никакая, то десятку уж, но никак не пятерку, пятерка медленная весьма.

Цитата:

Столкнулся с проблемой, гигабита стало категорически не хватать.
Кто сталкивался с увеличением скорости сети? Как достичь?
Краем уха слышал об агрегации канала. Может кто-нибудь подсказать как это с чем едят?
Какие конкретно железки нужны? Куды бечь покупать в Питере?

Оптика? Какие варианты есть с ней? Спец карты в рабочие станции, спец свитчи - какие сколько стоят?

А какова конечная цель? Профиль работы и количество раб станций, где это необходимо?

как сказали выше, больше гигабита в последней миле - не потянут носители информации..
конечно можно затариться твердотельными накопителями, на круг подобного рода рабочие станции, способные переварить больше гигабита - за 10 евро будет стоить, если еще и работа с видео нужна и большие объемы данных.

Я бы на вашем месте гуглил не аспирин унять головную боль, а обратился к врачу и вылечил суть проблемы.

Поищите в гугле, как подобного рода организации работают и как все у них устроено, или здесь же задайте вопрос.

Цитата:

почему выбор стоит между рейдом нулевым и пятым.

Ну тут вопрос пока в воздухе висит, какой конкретно рэйд будет выясним испытаниями в поле.

Цитата:

Задумайся о виртуализации десктопов

Для рендера и нелинейного монтажа не подходит совсем.

Цитата:

А если райд 5 встроенный в материнку

Я не собираюсь строить рэйд на строенном контроллере, сейчас как раз подбираю рэйд-контроллер правильный.

Цитата:

Да и встроеная сетевая при потоке 1 ГБит/с

Опять мимо, для агрегации канала нужна другая карточка, вопрос в том какая.

Цитата:

ты не понял основного смысла статьи

Я прекрасно понял смысл.

Боюсь вы меня не правильно поняли, у меня стоит вопроса о том целесообразно это или нет.
Дисковая подсистема будет работать так как положено.
Вопрос в том КАК УВЕЛИЧИТЬ ПРОПУСКНУЮ СПОСОБНОСТЬ СЕТИ.

Разговаривая про диски мы отдаляемся от темы. Оптика да, скорее всего совсем не то, ибо дорого неимоверно.

А вот агрегация самое оно.
Кто сталкивался? Кто делал такое? Какое железо использовали?

Ну я делал. Свич HP Procurve 1800-24G, по паре портов посадил на tagging. На серверах встроенный dual Broadcom и серверный intel Pro1000, вроде это был PT dual-port.
Побаловался и бросил, т.к. аппаратный serveraid 8k выдавал около 100Mb/s на 3x 15к sas дисках в raid5, что вполне хватало и для одного нормального серверного адаптера с аппаратным подсчетом контрольных сумм и включенными jumbo frames.

А какая сейчас у вас скорость копирования?

zed3d
ни делал на сетевых картах, а вам именно так нужно.
коммутаторы тут вряд ли помогут. зачем быстрые интерфейсы на коммутатарах, если все упрется в сетевую карту?
а значит и оптика вам по определению не нужна.

на виртуальной машине сетевой интерфейс 10 Гигов только упрется все в скорость рейда или в диски.

пару десятков гигов взять с хранилища , обработать, положить результат в хранилище.
клево.
знакомый видео оператор был озабочен параллельной обработкой видео, кажется такое решаемо, и выигрыш по времени существенней.
на этом же компе обрабатывать и хранить сорсы ни как? еснно без виртуалок. сорсы, чтобы не ждать, копировать ночью-вечером-утром.

Цитата:

А какая сейчас у вас скорость копирования?

Доступа к машинам на данный момент не имею. Но знаю что там с дисковой системой:
RIAD 0 на строенном в материнку контроллера на 2х дисках Western Digital Caviar Black, 7200rpm, 32Mb, WD1001FALS.

Планируется сделать RAID 0 или 0+1 на Adaptec Serial ATA II RAID 1430SA и дисках Western Digital RE4, 7200rpm, 64Mb, WD2003FYYS (на 2х или 4х соответственно)


Цитата:

на виртуальной машине сетевой интерфейс 10 Гигов

Не совсем понимаю что в данном случае виртуальная машина.

Цитата:

на этом же компе обрабатывать и хранить

ну если бы всё делалось на одной машине то да. Но когда их 5 и монтаж на одной, пост на другой ещё что-то на третей, то материал по сети гоняется только так.

Соответственно и хочется это дело как-то ускорить и дисковую подсистему довести и сеть. И если с дисковой всё достаточно просто, если медленно работает - меняем контроллеры и диски.
То с сетью не понятно.

zed3d
ставите сервер 2003, заточка сервера под работу с видео. покоцать сервер до пользовательской винды.
пускаете пользователей в терминальном режиме.
т.е. все с дохлых тачек (дохлые из-за сетевых интерфейсов и дисков, тачки то скорее очень хорошие, в привычных мерках) работают на одной быстрой. копировать обходимость отпадает, а если нужно, то копируется в пределах одного рейда.
на будущем сервере нужно проапгрейдить память, процессор, мамку, блок питания. короче весь сервер.
за железо, по деньгам рублей 120 и выше. сами лучше не беритесь. берите готовый сервак.
может так оказаться, что мамка держит i3, но после перепрошивки,. а прошить вы сможите под 775 процем.
т.е. вы в надежде сыканомить закажите мамку, скорее всего начального уровня, тыщ за 10
и пару крутых процев за 50... ну и .. не запустите сервак ,потому что мамка еще не понимает процев. и понимает она только после перепрошивки, есннно под старым процем. а об этом ни слова на сайте производителя. (я об новой прошивке)


Цитата:

Цитата:
на виртуальной машине сетевой интерфейс 10 Гигов

Не совсем понимаю что в данном случае виртуальная машина.

это шутка. интерфейс быстрый ,но скорость работы HDD низкая.

Добавлено:

Цитата:

Планируется сделать RAID 0 или 0+1 на Adaptec Serial ATA II RAID 1430SA и дисках Western Digital RE4, 7200rpm, 64Mb, WD2003FYYS (на 2х или 4х соответственно)

примерно 150 МБ - смысл огород городить, рейд не быстрый. даже не спорьте. в реальности так.
к сожалению ни как вы не обойдете медленный рейд. даже более быстрый рейд, примерно 300МБ. будет стоить четыре раза дороже
а выше однако и нет в пределах досягаемости руками.
замеры по копированию файла 1 гиг ,с кэшем в рейде 512 Мб - не принимайте в рассчет.

Цитата:

пускаете пользователей в терминальном режиме.

Это смешно! Вы представляете себе хотя бы 2х монтажёров на таком "сервере"? Что будет если 2 проекта на рендер?
Короче это не вариант.

А что с RAIDами совсем всё плохо? Быть того не может!

хоть десять, если все упруться в самый слабый элемент. а самый слабый это HDD - SSD
нынешние процы и память вывозят, и очень хорошо, с диким запасом. диски(рэйд, хдд, ссд - как ни обзови, - дисковая система)
не вывозят.

.. специально пару параллельных рендерингов не делал.
делал рендеринг+sql+три виртуалки.
загрузка проца 50%.
память, тут сложнее, я все отдал sql и виртуалкам. как там делилось я не заморачивался.
но по сравнению с локальной машиной пережал очень быстро.

так что мысль из опыта.
сервак, если что за 90 рублей.

столкнулся с подобной проблемой - гигабитной сети не хватает когда приходится оперировать файлами по 100гиг,
есть 2 компа оба на серверовых материнках с 2мя ксеонами
на одном HDD - это массив infortrend на 8 банок в RAID5 ( скорость 280\180 мбайт\с)
на втором массив из 24 банок в RAID6 ( скорость 800\700 мбайт\с).
между ними организован сетевой рендер, так вот узким местом стала сеть с ее 110 мбайт\с
тоесть она выдает далеко не все на что способен первый комп.
Проштудировал инет на тему nic teaming, port trunking - понял так что можно объединить несколько карт в одну для увеличения канала. Самое простое что смог проверить это на интеловых картах Teaming. Все условия соблел - свитч поддерживает IEEE 802.3ad static и dynamic - HP 1810-24G. Объединил карты (две гиговые на матери SM X8DAL) и двухпортовая интеловая карта PCI-Exp в тиминг Link Aggregation 802.3ad dynamic, создалась виртуальная карта в Team с линком в 4гб. Тоже самое сделано на втором компе, но только с 2мя картами.
Дрова от intel 16 версии
Прироста скорости не увидел, копирование по сети идет со скоростью 100-110мб, хотя на компе с 4 картами массив из 24 дисков, на втором массив из 8 дисков.
в статистике свитча вижу что только один порт в транке гоняет трафик, а остальные чуть дернуться и все.
Что я сделал не правильно? Где хотя бы удвоение скорости сети?


Добавлено:
переходить на оптику слишком дорого

может стоит решать вопрос не в лоб, а подумать как можно отказаться от копирования файла по сети?
ну например работать на этой станции, тогда не придется гонять кучу данных по сетке.

Добавлено:

Цитата:

переходить на оптику слишком дорого

нету ручек - нету яблочка

в моем случае это не вариант

1 комп это монтажка с небольшим рейдом, на этом компе постоянно идет работа с магнитофоном - вгон выгон и просто нет возможности его занять еще и конвертацией в разные форматы
2. комп с большим массивом работает в качестве NAS + рендер в разные форматы, а то что отконвертировано складывается на его рейде. Далее материал постоянно переписывается на внешние харды или DVD и отдается в разные места.
Поэтому нужна сетка которая прокачивала хотя бы 300 мбайт\с
Оптика не вариант - начальство не даст денег на нее.
А чем плох вариант с IEEE 802.3ad? - ведь скорее всего я что то не так делаю, потому что когда я делал teaming без поддержки свитчем, то был прирост скорости на прием

Неужели ни у кого нет положительного опыта объединения сетевых карт под виндой для увеличения пропускной скорости?

в данном случае решение влоб - не вариант, потому как особого выиграша не дает - в 2 раза это беспонту, потому как очень скоро и этого не будет хватать. Обратите внимание на эволюцию езернета:
10 мегабит, 100, 1000, 10000 - никаких других, ибо имеет смысл только на порядок.


Цитата:

Поэтому нужна сетка которая прокачивала хотя бы 300 мбайт\с

с такими потоками данных вы вплотную приближаетесь с физическим возможностям интерфейсов - вариантов нет, либо вы избавляетесть от медленного эзернета, либо работаете как есть и не парите себе мозг.

вот в статье неплохо расписано
http://interocitor.livejournal.com/20322.html

З.Ы. и мне из нее понятно, почему не получила распространение данная технология.
З.Ы.Ы. я не понял чем Вам поможет оптика.

оптика Fiber Channel дает на канал 4gbit - но с ней своей мороки полно, и по деньгам просто не рентабельно городить FC между пары компов.

эту статью прочел первым делом
в свойствах коммутатора заявлена поддержка IEEE 802.3ad, сетевые карты от интела, драйвер скачан и установлен, тиминг настроен на Dynamic 802.3ad - но балансировки не происходит ни по входящему ни по исходящему трафику. В принципе если одна карта дает
как минимум 100-115 мег\с то в полне реально что 3 карты могут выдать 300мег\с , но вот кто виноват в том что трафик не балансируется на все карты не могу понять.

iliuxa
я бы поступил как технарь.
кто виноват что нужной скорости нет?
свич
сетевушки
драйвера

первый шаг. на время эксперимента притащить второй комп поближе к первому, законнектить их напрямую.
тест

далее, драйвера .. надо подумать .. что то вроде копирования через localhost.

как тестировать софт (драйвера).. не могу красивого решения сказать. есть длинное, не уверен что правильно.

идея интересная, только как соединить 4 сетевухи одного компа с двумя другого?
тем более что IEEE 802.3ad работает только при поддержке свитчем.

etherchannel

http://en.wikipedia.org/wiki/EtherChannel

Это при условии, что я не читал только шапку и несколько строк первого поста.

ilgizzzz
я в своих постах, какраз и писал что все подключено по данной технологии, но load balancing не происходит

etherchannel - это цисковская технология..
все остальное - IEEE 802.3ad



Добавлено:
ilgizzzz
из твоей ссылки
EtherChannel vs IEEE 802.3ad
EtherChannel Supports different packet distribution modes.    
IEEE 802.3ad Supports only standard distribution mode.

Насколько знаю, все что не циско поддерживает балансировку только в режиме точка-мультиточка
Т.е. соединения с одним клиентом всегда идет по одному физ.адаптеру соответсвенно 1гбит.

Попробуйте подключиться еще одним клиентом и нагрузка ляжет на два адаптера и в сумме будет два гигабита.

Проблема в разбиении пакетов и отправке их на разные адаптеры (кабели)...такой режим не рекомендуется, так как возможна ситуация, когда пакеты придут не в той последовательности, что повлечет за собой проблемы.

В любом случае нужен драйвер (либо виртуальный драйвер), который будет дробить информацию на куски на одном конце и собирать на другом и это не IEEE 802.3ad

ИМХО

Добавлено:
iliuxa
В твоем случае, если перекачивается одновременно несколько файлов, то можешь их гнать по разным линкам...для это ни коммутатора с LA, ни тимминга не нужно.

Назначь каждому адаптеру адреса в разной подсети и раздели задания по ним сам.