» BitTorrent/BitComet/Azureus/BitTornado и др. / сеть и клиент

naos1515

Технически да, но только если бинарники совпадут. Иначе будет две копии с разной SHA-256, а этого факта достаточно для утверждения что копии хоть на один бит, но отличаются.

Victor_VG
Запуск двух торрентов с вышеописанной конфигурацией привёл к ошибке ввода-вывода на одном из торрентов. Клиент начал качать, используя два трекера, сид с торрента 1 раздавал быстрее, и клиент скачал 35%, загрузка с торрента 2 составила 21%. Информация о одинаковости файлов у меня из инфо о раздаче - указанное там количество байт одно и то же. Если, как вы говорите, технически возможно, то как клиент, используя два трекера и двух сидов для загрузки одного и того же файла синхронизирует то что он ими скачал?

naos1515

По хэшам. Они считаются по модифицированному алгоритму SHA-1, и если на обоих трекерах лежит один и тот же файл, то на одном который быстрее клиент скачает больше и перейдёт в режим сидирования для второго если там есть личеры, если нет он просто приостановит приём уже принятых данных. Ошибка I/O в такой ситуации это уже проблема вашей локальной машины где произошёл сбой.

Molt

Моё давнее недоумение о превышении оператором скоростей стало мне ясно из вашего поста. А Victor_VG ответил как-то невнятно

naos1515

Читайте спецификации протокола BT - The BitTorrent Enhancement Proposal Process. Все ответы там.

Victor_VG
Я в языках не силён, ниасилю техническую документацию за разумное время. Просто заметил, что иногда один и тот же файл(судя по количеству байт этого файла в инфо раздач) лежит на разных трекерах, но торрент-файлы разные. Я думал что DHT или PEX объединят сидов с разных трекеров в их желании раздать. Однако с Кинозала нужный фильм скачивался 200 Кб/с, с Рутора 0-2 Мб/с, то есть при загрузке посредством торрента Кинозала сид с Рутора не приходил, и наоборот.

naos1515

У каждого трекера своя система регистрации, это раз, да и тот факт что размер файлов совпадёт не гарантирует нам что они внутри одинаковые. А если (это настройка есть к примеру в qBittorrent) у одного пользователя включено "Резервировать место для файлов на диске" и он отключил опцию "Добавлять к незавершённым файлам расширение .~qt", а у второго лежит реальный файл, то размер и имя у них будет одинаковы, а начинка пока первый (у него в нулевой момент времени в файле мусор) не получит все данные разная. И если вы как независимый наблюдатель будете видеть только одну их характеристику - размер, то сказать одинаковы файлы или нет не сможете т.к. вам не хватит для этого ключевой информации - результатов их сравнения.

Вот роль инструмента для сравнения и выполняет контрольная сумма, она же хеш - клиент её получает от сидера когда тот начинает передачу очередного блока данных и принимает за эталон, а после получения каждого блока данных пересчитывает его хэш и сравнивает с эталонном. Пересылка хэша (несколько байт) по сравнению с блоком данных (десятки килобайт) почти не влияет на общую скорость обмена данными, хотя и занимает некоторый квант времени. И именно так клиент и видит всё он получил целым или нет, а поскольку блоки физически не велики, то и хэш для них считается быстро, и коли блок цел, то мы пишем на его место в файле. Повреждённые блоки будут переданы повторно до тех пор, пока не придут без ошибок. Ну а те блоки которых у нас нет будут в списке на получение, и когда мы его исчерпаем если все блоки пришли целыми то всё, данные получены, проверяем что всё своих местах и рапортуем.

Victor_VG
http://rutracker.org/forum/viewtopic.php?p=67428145#67428145 ))

naos1515

И??? У меня там нет регистрации раз, да и Р2Р трафик при скорости >50 Мб/с наглухо вешает мой роутер вырубая мне инет (х.з. что именно в нём отказало, но после этого его приходится вручную перезапускать...) так что я пока не его не починю вообще торрент-клиент не запускаю - надоело бегать и резет на нём жать благо те же FTP/WebDAV/SCP/HTTP и их разновидности работают без проблем. Будет время починим или заменю на другую коробку, а пока пусть работает.

Цитата:

а и Р2Р трафик при скорости >50 Мб/с наглухо вешает мой роутер вырубая мне инет

Да, качать где-то 5 МБ/с ещё можно рискнуть, а больше - может лечь.

Victor_VG
раскатал я губу, короче...

Цитата:

раскатал я губу, короче...

Два клиента могут одновременно раздавать один и тот же файл, но не скачивать один и тот же файл в одно и тоже место - клиенты физически не могут распознать, какие части файла уже скачаны, каждый клиент увидит что файл был изменен и будет бить ошибку.

Данная задача решается немного иначе при условии идентичности* раздач - в клиенте прописывается анонсеры всех необходимых трекеров. Utorrent это делает автоматом при добавлении раздач.

*Разные имена файлов, структура папок не подходит под определение идентичных раздач.

Цитата:

Тема такая. Сейчас у меня стоит 20 Мегабит FTTB интернет Ростелеком. В данный момент он находится в финансовой блокировке - скорость обрезана до 64 кбит/с(так заявлено). Однако, к примеру этот файл у меня клиентом uTorrent скачивается на полной скорости - некий сид отдаёт мне... Также засёк я ещё один торрент, что тоже скачиваю на полной. Поставил фильм на загрузку - часов через 10 скачалось мегов 300, и вдруг - качается на полной, но остановилось на 80%, вместе с ним на загрузке был ещё один - скачался на 30%. Почему так бывает? Кстати эти 64 килобит/с действуют не всегда - например онлайн-радио больше этой скорости не играет, а файлик скачать многопоточной или просто файрфоксом может и на 200-300 килобит/с...

Была такая тема. Поднимал тунель, который маскирует траффик под битторрент и запускал через него почти любой TCP трафик.

Цитата:

20 Мегабит FTTB интернет Ростелеком

Трафик внутри сети может не подпадать под это ограничение?
Скачивание торрентом - это же постоянное дерганье диска. Если винт не обладает большой скоростью записи (относительно случайной), то на большой скорости инета (20-40 Мбит/сек) пойдет закачка в кеш оперативы. После загрузки в неё всех скачанных кусков торрента возникнет надпись "сброс на диск" (наверное так).

Victorkoly
клиент qbittorrent эфффективно организует взаимодействие кэша оперативы и сброса на диск, хоть 100 мегабит загрузка, но чем больше скорость загрузки, тем больше надо оперативы.

Добавлено:
Victor_VG
Я скачал фильм с Рутора, затем этот фильм поставил на раздачу в Кинозал и NNM. У всех этих трекеров на этот фильм сделаны разные торрент файлы, и у меня его начали качать Кинозаловские и NNMные личеры(у них там с сидерами на эту раздачу напряг, а на Руторе лень им поискать...), и скачали. Это говорит о том, что хэш раздачи в этих трёх торрент-файлах идентичен, и если бы я скачал все три раздачи под разными именами и проверил их хеши, то они был бы одинаковы. Я проверял клиент Qbittorrent - запустил два торрент-файла с разных трекеров, в них был один и тот же хеш раздачи, и если бы клиент синхронизировал загрузку с обоих трекеров, то часть кусков загрузил бы с Кинозала, а часть с Рутора, фильм бы скачался в два раза быстрее, а так - через 10 минут загрузки чего-то там клиент показал I/O error и остановил закачку с Кинозала, продолжив не останавливая, с Рутора. Не знаю куда и чего там он с Кинозала качал - вроде в тот же файл что и Рутор.

naos1515

Сверка идёт по SHA-1 в торрент-файле. А его листинг примерно такой:


Цитата:

{
announce: http://tracker.documentfoundation.org:6969/announce
announce-list: [
[
http://tracker.documentfoundation.org:6969/announce
]
]
comment: LibreOffice_4.3.6_Win_x86.msi
created by: MirrorBrain/2.18.1
creation date: 1423492850
info: {
length: 226095104
md5sum: f1d28996fd8bb8fe6adea0f6e5c2adb6
name: LibreOffice_4.3.6_Win_x86.msi
piece length: 262144
pieces: [binary data (17260 bytes)]
sha1: ����*���1��|���
sha256: k�*6�XA=V��o6��l�QG��|�gq��|D0
}
sources: [
http://ru.mirror.theideahosting.com/libreoffice/libreoffice/stable/4.3.6/win/x86/LibreOffice_4.3.6_Win_x86.msi
http://libreoffice-mirror.rbc.ru/pub/libreoffice/libreoffice/stable/4.3.6/win/x86/LibreOffice_4.3.6_Win_x86.msi
]
url-list: [
http://ru.mirror.theideahosting.com/libreoffice/libreoffice/stable/4.3.6/win/x86/LibreOffice_4.3.6_Win_x86.msi
http://libreoffice-mirror.rbc.ru/pub/libreoffice/libreoffice/stable/4.3.6/win/x86/LibreOffice_4.3.6_Win_x86.msi
]
}

Клиент rTorrent через некоторое время после запуска перестает раздавать. Вначале идет раздача, в списке Peer list видны 1 - 2 пира. Но через 5 - 6 часов после начала работы список становится пустым, раздача не идет. На сколько я понял, помогает перезапуск rTorrent, иногда перезапуск сервера. После перезапуска сразу появляются пиры и идет раздача.
Установлен на VPS под Ubuntu, запущен в screen. Содержание .rtorrent.rc [more=следующее]
Содержание .rtorrent.rc:

ip = указан ip адрес
min_peers = 1
max_peers = 1000
download_rate = 0
upload_rate = 0
directory = /root/dl/
session = /root/sn/
schedule = watch_directory,5,5,load_start=/root/tr/*.torrent
port_range = 6886-6886
port_random = no
check_hash = yes
session_save = yes
encryption = allow_incoming,enable_retry,prefer_plaintext
use_udp_trackers = yes
dht = auto
dht_port = 6883
encoding_list = UTF-8[/more]
Подскажите, пожалуйста, в чем может быть проблема? В каком направлении следует искать решение?

Раздача файла с SD HC карты и с HDD по скорости одинакова? HDD SATA2, SD USB 2.0

Таки пришёл пир из сети Ростелекома и скачал файлы с флехи на скорости 100 Мегабит. IOPS наверно хорош - я кэш ОС отключил, чтобы RAM не забивал.

Не жалко карту?

Vanfear
нет, но чё ей будет? Это же чтение.

naos1515

Основная разница между просто SD и SD HC только в разводке контактов, по скорости ни одна не сравнится даже с работающим по USB 2.0 IDE 2.5" выпуска 95 = 99-годов и новее - у них скорость чтения на USB 2.0 15 - 18 Мб/с, а у SD HC класс 10 даже в USB 3.0 кард ридере я выше 20 - 25 Мб/с не видел, через USB 2.0 - 10 - 12 Мб/с, а если тот же винт включить например к PCI Bus Master IDE порту то и у старых HDD скорость чтения не падала ниже 30 - 35 Мб/с. А коли HDD сидит на SATA любой версии, то он работает на своей полной скорости, сегодня для 2.5" накопителей это 70 - 110 Мб/с.

И какой тут смысл во флешке? Как кстати и в "гибридных" HDD где магнитный диск кэшируется SSD, а "надёжность" последних столь велика! У той же SunDisk есть серия встраиваемых SATA SSD iSSD - чип размером 20х18х1,4 мм с BGA ногами на подложке впаиваемый в плату. И она приводит его наработку на отказ в такой форме:

Цитата:

SunDisk iSSD 1100 (SanDisk iSSD SDIS5BK 024G)

LDE: долгосрочная сохранность данных:

Примечание:

Приблизительные данные, основанные на собственном показателе SanDisk,
характеризующем, сколько данных может быть записано на твердотельный
накопитель за весь срок его службы, в терабайтах записи (TBW). Данные
записываются блоками типичного размера с постоянной интенсивностью на
протяжении всего срока службы накопителя и хранятся как минимум 1 год по
достижении порога TBW. По результатам внутренних измерений SanDisk,
типичный пользователь компьютера-клиента записывает 4 ГБ в день.

(LDE: долгосрочная сохранность данных): 4 ГБ (2,5 TBW), 8 ГБ (5 TBW), 16 ГБ
(10 TBW), 24 ГБ (15 TBW), 32 ГБ (20 TBW), 64 ГБ (40 TBW), 128 ГБ (80 TBW)

Максимальное число циклов перезаписи накопителя посчитать не трудно TBW/ёмкость = 640 циклов. А коли сей чип впаян в системную плату как у ASUS Zeenbook UX32VD? Как раз у друга в ноуте именно сей чип и сдох - выработал ресурс и привет. Машина грузится .. если захочет стартовать то минут по двадцать SSD не выходит на готовность по шине, со сбоями и паникой ядра по несколько раз в день. Журнал ошибок оси забит "Контроллер обнаружил ошибку диска ...." - других сообщений там просто не видно. Зато модно.

Уж лучше бы эту энергию (и денежки) направили на массовое производство ЦМД накопителей у которых одна техническая сложность - многофазная система управления передвижением доменов, а по скорости чтения/записи они флешке не уступят, а по надёжности превзойдут их на десятки порядков. Я видел 16х4 Мбит микросборку на ЦМД ещё в 84-м и уже тогда её скорость чтения записи составляла 80/90 Мбайт/с. Правда их тогда изготавливали поштучно - это был опытный образец, а посему они и стоили дорого, но при массовом производстве их цена будет соизмерима с ценой HDD равного объёма, но хозяевам фирм делающих SSD это не выгодно - они тогда разорятся.

Victor_VG
смысл в раздаче с SDHC карты? Так как выяснилось, что скорость отдачи небольшого количества файлов с карты такая же как на винте(это на канале 100 Мбит), то разгружаю винт - на моём ноуте датчик температуры винта показывал при раздаче 45-46 градусов, а теперь раздаёт SD карта, а температура винта упала до 37-40 градусов. Пишут всякие личности, что температура до 40 для винта предпочтительнее. Если раздавать с моего винта без кеширования ОС, то торрент-клиент пишет иногда что "диск перегружен" и раздача прекращается, если включить кэш, RAM заполняется и тормозит мою работу на компе. Я кэш отключил, перенёс файлы раздачи на SD, epic win!

naos1515

Реально температура HDD желательно конечно ниже чтобы меньше грелись подшипники и обмотка шпинделя, а в вашем случае можно и с карты отдавать - всё равно она читает быстрее чем может пропустить 100 Мбит/с канал, тут она как источник применима.

Можно с RAM раздавать, если объём небольшой в несколько гб.
Но в таком случае придётся иметь копию на диске. Хлопотно немного, зато пальцы веером

Vanfear

Зато масло масленное Это из той же серии как и "Создайте в ОЗУ RAMDisk максимального размера и поместите на него файл подкачки - скорость работы Windows резко возрастёт!"© - у друг вычитал в "гениальном" описании очередного коммерческого "эпохального чудо-ускорителя всего и вся для вашей Windows" обещавшего доверчивым Буратино златые горы, понятно что апосля оплаты и регистрации поделия, и сразу сообразил что тут какой-то подвох - "А это правда? Я поставлю а оно будет работать?".

Ну да)
Я имел ввиду, что при наличии лишней RAM в системе можно её приспособить и для раздачи даже на гигабитах при максимальной скорости

Vanfear

А смысл? Тот же Constellation ES.2 - средняя скорость отдачи 114 Мб/с, хватит для 1 Гбит/с и без буферизации. Устроит:



и это при том, что измерения проходили в семёрке запущенной на Tru64 UNIX в VirtualBox 4.3, а в лоб цифры чуть выше будут. - серверный винт для СУБД, 8 параллельных потоков чтения/записи.

Список из 3 трекеров, которые можно добавлять в "магнитные" торренты для увеличения количества пиров:

http://bt.nnm-club.me:2710/announce

udp://tracker.openbittorrent.com:80/announce

udp://tracker.openbittorrent.com:80

http://retracker.krs-ix.ru/announce

http://bt.nnm-club.info:2710/announce

подскажите, пожалуйста:
были скачки света и теперь Bittorrent показывает красный значок статуса, т.е. проблема с портом и мало раздаёт. В исключениях Винды есть, на модеме Zyxel660 открыты "All ports". На всякий случай добавил ещё порт 42541
сначала решил: запустил ipconfig и уведил, что сменился ip компа на модеме с 192.168.1.33 на 34 - поэтому правила и не срабатывали
но теперь опять не работает. Пробывал оба ip, а также прописал его на сетевухе вместо динамической раздачи