» SatMap

egor23

Цитата:

Для ускорени загрузки, как показалось, положительно сказывается кэширование DNS.

Хм.. интересно. И насколько существенен прирост в скорости?

Цитата:

Хм.. интересно. И насколько существенен прирост в скорости?

18 уровень (после каждого замера кэш SatMap затирался)
замер в течении 3мин
спутник 2.69тайла\сек DNS-кэш
спутник 1.69тайла\сек
гибрид 5.37тайла\сек DNS-кэш
гибрид 2.71тайла\сек

PS: в результате затираний кэша SatMap, под руку попался кэш в 3ГБ, обыдно.

egor23
Чуть ли не в два раза, получается.

Цитата:

под руку попался кэш в 3ГБ, обыдно.

Можно попытаться восстановить же, если он не был уже затерт на винте другими данными.

relictus

Цитата:

Чуть ли не в два раза, получается.

ещё выше разница будет в час-пик

egor23


Цитата:

Для ускорени загрузки, как показалось, положительно сказывается кэширование DNS.

А разве по дефолту DNS не кэшируется в WinXP?
Сейчас для эксперимента прописал IP Googl'а прямо в hosts.
При большом количестве мелких файлов может дать эффект.

Кстати визуально шустрее стало.

egor23

Цитата:

ещё выше разница будет в час-пик

Цитата:

А какие ты ему DNS прописываешь?

А я бы еще попросил популярного описания настройки DNS-кеша приминительно к SATMAP, какой файл чем создавать и куда класть. А может есть возможность автоматизировать это программой?

relictus все мои вздохи на прошлой неделе связаны с скачеством интерента и большими настройками реконекта до 120 сек. Сегодня я в этом убедился окончательно. Но подправить эту сторону все равно как-то нужно. Так как даже при относительно стабильном интеренетсоединенеии сообщение об успешно скаченных файлах на половине задания появляется в среднем через 5 -- 10 тыс тайлов.

Кстати, вариант мульти, которым вы поделились, при нормальном интеренете работает вполне прилично. Путем экспериментов с настройками пришел к тому, что ощущуения глюков программы возникают после 100 сек реконекта и это никак не связано работате ли один satmap или два параллельно.

И еще одна настоятельная просьба. Ситуацию опишу так. Появляется сообщение об успешно скаченных тайлах, а задние еще не выполнено. Если не менять границы выделения и просто заново нажать кнопку выполнить -- программа начинает думать. Такое впечатление, что она заново сравнивает наличие тайлов в кэше и на гугле, но не заменяет их в соответствии с заданием "не заменять" и докачивает 1 - 2 пропущенных тайлов. Если обрыв произошел на 500 тайлов, то процесс закачки возобновляется относительно быстро, а если на 1,5 - 3 тыс тайлов -- проходит достаточно много времени до возобновления закачки. За это время я чаще всего получаю новое сообщение об успешно выкаченном 1-2 тайле и обрыв. Хорошо бы эту функцию отключить, хотя бы при условии "не заменять".

Еще одно пожелание. Нельзя ли "Инструментарий" перенести (или совместить) в "Выделение" в раздел "скопировать". И сделать так, что бы, например, экспорт в SAS, осуществлялся не всего 19 уровня, а только выделенного квадрата. Думаю, что по этому же принципу можно сделать и импорт. Ну и конечно же очень хочется полигонного выделения.

Наконец рискну напомнить и об обещании посмотреть кэш GPSproga. Если надо переложу на более предпочтительные файлообменники.

egor23

Цитата:

спутник 2.69тайла\сек DNS-кэш
спутник 1.69тайла\сек

Чем вы измеряете скорость -- с секундомером в руках? Может предусмотреть в программе вариант спидометра, где-нибудь в нижнем поле, где координаты?

DNS кэширует файрвол Agnitum Outpost

egor23
А насколько эффективен такой способ? Не рискую испробовать, так как не знаю, как откатить назад.


Цитата:

В WinXP и Win2000 довольно эффективный DNS кэш, но вы можете еще более увеличить его производительность, если увеличите его размер.

Вы можете сделать это, если внесете следующие изменения в реестр:

****************Начало*****************
Windows Registry Editor Version 5.00

[HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Services\Dnscache\Parameters]
"CacheHashTableBucketSize"=dword:00000001
"CacheHashTableSize"=dword:00000180
"MaxCacheEntryTtlLimit"=dword:0000fa00
"MaxSOACacheEntryTtlLimit"=dword:0000012d

****************Конец******************

Создайте текстовый файл в блокноте, со строками между «Начало» и «Конец» и сохраните под именем dnscache.reg. Затем дважды щелкните на нем, чтобы добавить информацию в реестр.

relictus
Может все-таки подумаете над опцией - в случае бана вместо окошка запускать батник на реконнект и перезапускать закачку? А то постоянные баны уже надоедать стали.

relictus
Прошу прощения, сразу не заметил сообщение о депозите. Переложил сюда.

__http://rapidshare.com/files/207724053/GpsProga_cache.rar.html?killcode=9445327473207796827

и на всякий случай сюда

___http://ifolder.ru/10977058

Цитата:

но я невидел такого, чтобы SatMap прерывал закачку и выводил сообщение только об усешно скаченных тайлах.

сегодня увидел, в настройках не тот порт указал для прокси:

Цитата:

120136 тайлов поставлено на закачку,
0 - скачаны успешно,
0 - не удалось скачать

rex

Цитата:

А разве по дефолту DNS не кэшируется в WinXP?

кто его знает что там и как по-дефолту должно быть.

Цитата:

Сейчас для эксперимента прописал IP Googl'а прямо в hosts.

самый простой и доступный способ, главное чтобы IP не менялсиь часто.

netrebos

Цитата:

А я бы еще попросил популярного описания настройки DNS-кеша приминительно к SATMAP, какой файл чем создавать и куда класть. А может есть возможность автоматизировать это программой?

если файлик, то прописывайте в hosts (system32\drivers\etc\)
вот для спутника
72.14.221.103 maps.google.com
72.14.221.190 khm0.google.com
72.14.221.93 khm1.google.com
72.14.221.136 khm2.google.com
72.14.221.91 khm3.google.com
72.14.221.100 id.google.com

найдёте простую и бесплатную программку сообщите.

Цитата:

Чем вы измеряете скорость -- с секундомером в руках?

если есть секундомер можете с ним замерять
а так часов стандартных хватает - запускается закача, через, например, 3мин останавливается закачка, дальше считаете.

Цитата:

А насколько эффективен такой способ?

незнаю

relictus
кстати, про слонов, SatMap работает у меня через Proxomitron (ради лога запросов изначально), а как выясняется он делает свой вклад в скорость скачивания:
в hosts прописаны данные для спутника
18уровень спутник
SatMap 1.77тайла\сек
SatMap+прокси (Proxomitron) 3.23тайла\сек
фильтры в Proxomitron отключены

netrebos

Цитата:

Нельзя ли "Инструментарий" перенести (или совместить) в "Выделение" в раздел "скопировать". И сделать так, что бы, например, экспорт в SAS, осуществлялся не всего 19 уровня, а только выделенного квадрата. Думаю, что по этому же принципу можно сделать и импорт.

Совмещать не буду. Замена этого производится в два шага: 1) экспорт выделения в новый кэш SatMap, 2) экспорт уже из кэша п.1 того, чего надо, туда, куда надо.

Цитата:

Наконец рискну напомнить и об обещании посмотреть кэш GPSproga.

Скачал, посмотрел. Там такая мешанина в именах тайлов и папок, с наскоку понять не получилось. К сожалению, я с этой недели _очень_ занят по работе, времени на разгадывание нет

rex

Цитата:

постоянные баны уже надоедать стали.

Баны или все же каптчи?

relictus

Цитата:

Баны или все же каптчи?

Баны!
Вчера были сообщения "забанен".
Сегодня просто прекращает закачку после 1000-2000 тайлов.
Ни одной каптчи не получал.

relictus

Цитата:

я с этой недели _очень_ занят по работе, времени на разгадывание нет

Ну это и не горит за одну неделю. А вот к маю очень бы хотелось иметь продолжение гугля на КПК. Уж очень надоела возня с фотоснимками на OZI по большим площадям. Хочу оставить для OZI только пятикилометровый генштаб.


Цитата:

Совмещать не буду.

то же верно, как-то пропустил этот алгоритм.

egor23

Цитата:

сегодня увидел, в настройках не тот порт указал для прокси:

Да нет у меня прокси правильно выставлены, а дома их вообще нет. Тем не менее время от времени "SatMap прерывает закачку и выводит сообщение только об усешно скаченных тайлах". Частота их появления зависит от качества интернетсоединения -- у меня эта возникало и на 300 тайлах и 30 тыс. Например:

120136 тайлов поставлено на закачку,
5000 - скачаны успешно,
0 - не удалось скачать

Обрыв явно присходит из-за превышения обрыва связи над параметрами реконекта в настройках. Но если выставлять слишком большое значение реконекта, программа зависает и бывает не развисает без помощи диспетчера задач.

После повторного нажатия на "выпонить", если ничего больше не трогать, наступает заминка, продолжительность которой явно зависит от размера уже выкаченных тайлов. Например, при 10 тыс уже выкаченных тайлов заминка у меня достигала до 5 минут. При этом прогресс бар показывает, что программа считает кеш (синяя полоска медленно двигается вправо), но при этом горит надпись "Скачивается 1 т из...". Если же сдвинуть выделение -- закачка начинается мгновенно. В обоих случаях окно "инфо" исправно отражает информацию о состоянии кеша. Чего тогда считать программе?

relictus Так что же с этой паузой?

rex
netrebos
Чуть разгребусь с работой, поисправляю и паузы, и баны, и пр.

netrebos

Цитата:

При этом прогресс бар показывает, что программа считает кеш (синяя полоска медленно двигается вправо), но при этом горит надпись "Скачивается 1 т из...".

Очень похоже что в области выделения отсутствует часть тайлов на сервере гугла, поэтому SatMap пытается снова их оттуда получить и чем больше тайлов уже было скачано, тем больше осталось в этой области дыр(..404). Выяснить это можно промониторив обращения проги к гуглу с помощью например HTTP Debugger-а.

arger

Цитата:

Очень похоже что в области выделения отсутствует часть тайлов на сервере гугла,

Я бы согласился с этим утверждением, если бы то же самое не происходило бы и при выкачивании одного ландшафта. А там нет "дыр" на гугле.

Ну почему же? В 17-18-19 слое таких мест полно. Только что проверил и именно ландшафт.

arger

Цитата:

В 17-18-19 слое таких мест полно

Может я чего не знаю, но 17-18-19 слоев ландшафта, а так же 20-21-22 и т.д. нет даже по Вашингтону. Т.е. -- одна большая "дыра".

Небольшой баг с именованием файлов - пробую склеить фрагмент,
выбираю TIFF с привязкой "world with EPSG (*.prj)"
в окошке выбора имени сохраняемого файла пишу test.tif -
сохраняет два файла - test.prj с описанием проекции и test.tif в который записывает координаты привязки Если расширение не прописать то сохраняет нормально test.tiff test.prj и test.tfw

arger
Я ландшафта выше 16 слоя вообще не встречал, а вот снимки могут кончиться на 13-м уровне, а могут и до 21 быть в наличии, хотя читал, есть места и с большим разрешением, но пока не попадались.

Согласен, согласен. С ланшафтом не возился поэтому не знал. Просто высказал предположение почему у netrebos SatMap "задумывается". У меня подобная "задумчивость" на спутнике в 19 слое - обычное явление, но с помощью снифера понял в чем дело.

у меня версия .27 больше не сшивает .ecw, вообще. То есть, я иду в "Склеить", отмечаю все те же параметры, то и в "Скачать", процесс длится столько же (несколько минут), в результате получается .ecw примерно 1 мб (должен быть примерно 20-50 мб), oziexplorer показывает черный квадрат вместо карты. Вот снэпшот моих настроек:

http://www.dolnik.info/pics/badecw1.jpg

засада, сегодня хотели поехать на великах в неразведанный район

ещё показалось странным, что в Инфо не меняется число имеющихся тайлов, когда я выбираю Слой (я скачивал только Гибрид, то есть если я выбираю Спутник, то число должно обнуляться, а оно не обнуляется, ни по .Changed, ни по .LostFocus)

и еще, ошибка с размерами тайла не 256х256 (там был тайл 0х0) - она у меня все еще вылезает, что можно сделать? Не могу сшить большую карту из-за нее, так как битый тайл где-то в середине. Как можно локализовать битый тайл и стереть его?

...update: пошел обратно в Скачать, пометил вдобавок к гибриду еще и спутник, скачал. Пошел в Склеить, заказал Слой Гибрид, собрал .ecw. Только получился не Гибрид, а просто Спутник. Гибрида нету и в помине (я уверен, что там есть гибрид). А раньше получалось собрать гибрид. У меня крыша едет окончательно.

Добавлено:
> я уверен, что там есть гибрид

то есть для той местности, которую я качаю есть гибрид. А в ecw нет гибрида, хотя если верить SatMap, то он был скачан и находится в кеше. Все, извините за флуд, не буду больше писать сегодня.

relictus
ECW Сжатие: 0 Тип: Best

Exception ECWError in module SatMapGPS.exe at 0029EB4D.
An invalid parameter was used.

последние имя файла - подставляется полное имя (имя.расширение) вместо имя

netrebos

Цитата:

Да нет у меня прокси правильно выставлены, а дома их вообще нет.

это я к тому что проблема легко воспроизводима

Цитата:

После повторного нажатия на "выпонить", если ничего больше не трогать, наступает заминка, продолжительность которой явно зависит от размера уже выкаченных тайлов.

перебераются (проверяются) все тайлы с начала.

dolnick

Цитата:

я скачивал только Гибрид

гибрид без спутника не отображается

Цитата:

Только получился не Гибрид, а просто Спутник.

значит на гибридном слое ничего нет, просто прозрачные тайлы.

Цитата:

и еще, ошибка с размерами тайла не 256х256 (там был тайл 0х0) - она у меня все еще вылезает, что можно сделать?

локализуйте
уменьшаете выделение, ориентируясь "по месту ошибки" в прогресс баре склеивания.
обработка идёт сверху вниз \ слева направо.

messer20878

Цитата:

Небольшой баг с именованием файлов

egor23

Цитата:

ECW Сжатие: 0 Тип: Best

Исправлю в следующей версии.

dolnick
Проверил с аналогичными настройками - все склеивает как и положено. На скриншоте видно, что для склейки используется 18 уровень, а на нем может не быть слоя наложения (гибрида) вообще.

Цитата:

я уверен, что там есть гибрид... то есть для той местности, которую я качаю есть гибрид. А в ecw нет гибрида, хотя если верить SatMap, то он был скачан

А в других форматах изображения есть?
И еще, галка на "использовать координаты" специально стоит?

relictus

Цитата:

Исправлю в следующей версии

Добрый день. Хочу вам напомнить про версию multi. Я уже несколько дней как полностью перешел на нее. Интересная закономерность -- при работающих сразу 4-х multi система у меня работает более стабильно, чем при одном satmap. О эффекте преждевременного прерывания выкачивания с сообщениями об успешно выкаченных тайлах забыл. Каптчу просит ввести в основном только в начале задания на выкачивание. В результате за ночь гугл отдает до 160 -- 180 тыс тайлов без прерываний. Больше четырех за раз ставить не стал, что бы пощадить оперативку. На машине с 512 мб ОЗУ ей было явно трудно. На машине с 2 гб -- все ок. Выкачивать все тайлы в один и тот же кэш не рискнул -- каждый вариант multi работал в собственной папке с собственным кэшем. Так что следующую версию хотелось бы повторить и в исполнении multi.

Правда все успехи -- это про домашний интернеет. На работе труба полная -- в наш внутренний час пик даже на яндекс без обрывов не заберешься. Никак собственный системный оператор взялся за борьбу против выкачивания фильмов и я получаю баны от своих в пользу гугля. А программам типа FDM на такие обрывы наплевать.

netrebos

Цитата:

В результате за ночь гугл отдает до 160 -- 180 тыс тайлов без прерываний.

это спутник?

Добавлено:
сколько приходится на 1-ну копию SatMap выкаченных тайлов?
сколько ночь в часах?

netrebos

Цитата:

Так что следующую версию хотелось бы повторить и в исполнении multi.

Повторю, нет проблем. Но будет это не так скоро...

netrebos

Цитата:

Хочу вам напомнить про версию multi. Я уже несколько дней как полностью перешел на нее.

Это версия с каким номером?