» SatMap

Цитата:

тайлы от этого кэша не выгружаются

это из-за Внутреннего кэша, пока не перезапишутся, не исчезнут.

Добавлено:
rex

Цитата:

Выделение - Скопировать

но процесс займёт уйму времени

relictus
Выделение - Скопировать
сейчас чего-то не работает, выдаёт ошибку

Цитата:

Cannot perform this operation on a closed database.

Цитата:

2. Серое - на maps.google.com показывает картинки со сжатием t=2

t=2 это не сжатие, а тип. т.е.
t=1 - карта
t=2 - снимок
t=3 - гибрид
t=5 - ландшафт
а качество задается в % в параметре q=

хотя выбрана опция "при наличии файлов в кэше - не заменять" (т.е. не скачивать), программа каждый раз пытается что-то делать с уже скачанными файлами, т.е. горит "скачивается 1 тайл из 29440", прогресс-бар ползет, виден интернет трафик, и так до получаса, и только потом начинают скачиваться еще не скачанные тайлы, зачем это?

kalbaska

Цитата:

Если relictus подскажет что именно не так...

Посмотрю и подскажу только во вторник.

Цитата:

И еще вопрос/баг:

Поэкспериментируй с параметром сжатия.

egor23

Цитата:

осталась непонятка с опциями уровня сжатия:[
сжатие: 1...100
тип сжатия: FAST и т.п.
при изменение тип сжатия, настройки сжатие не меняются
они вообще взаимозависимы?
или это разные настройки?

Разные. Более подробно отвечу во вторник - вся документация на рабочем компе.

rex

Цитата:

А есть ли вариант прямого импорта из кэша типа SatMap 4 в него же, минуя промежуточный экспорт в GMV?

Пока только через "Выделение - Скопировать". Делая активным разные кэши можно "эмулировать" импорт/экспорт По-хорошему, надо бы сделать импорт по примеру импорта из GMV и пр. Дойдет и до этого, просто раньше не требовалась подобная фича

egor23

Цитата:

при отключении кэша тайлы от этого кэша не выгружаются

Это потому что они находятся во внутреннем кэше.

oleg1a

Цитата:

Попробовал его ужать раром с максимальным сжатием - файл сравнительно неплохо ужался, до 70%

Вполне объяснимо наличием свободного места (области, заполненные нулями) в кэше из кластерной структуры БД.

egor23

Цитата:

но процесс займёт уйму времени

А это смотря какие размеры копировать К тому же, долго было в ранних версиях, недавно я оптимизировал это дело.


Цитата:

Выделение - Скопировать
сейчас чего-то не работает, выдаёт ошибку

Хм.. действительно. Где-то накосячил, исправлю.

dolnick

Цитата:

хотя выбрана опция "при наличии файлов в кэше - не заменять" (т.е. не скачивать), программа каждый раз пытается что-то делать с уже скачанными файлами, т.е. горит "скачивается 1 тайл из 29440", прогресс-бар ползет, виден интернет трафик, и так до получаса, и только потом начинают скачиваться еще не скачанные тайлы, зачем это?

Такого быть не может (не должно ). Перед закачкой сначала проверяется наличие тайла в кэше, если он есть, то идет переход к закачке (а сначала к проверке) следующего тайла и т.д. Ничего в этот момент не качается из инета. Попробуй закачать для проверки небольшую область с заведомо имеющимися в кэше тайлами.

в потверждение вот картинка:скачивается 3802 из 29440, а прогресс 80 процентов. Пока не начнет писать скачивается 2,3 и т.д. из 29440, у меня сегодня прошло 2 часа (два часа жрет трафик и пишет что скачивается 1 из 29440). Когда я попытался сшить то, что получилось в ECW, у меня сразу вылез exception: вот такой. Все параметры должны быть видны на картинке. Вот....

relictus

Цитата:

А это смотря какие размеры копировать К тому же, долго было в ранних версиях, недавно я оптимизировал это дело.

"Выделение - Скопировать"
в общем случае для импорта нужно - выделить весь мир + все уровни и слои.

Незнаю как организована работа с базой, но не плохо бы иметь "список" имеющихся тайлов на уровне\слое, а если такое есть, то оптимизировать работу.

Добавлено:
"Выделение - Скачать"
нехватает кнопки выделить всё\снять выделение для уровней

relictus
Выделение - Склеить
JPEG\TIFF\PNG - большие области - 20000x40000 не может склеить

Access violation at address 0041E55B in module 'SatMapGPS.exe'. Read of address 00000000.

Добрались руки до MrSID\ECW
и облом на бытовом уровне нечем смотреть большие картинки 20000x40000
IrfanView\XnView всё в память разжимают
ECW\JPEG
IrfanView почему-то вместо 20000x40000 отобразил только 10000x20000
XnView сразу оказался окрывать сославшись на нехватку памяти

Пришлось ставить
Global Mapper
http://www.globalmapper.com/

Ограничения незарегестрированной версии
(если использовать как вьёвер, то ограничения не критичные)

Цитата:

Are you sure you don't want to register?

You won't be able to export data, load workspaces, perform line of sight or view shed analysis, print to scale, view data in 3D, load WMS data sources, load more than 4 data files simultaneously and much more.

Заодно посмотрел как работает с большими JPEG 20000x40000
Разжимает JPEG в temp-файл и подгружает только видимую область
Потребление памяти ~200МБ
так что просматривать большие JPEG возможно при имении свободного дискового пространства.
(если нет места на диске, то разжимает в память и скорее всего большие картинки не помотришь).

egor23

Цитата:

облом на бытовом уровне не чем смотреть большие картинки 20000x40000

Adobe Photoshop

Цитата:

Adobe Photoshop

это не бытовой уровень

При экспорте в GMV экспортируется только кэш стоящий в списке первым?

kalbaska

Цитата:

Прилагаю лог из Ethereal/Winshark.

Только закачал, еще не разбирался (работы подвалило ), сегодня-завтра попробую этот сниффер, отпишусь...
egor23

Цитата:

ECW \ JP2
поставил галку = внедрять геоданные сжатие пошло

Это пофиксил.

Цитата:

осталась непонятка с опциями уровня сжатия:
сжатие: 1...100
тип сжатия: FAST и т.п.
при изменение тип сжатия, настройки сжатие не меняются
они вообще взаимозависимы? или это разные настройки?

Насчет этих параметров цитата из ECW SDK:
TargetCompression (сжатие) - This is the target compression rate sought. This rate will usually be larger than the compression rate actually achieved.
CompressHint (тип сжатия) - This specifies the required compression type. Valid compression type codes are as follows:
0 = COMPRESS_HINT_NONE (no compression)
1 = COMPRESS_HINT_FAST (perform the fastest possible compression)
2 = COMPRESS_HINT_BEST (Perform the best possible compression)
3 = COMPRESS_HINT_INTERNET (Default: optimize for Internet use)

dolnick

Цитата:

у меня сегодня прошло 2 часа (два часа жрет трафик и пишет что скачивается 1 из 29440)

А я утверждаю, что не жрет трафик (кроме разовой закачки мапс.гугл.ком). Неоднократно проверял! Выше я писал "Попробуй закачать для проверки небольшую область с заведомо имеющимися в кэше тайлами." - впустую??

Цитата:

Когда я попытался сшить то, что получилось в ECW, у меня сразу вылез exception: вот такой. Все параметры должны быть видны на картинке.

Попробовал сделать аналогично, ошибки нет. Вообще, сама по себе интересная ошибка, судя по ее тексту, посему - вопрос: импортировались ли в кэш тайлы из сторонних программ? Эта ошибка на склейке любой области? Если есть возможность, локализуй минимально возможную область (чтобы размер кэша был небольшим), потом скопируй эту область в отдельный кэш и выложи где-нибудь, чтобы я смог воспроизвести баг.egor23

Цитата:

Выделение - Склеить
JPEG\TIFF\PNG - большие области - 20000x40000 не может склеить

Такая картинка займет 2.3 гига памяти, если есть столько, то должна склеить, хотя для данных форматов - это очень большие размеры......

rex

Цитата:

При экспорте в GMV экспортируется только кэш стоящий в списке первым?

Да, т.н. "активный" - самый верхний чекнутый в списке.

relictus, когда можно ожидать поддержки формата SASplanet? Народ требует!!

relictus

Цитата:

Цитата:При экспорте в GMV экспортируется только кэш стоящий в списке первым?
Да, т.н. "активный" - самый верхний чекнутый в списке.

А можно добавить чек-бокс "экспортировать все подключенные?
Потому как из-за отсутствия нормального импорта кэша собственного формата, периодический слив в кэш GMV судя по всему неизбежен.

parasss

Цитата:

когда можно ожидать поддержки формата SASplanet? Народ требует!!

Это что за народ такой? А ожидать на днях, если загружен сильно не буду...

rex

Цитата:

А можно добавить чек-бокс "экспортировать все подключенные?
Потому как из-за отсутствия нормального импорта кэша собственного формата, периодический слив в кэш GMV судя по всему неизбежен.

Нормальный импорт/экспорт тоже скоро будет.

Добавлено:
All:
Поэкспериментируйте со склейкой в формате ECW, возникнет ли такая ошибка:

Уж очень необычное сообщение

Цитата:

Поэкспериментируйте со склейкой в формате ECW, возникнет ли такая ошибка:

Я перебрал все возможные опции сжатия на двух территориях - 1 тайл и 15700 тайлов. Такой ошибки не было, но есть другой глюк - если не стоит птичка "внедрять геоданные" то склейка не производиться ввобще и выдает ошибку "Exception ECWError in module SatMapGPS.exe at 002ACB31. An invalid parameter was used."

Также склейка изображения идет в отдельном окне, в отличие от остальных форматов.

kalbaska

Цитата:

если не стоит птичка "внедрять геоданные" то ... выдает ошибку

Это уже пофиксил.

Цитата:

Также склейка изображения идет в отдельном окне, в отличие от остальных форматов.

Это потому, что она идет в отдельном потоке, в отличие от других склеек или закачки. Синхронизировать с основным потоком приложения просто влом

relictus

Цитата:

Нормальный импорт/экспорт тоже скоро будет.

Так желательно туда чек-боксы для отметки импортируемых/экспортируемых кэшей включить, чтобы не по одному как сейчас.

relictus

Цитата:

Такая картинка займет 2.3 гига памяти, если есть столько, то должна склеить, хотя для данных форматов - это очень большие размеры......

тык, этот вопрос вроде фиксился раньше, и склеивание шло в памяти, если её хватало, иначе шло через temp-файлы.
а про большой для JPEG, это детали, т.к. например у Global Mapper не возникает проблем с просмотром таких изображений, в отличии от "бытовых" просмоторщиков, у них и с ECW\MrSID такие же проблемы (хронические).

rex

Цитата:

Так желательно туда чек-боксы для отметки импортируемых/экспортируемых кэшей включить, чтобы не по одному как сейчас.

Хорошо, сделаю так: добавлю только чек-бокс "экспортировать все подключенные", т.к. импорт идет только из одного кэша и только в один (активный) кэш.
egor23

Цитата:

тык, этот вопрос вроде фиксился раньше, и склеивание шло в памяти, если её хватало, иначе шло через temp-файлы.

Ну да, так все и осталось с тех пор.

relictus

Цитата:

Выделение - Склеить
JPEG\TIFF\PNG - большие области - 20000x40000 не может склеить

Access violation at address 0041E55B in module 'SatMapGPS.exe'. Read of address 00000000.

утверждение неверно
это скорее всего из-за тог,о что не было места на диске, где temp каталог.

Цитата:

Ну да, так все и осталось с тех пор.

точно, но с тех же пор остались недоделки
память, при склеивании JPEG (на других не проверял), выделяется два раза
Например при склеивании 20000x30000 (1717МБ)
Получим
на этапе, который после указания имени файла
Out of memory.

при склеивании 13000x30000 (1116МБ)
не получаем, пытается выделить память, но вовремя соображает что-ли, что её мало
получилось в пике 1890МБ, т.е. примерно 650МБ успел выделить и опомнился.

и появились вопросы:
при склеивании больших изображений 20000x39000 (2231МБ)
с чем связано сильное разрастание temp-файлов?

egor23

Цитата:

и появились вопросы:
при склеивании больших изображений 20000x39000 (2231МБ)
с чем связано сильное разрастание temp-файлов?

Без понятия - для склейки юзается сторонний компонент, а уж что и как он творит - мне неведомо

relictus

Цитата:

Без понятия - для склейки юзается сторонний компонент, а уж что и как он творит - мне неведомо

нужно допрос с престрастием автору компонента устроить

egor23

Цитата:

нужно допрос с престрастием автору компонента устроить

Ага, скидывайтесь на путевку в Италию, устрою допрос автору

kalbaska
Wireshark конечно крутой сниффер, но как его заставить показывать лог общения в удобочитаемом виде (как это делает тот же HttpAnalyzer), я так и не разобрался
Может кто знает?

Цитата:

Wireshark конечно крутой сниффер, но как его заставить показывать лог общения в удобочитаемом виде (как это делает тот же HttpAnalyzer), я так и не разобрался
Может кто знает?

Может уже и хрен с ним - вроде бы качает без проблем Конечно каждые 400-800 тайлов вводить капчу - это надо возле компьютера всё время сидеть, немного парит - как думаешь, есть способ это обойти?

kalbaska
Можешь попробовать еще вот это:
1) MadeForNet HTTP Debugger Pro v3.2-TE
2) EffeTech.HTTP.Sniffer.v4.1-iND
Я не знаю, как они будут под 7-й виндой, но лог у них легко читаем и интуитивно понятен

Добавлено:
kalbaska

Цитата:

Может уже и хрен с ним - вроде бы качает без проблем

Надо еще понять, почему не качается (пропускается) тайл, на котором выскочила каптча! Вот зачем лог нужен.....
Каптчу обойти - разве что авто-распознавание ее делать

kalbaska

Цитата:

как думаешь, есть способ это обойти?

не получать бан
бан истекает через сутки после получения
покрайне мере так показалось

Добавлено:
relictus

Цитата:

Надо еще понять, почему не качается (пропускается) тайл

можно сделать просто - после удачного ввода каптчи повторно запросить тайл на котором произошла каптча.

Цитата:

можно сделать просто - после удачного ввода каптчи повторно запросить тайл на котором произошла каптча.

Так он (тайл) и так должен закачаться, т.к. после проверки каптчи идет редирект на его закачку, надо понять почему это не срабатывает...

MadeForNet HTTP Debugger Pro вроде заработал. Вот первый лог - так сказать на пробу. Он документирует следующую проблему (кто-то уже такое описывал):
http://rapidshare.com/files/202333773/February_25__2009.7z.html

1. Произошел обрыв соединения (WiFi заглючил)
2. SatMap написал что закачка завершена - столько то скачано успешно, не удалось скачать 0
3. Ставлю закачивать ту же область - пишет: Скачивается тайл 1 из ...
4. Жрет трафик со скоростью 700-1000 байт в сек. т.е. как обычно (как будто бы качает)
5. Ждал около 20 мин., 2-ой тайл так и не начал скачивавться (в логе в это время пишет Not Found)
6. maps.google.com при этом доступен в нормальном режиме



И еще один баг, который, правда, не удалось задокументировать (в логе):
1. работал в другом окне и услышал звук о прекращении закачки
2. SatMap написал что закачка завершена - столько то скачано успешно, не удалось скачать 0 (хотя скачало может процентов 10% от выделенной области и закачка вроде должна была продолжаться),
3. перешел в окно программы - окно выделения не показывается. двигать карту и зумить можно, а выделение вызвать не получается.
4. при выходе из програмы - access violation.

Через полчасика перегружусь и поставлю многотысячную закачку. может удасться и это отловить.

Добавлено:
Кажется я понял в чём проблема когда жрет трафик и "зависает" надпись Скачивается 1 тайл - SatMap в это время качает т.н. океанские тайлы, которых действительно нет на сервере Google.

kalbaska

Цитата:

Кажется я понял в чём проблема когда жрет трафик и "зависает" надпись Скачивается 1 тайл - SatMap в это время качает т.н. океанские тайлы, которых действительно нет на сервере Google.

В точку!
А с багом разберусь...

kalbaska

Цитата:

Через полчасика перегружусь и поставлю многотысячную закачку. может удасться и это отловить.

Так что там с логом в момент обработки каптчи, получилось?