» SatMap (3)

Цитата:

Кто нибудь сталкивался?

Конечно, это называется бан

rex
Что-то гугл опять поменял в коде страницы, потому, если ты кликал кнопку "Проверить версии в интернете" в настройках и сохранил изменения, то вместо версий у тебя мусор. Либо ручками впиши корректные значения, либо заюзай кнопку "Восстановить настройки запросов".
Пофиксю на досуге.

В общем, гугл не только код страницы поменял, но оказывается давно перешел на новый API v3
Старый API пока еще работает, но вот версии снимков получить уже не получается Потому кнопку "Проверить версии в интернете" убрал до лучших времен (навсегда)... Закачка работает, хотя иногда и с ошибками. Требуются кардинальные изменения программы, но хз когда этим заниматься...

relictus
В настройках запросов для получения тайлов ("Настройки" - "Интернет") сейчас в версии программы SatMap v2.7.6 записаны устаревшие параметры (спутник - 149, гибрид - h@262000000, карта - m@262, ландшафт - t@132,r@262000000).
Два дня назад для свежей закачки тайлов я обновлял эти параметры кнопкой "Проверить версии в интернете" с помощью программы SatMap v2.7.5.3 и успешно использовал полученные параметры для закачки: спутник - 169, гибрид - h@298000000, карта - m@298, ландшафт - t@132,r@298000000.
Так что желающие получать свежие на сегодняшний день версии снимков могут вручную внести в настройки запросов приведенные мною параметры. Ну и, возможно, их можно будет встроить в исполняемый файл программы SatMap v2.7.6, чтобы не приходилось делать эти исправления настроек вручную, пока ты снова не научишь SatMap считывать из Интернета актуальные настройки запросов.
Жизнь будет меняться и дальше, но все равно SatMap остается одной из лучших программ для работы со спутниковыми снимками

nemo3001
Спасибо за теплые слова о программе
Вот как, оказывается, еще пару дней назад не было проблем с версиями? Сильно не копал, но сдается мне теперь уже у гугла нет версий, там как-то все по-хитрому сделано в API v3.
Завтра внесу изменения по твоим сведениям...

Актуализированы до последних известных версии в запросах тайлов:
v2.7.6 (пара мелких фиксов)

Чуть поковырял гугл. Удалось вытащить версию спутниковых снимков, а также избавиться от ошибок при закачке, типа "Uncompressing error - invalid crc.", "Unknown block type" (надеюсь). Версии для гибрида, карты, ландшафта обнаружить не удалось... Так что вернул назад кнопку "Проверить версии в интернете", она теперь обновляет только спутник, остальное не изменяется. Кстати, на сегодня его версия 170.
v2.7.6.1

relictus
Проверил SatMap v2.7.6.1 multi, кнопка "Проверить версии в интернете" работает нормально.
Кстати, несмотря на надпись "multi" в названии архива "satmap_v2.7.6.1_multi_exe.7z" и в строке заголовка при запуске этого файла, на самом деле этот SatMapGPS.exe v2.7.6.1 ведет себя как файл для монопольной работы - не запускается второй экземпляр программы, нормально обрабатываются параметры командной строки (lon=, lat=, zoom=) для управления работой программы. Это несоответствие я заметил еще с версии файла "satmap_v2.7.5.1_multi_exe.7z", но не стал тогда отвлекать тебя.
Я пользуюсь до сих пор для многопоточной закачки последней из имеющихся у меня рабочей мультиверсией программы из архива "satmap_v2.5.6_multi_exe.7z", что конечно не очень удобно.
Может быть тебе удастся выбрать время и выложить теперь мультиверсию SatMap v2.7.6.1?
Кстати, если в названии exe-файла программы добавлять слово "multi", это позволит: 1) избегать такой путаницы, 2) можно будет хранить в одной папке рядом одновременно файлы SatMapGPS.exe и SatMapGPS_multi.exe, 3) легче контролировать запуск нужного в данный момент варианта программы, так как функционал и область использования у этих вариантов программы SatMap частично отличаются.
Возможно, что изготовление для каждого обновления программы ее мультиверсии - это дополнительная работа для программиста, поэтому мультиверсии появляются не сразу, а нам приходится каждый раз просить об этом автора программы. И не знаю уж, это просто разные проекты, или удается обходиться изменением какой-нибудь константы для разной компиляции одного и того же проекта в монопольный или в мультивариант программы...
Но ясно, что для удобной работы каждый раз нужны оба варианта программы SatMap последней ее модификации.

v2.7.7 2015 Apr 30
[no][-] minor bug fixes and enhancements according to the recent changes in the Google Maps service[/no]
полный комплект v2.7.7
v2.7.7 (только exe)
v2.7.7 multi

Доброго времени суток!

Как пользователю программы, позвольте отписаться о багах, хотелках и вопросах...

Баг.
При импорте из кеша SASPlanet, некоторые тайлы просто не импортируются. Попробовал сконвертировать кеш SASPlanet => GoogleMV, затем импорт из кеша GoogleMV, получил ошибку о том что не импортировалось xx тайлов из-за того что они повреждены. Но файлы не повреждены, они без проблем открываются в той же SASPlanet. Для быстрого воспроизведения бага я сделал маленький кеш z2 с 3-мя "поврежденными" и одним целым тайлом (импортируется только он). cache

Хотелка.
Масштабирование между уровнями с эффектом приближения/отдаления, а не скачкообразно. Установка галки "масштабировать как в Google Maps" дает только центртрование по курсору.

Вопрос.
Какие ограничения на один файл кеша? Утрамбовал в один кеш более 17 000 000 тайлов, поместилось. Можно больше?

rusoooo

Цитата:

Какие ограничения на один файл кеша?

Файл кэша SatMap - это БД SQLite, максимальный размер файла которой примерно 32 ТБ (см. например здесь http://sysadmins.ws/viewtopic.php?p=293).
В документации SQLite не нашел пока ограничений на общее количество записей в базе данных, то есть на максимальное количество тайлов в кэше SatMap. Описано только ограничение на размер файла базы данных в 32 ТБ ("Максимальное количество страниц в файле базы данных" * "Максимальный размер страницы базы данных" = 1073741823 * 32768).

Цитата:

Масштабирование между уровнями с эффектом приближения/отдаления, а не скачкообразно

Да, включать бы при желании плавное масштабирование... А еще не хватает включения/отключения возможности увеличения масштаба изображения за пределами тайлов наибольшего уровня, имеющихся в базе данных. Иногда хочется приблизить и рассмотреть получше картинку на экране, но тайлов следующего уровня уже нет и любоваться можно только черным экраном... В этих случаях использую программу Лупа - либо из стандартных программ Windows, либо чаще легкую маленькую программу bvsLupa.exe.

rusoooo

Цитата:

При импорте из кеша SASPlanet, некоторые тайлы просто не импортируются.

Проверил, да - есть такой баг, т.к. поменялась сигнатура jpg файлов (баг касается только импорта). Исправленная версия: v2.7.7.1 (только exe)
Кстати, не понятно, зачем конвертировать SASPlanet => GoogleMV, затем импорт из кеша GoogleMV, если можно сделать сразу импорт из SASPlanet (только из файлового кэша). Ваш образец кэша с 4-мя файлами как раз в таком формате.

Хотелка бесполезная в плане функциональности, уж извините - не будет такого.

Цитата:

Какие ограничения на один файл кеша?

См. п.7 FAQ.

nemo3001

Цитата:

А еще не хватает включения/отключения возможности увеличения масштаба изображения за пределами тайлов наибольшего уровня, имеющихся в базе данных.

Ммммм... ну может быть когда-нибудь

relictus

Благодарю, теперь импортируется без проблем.

Цитата:

Кстати, не понятно, зачем конвертировать SASPlanet => GoogleMV, затем импорт из кеша GoogleMV, если можно сделать сразу импорт из SASPlanet (только из файлового кэша). Ваш образец кэша с 4-мя файлами как раз в таком формате.

Это я просто проводил маленький эксперимент, пытался понять где кроется проблема. При импорте из SASPlanet, никаких уведомлений об ошибке не было. Значит программа отработала штатно. Сменил формат входного кеша, импортировал, получил сообщение об ошибке! Значит проблема не в формате кеша, а именно в самом файле. Подмена "поврежденных" файлов целыми, это подтвердила.

Цитата:

т.к. поменялась сигнатура jpg файлов

Простите, что? JFIF поменялся?

Цитата:

d:\libjpeg-turbo-1.4.0-gcc\bin>djpeg -verbose c:\cache\SAT\z2\0\x1\0\y1.jpg > y1.ppm
libjpeg-turbo version 1.4.0 (build 20150106)
Copyright (C) 1991-2012 Thomas G. Lane, Guido Vollbeding
Copyright (C) 1999-2006 MIYASAKA Masaru
Copyright (C) 2009 Pierre Ossman for Cendio AB
Copyright (C) 2009-2014 D. R. Commander
Copyright (C) 2009-2011 Nokia Corporation and/or its subsidiary(-ies)
Copyright (C) 2013-2014 MIPS Technologies, Inc.
Copyright (C) 2013 Linaro Limited

Emulating The Independent JPEG Group's software, version 6b 27-Mar-1998

Start of Image
JFIF APP0 marker: version 1.01, density 1x1 0
Define Quantization Table 0 precision 0
Define Quantization Table 1 precision 0
Start Of Frame 0xc0: width=256, height=256, components=3
Component 1: 2hx2v q=0
Component 2: 1hx1v q=1
Component 3: 1hx1v q=1
Define Huffman Table 0x00
Define Huffman Table 0x10
Define Huffman Table 0x01
Define Huffman Table 0x11
Start Of Scan: 3 components
Component 1: dc=0 ac=0
Component 2: dc=1 ac=1
Component 3: dc=1 ac=1
Ss=0, Se=63, Ah=0, Al=0
End Of Image

zedxxx
Ну зачем умничать? Где я написал, что поменялся JFIF?
Проблема была в обработке jpg внутри SatMap (там свои собственные сигнатуры) - всё!

Собственные сигнатуры, которые проверяют сигнатуры JFIF?

Я не умничаю, а хочу сказать, что проблема не в сигнатурах, собственных или нет. Проблема в тайлах. Они "битые". У JFIF есть один замечательный маркер "End Of Image", который равен 0xFFD9. Подозреваю, в SatMap, именно он и проверялся. НО представленные тайлы (3 из 4-х) не имеют этого маркера в конце. Он в середине, грубо говоря. Т.е. эти тайлы содержат jpeg + мусор. Если бы небыло упоминания, что эти тайлы получены из кэша SASPlanet, я бы может и прошёл мимо, но теперь у меня есть подозрения, что в SAS есть какой-то баг, который портит тайлы. И баг этот был скрытый, поскольку SAS доверяет чтение jpeg внешней библиотеке (libjpeg-turbo), которая проглатывает такие мусорные jpeg-и без всяких варнингов.

rusoooo
Не могли бы вы немного прояснить ситуацию, как вы получили эти тайлы, в какой версии SAS, в каком типе кэша их храните? Воспроизводится ли ситуация, если тайлы перекачать?

Чтобы не смущать пользователей SatMap сторонними разговорами, можете отписаться в соседнем топике: http://forum.ru-board.com/topic.cgi?forum=5&bm=1&topic=31937&start=2580#lt

zedxxx
ага таки битые все-таки были жпеги из САСа... а я-то голову ломал, ну куда из них делся маркер EOI FFD9?

zedxxx
Отписался как Вы просили, но там мой пост автоматом оборачивается в тег more. Убрать не получилось.

Да, был баг в SAS. Пофикшено. Плюс, добавил ассерт на наличие JFIF_EOI в конце сгенерированных жпегов, на всякий случай.

zedxxx
Ну я рад, что моя прога помогла отловить баг вашей

[more] relictus
Как все запутано, как оказалось реально битые jpeg-и получались. Я полагаю, что не стоит включать в релизную версию программы, поддержку импорта битых jpeg-ов. Но на Ваше усмотрение разумеется.

Теперь хотелка, если позволите. На этот раз чисто практичная. Пример из практики:
Импортирую из SAS кеш из 16.777.216 тайлов(их там точно такое кол-во). А импортировалось 16.777.215 тайлов, -1 где он? Искать по маске заполнения это ад, при таком кол-ве тайлов все очень дико тормозит.
Предложение простое: В процессе импорта в текстовый файл складывать ссылки на файлы которые не прошли проверку по сигнатурам и прочие проверки. В этот же список должны попадать и файлы с правильным названием но с неверным расширением. Например, сейчас программа при предварительном просмотре каталога, перед импортом, обращает внимание только на названия файлов, игнорируя расширение (из наблюдений). Но уже в процессе импорта когда натыкается на неверное расширение выпадает сообщение об ошибке и стопорит работу. Примером может служить файл заглушка из SAS *.tne. [/more]

rusoooo
После праздников посмотрю, что можно сделать по вашей хотелке...

rusoooo
Попробуй
v2.7.7.2 (только exe)
Ошибки при импорте теперь пишутся в перезаписываемый при каждом импорте файл import_errors.log
Насчет *.tne файлов. Они прогой обрабатываются - насколько я помню, раньше там хранилась одна дата. Что там сейчас, я не знаю. Какого рода была ошибка по цитате

Цитата:

в процессе импорта когда натыкается на неверное расширение выпадает сообщение об ошибке и стопорит работу

?

relictus
Работает, то что надо!

По поводу *.tne файлов. Сейчас они пустые. Сообщение такое: ("" is not valid date and time). Вообще они не сильно важны в плане обработки их программой, их легко можно найти простым поиском средствами Windоws.

zedxxx
Расскажи про эти *.tne файлы в контексте САСа на текущий день - что это?

Всё как и было, только дата туда больше не пишется. Уже года с три как: http://www.sasgis.org/mantis/view.php?id=1554

Если дата зачем-то нужна, то можно смотреть на дату последнего изменения. Там будет то же, что раньше писалось внутрь.

zedxxx
Ясненько, спасибо.
Ну тогда завтра сделаю билд с корректной обработкой этих пустых *.tne

rusoooo
Пофиксил обработку *.tne файлов, пробуй!
v2.7.7.3 (только exe)

relictus
Все работает корректно, *.tne файлы аккуратно складываются в файл кеша.

relictus
Наткнулся сегодня на баг с отображением тайлов. Программа при просмотре выдает сообщение: (Access violation at address 0040467B in module `SatMapGPS.exe`. Read of address 037BFFF8.) Это последняя версия, другие выдают туже ошибку, но адреса другие. Программа так реагирует на некоторые тайлы когда пытается их открыть. Они при это либо вообще не отображаются либо отображаются с мусором. Тайлы эти скачаны при помощи SAS с сервиса SkyVector и импортированы в SatMap. Импортировались они без проблем. Повторное скачивание ничего не меняет. Сделал тестовый кеш z2 (2 странных и 2 нормально отображаемых тайла), скачать. Там исходный кеш, и после импорта.