» SatMap

Уже больше 2000 спутниковых скачал - не банит.

igel72
Плиз, не выкладывай файлы на депозите - просто пришли на мыло, в проге есть адрес. Или хоть на ифолдер, но только не депозит! Буду разбираться, откуда твоя проблема...

Все забанили. Итог таков. 10031 тайлов скачаны успешно 2833 - не удалось скачать. Итого как я понимаю успешно закачалось ~ 7000(т.к. останавливал процесс скачавания именно при значении счетчика 10031). Далее - http://sorry.google.com/sorry/?continue=http://kh0.google.com/kh%3fn%3d404%26v%3d99%26cookie%3dfzwq1kzfvzkx4x1ralys8z-_jgoxw-njgv2wgw%26t%3dtrtrqttstsstsrqqtr

igel72
Пришли мне файлы кэша этого уровня (центр Парижа), где появилась мозаика из одного тайла - это что-то вообще трудно понять как такое могло появится...

Добавлено:
arger
Значит все-таки придется делать обработку каптчи как в GMV...

relictus
у меня уже 18000 скачалось, а всего нужно 180000
arger
что то не сходиться

tolyn77

Цитата:

что то не сходиться

Программа считает неверно - скачал-нескачал, счетчик числа успешно скачанных всегда инкрементируется.

arger

Цитата:

Программа считает неверно - скачал-нескачал, счетчик числа успешно скачанных всегда инкрементируется.

Неправда


Код: if CurSMC.SaveRec(ADataRec) then // добавим в кэш данные тайла и индекс к нему
     inc(DownloadedTiles); // если тайл успешно записался в кэш, посчитаем его

relictus

Цитата:

Неправда

Беру свои слова обратно
Кстати подтверждаю, наблюдается путаница в отображении тайлов - http://ifolder.ru/5611331

arger

Цитата:

наблюдается путаница в отображении тайлов

Большой кэш (все файлы с номером уровня в папке Cache) с этой путаницей? Надо бы посмотреть что там со структурой, что не так...

100 метров. Высылать?

Цитата:

100 метров. Высылать?

Не.. не потяну
А жаль, т.к. без него практически невозможно выяснить причину дупликатов.
Может если поменьше когда получится, до 10 мб, то бы посмотрел...

Добавлено:
arger
А можешь попробовать временно сохранить этот кэш в другой папке, и заново скачать этот же кусок с дупликатами - то же будет или нет?
И вторая просьба, если отцентрировать дупликаты и попрыгать с уровня на уровень, а затем вернуться назад - не исчезнут ли они?

Проблемный кусок повторно скачался нормально. Прыгание с уровня на уровень дубликаты не убирает. Заметил, что при смещении общей картинки мышкой вправо-влево, начиная с некоторой позиции все дубликаты видимые в окне синхронно меняют вид, т.е. начинает отображаться другой тайл. Ошибка в индексном файле?

arger
Выложи только индекс этого уровня, посмотрю. Файл типа common.18i

Добавлено:
И имена проблемных тайлов тоже напиши, плиз!

http://ifolder.ru/5612538
При движении слева-направо проблемное место начинается здесь:
trtrqttsstttqttrqr - последний нормальный тайл
trtrqttsstttqttrrq - пустой
trtrqttsstttqttrrr - пустой
trtrqttsstttqtsqqq - 1й дубликат
trtrqttsstttqtsqqr - 2й ...и.т.д
Причем дубликаты повторяют изображение от последнего нормального тайла, т.е. trtrqttsstttqttrqr (если особо не смещать картинку)
А вот как это выглядит (склеенный фрагмент) - http://ifolder.ru/5612987

arger
Спасибо, буду разбираться.
Что-то из всех пожелавших потестить, только половина хоть что-то сообщила. Активнее, товарищи!

Добавлено:
arger

Цитата:

Ошибка в индексном файле?

Таки нет, проверил присланный индекс - все ок! Нужен кусок кэша, можешь в каком-нибудь хекс-редакторе вырезать кусочек со смещения 106.200.000 по 106.500.000 и тоже выложить на шаре или вообще прямо на мыло прислать?

Содержимое файла common_0.18s в указанных границах - http://ifolder.ru/5616329

relictus
отправил почтой, в архиве 500 кб

Потестил, существенных багов в интерфейсе/кэшэ пока не нашел, что радует.
Тормозов вроде стало поменьше, но небольшое подтормаживание на неслабых компьютерах все равно остается - скорее всего из-за нерационально работающего большого буфера.
Перемещается карта плавно и удобно - буферизируются большое количество пограничных тайлов, однако большой буфер похоже иногда вылазит боком: подтормаживает даже при отпускании мыши на небольших перемещениях.
1) Основные тормоза и их причины:
а) при переходе между слоями/уровнями - satmap ждет, пока _весь_ буфер заполнится.
б) при маленьких перемещениях - satmap ждет, пока _весь_ буфер обновится.
Простой вариант частичного решения - вынести в настройки "буферизировать на n тайлов по периметру" (вроде как планировалось что то такое сделать?). Уменьшение этого параметра до 1-2-х тайлов должно положительно сказаться на быстродействии (текущее где то около 4-х по периметру?).
ИМХО наилучший вариант - пустить буферизацию в фоновом потоке - в первую очередь грузить тайлы, попадающие на экран, затем - на 1 тайл по периметру итд, если машина не будет успевать загрузить тайл - при перемещении вытянется пустая картинка, которая подгрузится потом (аналогично тому, как у известных программ при работе в инете подгружаются недостающие тайлы) - так полностью элиминируются тормоза при перемещении и "плавнее" будет переход между уровнями.
2) Склейка: происходит ли пережатие на 100% качестве Jpeg? (я слышал, что пережатия при склейке можно избежать)
3) Про выделение: удобнее сделать, чтобы диалог появлялся не при нажатии на кнопку (заслоняет область выделения), а по окончании выделения, как это реализовано у всех программ.
4) Про кэш: понял, что перенесение выделенной области в отдельный кэш планируется. А можно будет например common_0.10s переименовать во что то типа myplace.10s, соответственно чтобы разные участки читались из нескольких файлов/можно было менятся фрагментами?
5) Хотелось бы управления с клавы (где то раньше писал), хотя бы простого - на один тайл по стрелке.
6) По мелочам хотелось бы:
- опция отключить звездочку - при включенном перекрестии она иногда мешается
- по ESC закрывать диалоговые окна

arger
Спасибо за кусок! Вот где, оказалось, собака порылась! Причину дубликатов нашел - вместо тайла сохранилось содержимое страницы гугла "Приносим наши извинения... но в настоящий момент мы не можем рассмотреть Вашу заявку.......".
ВСЕМ ТЕСТЕРАМ! Пока не качайте, вычистить из кэша подобные "тайлы" можно только переписыванием их заново скачанными! Буду фиксить этот баг.

DCT
Меня всегда радуют твои посты
По пунктам:
1)
Цитата:

"буферизировать на n тайлов по периметру" (вроде как планировалось что то такое сделать?)

Совершенно верно и я не забыл про это, просто переключился на закачку/склейку и это затянуло... Устранение тормозов - следующая стадия.

2) lossless transformation? Честно говоря, не знаю, происходит ли пережатие - как проверить-то? Перед склейкой каждый тайл декомпрессируется в битмап, который в свою очередь склеивается с другими битмапами и уже готовая картинка из битмапа сохраняется в jpeg - теряется ли тут качество при сохранении на 100% качестве Jpeg?

3) У GV тоже диалог сразу
Я рассматривал этот вариант, но как быть, если я хочу область не по выделению, а по введенным координатам?

4) Я так планирую: будет общий кэш (common) из которого можно будет составлять свои собственные кэши (myplaces). Их может быть сколько угодно и их можно будет использовать как вместе с основным кэшем, так и без него. Естетсвенно, что при составлении собственного кэша тайлы могу как копироваться, так и полностью вырезаться из основного кэша (для его разгрузки).

5) Я помню и про клаву, но см. п.1
6) Вкл/выкл звездочки сделаю, а вот с ESC чуть-чуть сложнее: если открыто одно/несколько диалогов и одновременно есть измерения (стираются по ESC), что делать? Есть предложения? Переназначить стирание измерений на другую комбинацию, или...?

Народ! Кто-нибудь знает, как временно забанить себя на гугле? А то пишу обработку каптчи, а проверить ее работу никак не могу - ну не банит меня гугль!

Можно попробовать воспользоваться старой версией GMV - http://ifolder.ru/5631014 Там выделить область поставить на закачку. Довольно быстро банит(загрузка там с основного сервера Гугля)

Можно несколько раз подряд ввеси неправильный пароль на gmail.

Или нужно именно на гмапс?

Забанится элементарно: поставить скачиваться (например в регете) очередь из ~500 тайлов - тайле на 200-м стабильно забанивает (во всяком случае в начале года было так, статистика набрана на большом количестве проксей: варьируется примерно +-100). Бан привязан к IP.

2)
Цитата:

Честно говоря, не знаю, происходит ли пережатие

- происходит однозначно! А если сохранять 100% - то увеличится объем.
Есть другой путь (Сохранение карт с google map, iXBT пост №270, (c) OverQuantum):

Цитата:

Можно сделать без пересжатия - через lossless, если всей тайлы сжаты с одним качеством (точнее говоря, с одинаковыми таблицами квантования) и размер кратен 16 пикселям (тайлы Google, Yahoo, Yandex и NewKosmosnimki - подходят). Но автоматических программ для этого нет, я делал через две собственные проги в полуручном режиме. Сначала расжимал JPEG-тайлы в txt-представление DCT-коэффициентов, потом склеивал все txt в один с пересчётом координат, и сжимал txt-представление обратно в JPEG. Последний шаг требует ОЗУ примерно 10*итоговый размер JPEG.

Мне кажется, что gstitcher отсюда тоже умеет без пережатия (точно не уверен: но склейка происходит быстро и размер файла примерно равен сумме тайлов):

Цитата:

Tiff, который создает gstitcher имеет организацию tiled, сжатие jpeg и цветовое пространство YCBCR. ... Файлы более 10 Мб открываются очень долго или вообще не открываются (не хватает памяти). Вообще, при сохранении мозаики в tif ориентируйтесь на значение "размер растра" - оно должно быть соотносимо с объемом памяти компьютера. Максимальный размер TIFF'а 2 Gb (должно быть 4, но это глюк в TiffLib).

Отмечу, что ИМХО обычно удовлетворяет и склейка с пережатием, без пережатия это скорее "приятная фича"...

3) Можно диалог показывать в "свернутом" виде, либо вызывать его по повторному клику на ту же иконку (оба решения не идеальны).

4) Отлично! Для полноты недостает только распаковки кэша.
Но сейчас пока никакие переименования кэшей не прокатят?

6) (Про esc) несовсем понял что значит

Цитата:

если открыто одно/несколько диалогов и одновременно есть измерения (стираются по ESC)

включаю измерение пути, ставлю пару точек (это имелось в виду?), вызываю диалог настроек, нажимаю ESC - точки не стираются (да и впринципе не должны). Т.е. ESC = крестик на окошке (или отмена) вполне логично. Либо я чего недопонял.

Клаву и избавление от тормозов будем ждать...

Хотя, ИМХО, качать нынче умеют многие, а вот удобный функционал в природе отсутствует

DCT

Цитата:

Сначала расжимал JPEG-тайлы в txt-представление DCT-коэффициентов, потом склеивал все txt в один с пересчётом координат, и сжимал txt-представление обратно в JPEG.

Звучит маленько заумно для меня, тут без доп.знаний устройства jpeg не разобраться - я так глубоко не копался в графике еще... Если кто поделится алгоритмом - реализую, либо займусь этим вопросом после написания основного функционала своей проги.

Цитата:

3) Можно диалог показывать в "свернутом" виде

Я более склоняюсь к этому варианту.

Цитата:

Для полноты недостает только распаковки кэша.

Тоже в ближайших планах. Будет экспорт только в GMV. Столько идей и задумок, на все время просто не хватает

Цитата:

Но сейчас пока никакие переименования кэшей не прокатят?

Сейчас - нет. В данный момент жестко прописано использование только common кэша.

Цитата:

включаю измерение пути, ставлю пару точек (это имелось в виду?), вызываю диалог настроек, нажимаю ESC

Именно в этом случае, да, измерения не стираются, т.к. окно настроек открыто модально, но в случае с другими окнами (перход на место, выделение и т.п.) - будет не так. Но выход, конечно, всегда есть. Сделаю ESC на закрытие окон.


Добавлено:
DCT

Цитата:

Забанится элементарно: поставить скачиваться (например в регете) очередь из ~500 тайлов - тайле на 200-м стабильно забанивает

А вот и фиг там! Поставил 1200 тайлов - все закачались без бана
Попробую старую версию GMV. Вот уж не думал, что такая проблема встанет

Добавлено:
Я уж думал, это не случится никогда, однако на скачивании 1033-го тайла старым GMV меня таки забанили

relictus
вообщем скачал 180000 и написал что 100000 скачал, 80000 не скачал вот бы ее проверить что он там не скачал а что скачал

tolyn77

Цитата:

вообщем скачал 180000 и написал что 100000 скачал, 80000 не скачал вот бы ее проверить что он там не скачал а что скачал

А если посмотреть на скачанную область?
Скорее всего у тебя в кэше будут вместо некоторых тайлов сохраненные html страницы из-за недавно выявленного бага. Проверь, плиз, есть ли в файле кэша слово DOCTYPE?

relictus
так и есть там куча DOCTYPE, да и размер не сходиться у Тебя в программе было написано 788 мегов а common_0.11s все 300 мегов

tolyn77
На следующей неделе выложу новую версию, надеюсь что этот баг больше не вылезет. А пока лучше воздержаться от скачивания.....

863 Кб, тестовая версия: v1.2.4.89.alpha.exe-only (только исполняемый файл)
Пароль тот же.
У кого безлимитный инет, проверьте функцию антибана, плиз. Мне это не удалось, даже без включенного антибана и кукисов гугль не забанил после 130 МБ непрерывного скачивания на 2 мегабитном канале...
Добавил закрытие диалоговых окон по "ESC" и опция: показывать звездочку при переходе на место.

И всё же давай подкачку при просмотре. Тогда активнее тестить буду.

Добавлено:
Тормозит перемещение картинки. Особенно на гибридном слое.