» SatMap

relictus

Цитата:

Как только он опишет формат своего кэша, так и сделаю.

ты пишешь на Дэлфях? он тоже. его сорцы доступны - бери да делай, а если нехочешь, то это уже другой вопрос.

relictus
а при реализаци импорта из GoogleMV разве вы использовали описание формата его кэша? имхо, достаточно беглого взгляда на структуру папок/файлов. это ж не то что кэш SatMap запакованный в базу - вот его сложно было бы разковырять без описания

Многотысячный лог сделать не получается - всё время слетает сниффер - уж не знаю что ему не нравиться - может Виндоус 7, а может и что еще. Вот лог на 150 тайлов. Максимум что я смог сделать.

http://rapidshare.com/files/200139043/1.7z.html

Цитата:

Оба ваших вопроса адресуйте к автору популярной программы - az52. Как только он опишет формат своего кэша, так и сделаю.

Я могу это сделать за него - формат кэша в САСпланет элементарен, как мычание, и вполне понимабелен даже при беглом взгляде невооруженным глазом. Сорцы на дельфях тоже открыты (могу прислать, если искать влом )

Просто неудобно сперва качать, потом экспортить в формат GoogleMV (не самый лучший для хранения больших зумов, где в одной папке могут быть миллионы тайлов, от чего всей системе рвет крышу), а потом имеющимся к САСу конвертором конвертить уже в его формат....

zporuchik
Nikolai2004
parasss
В чужих сорцах ковыряться не имею ни малейшего желания, тем более в практически не документированных и отвратно структурированных (az52, без обид, у каждого свой стиль, я понимаю ).
Мне просто нужно описание структуры кэша, остальное я и сам напишу....

kalbaska
Спасибо. Я разгадал еще одну уловку гугля, так что пока логов больше не надо. Если успею до корпоративки, то сегодня выложу обновленную версию.

relictus
1.4.0.18

Цитата:

через дефолтную кнопку в настройки-вкладка интернет исправь строки запроса

иногда SatMap подвисает на несколько секунд.

утро началось с:
4400 тайлов 20 уровень экспорт в jpg показал визуально все тайлы в наличии.
1100 тайлов 19 уровень экспорт в jpg показал визуально все тайлы в наличии.
перезапуск SatMap для чистоту эксперимента
16700 тайлов 21уровень
4900 тайлов выскачило окно Debug: redirect!302

egor23

Цитата:

иногда SatMap подвисает на несколько секунд.

Если при закачке выделением, то это нормально Предполагается, что в момент закачки никаких действий с прогой не производится.

Пробуем: v1.4.0.20
Что нового: "significantly improved antiban function"
Закачал больше 20 тыс. спутниковых тайлов, но так и не получил ни бана, ни предложения ввести каптчу, т.о. не смог проверить правильность обработки каптчи прогой
Просьба к тем, у кого это случится, если есть лог запросов, прислать мне кусок лога, предшествующий бану/вводу каптчи!

Цитата:

Мне просто нужно описание структуры кэша, остальное я и сам напишу....

Хорошо, чуть позже напишу.

parasss

Цитата:

Хорошо, чуть позже напишу.

Лучше на мыло.

Цитата:

Лучше на мыло

А намекни оное? На parasite\куку\rambler.ru

Выкачал сегодня 7000 тайлов версией 1.4.0.18 (до этого по 200-500 тайлов и потом бан), но вот проблема - теперь, если запустить программу, то больше не качает, а показывает message box с текстом:

Debug: redirect!302

и всё, и так каждую секунду. Или это теперь бан так индицируется? как можно понять данное сообщение?

relictus

Цитата:

Пробуем: v1.4.0.20

т.к. был до этого "забанен" (это моё предположение) то сразу же при запуске получаю каптчу
причём если перезапустить закачку опять спросит каптчу
Теперь о багах:
тайл на котором произошла каптча не загружается
(крайность - выделем один тайл - получаем каптчу - в итоге 1 тайл не скачен)

Добавлено:
поставил на закачку 48000 тайлов 19 уровень

спустя 800 тайлов получил каптчу
спустя ещё 870 тайлов получил каптчу
спустя ещё 480 тайлов получил каптчу
спустя ещё 460 тайлов получил каптчу
спустя ещё 540 тайлов получил каптчу
спустя ещё 375 тайлов получил каптчу
спустя ещё 790 тайлов получил каптчу
спустя ещё 600 тайлов получил каптчу
спустя ещё 400 тайлов получил каптчу

dolnick

Цитата:

Debug: redirect!302
и всё, и так каждую секунду. Или это теперь бан так индицируется? как можно понять данное сообщение?

Его не надо понимать Отладочная инфа... Лучше воспользоваться последней версией v1.4.0.20

parasss
намекнул

egor23

Цитата:

тайл на котором произошла каптча не загружается
(крайность - выделем один тайл - получаем каптчу - в итоге 1 тайл не скачен)

пришли лог с таким случаем, вроде не должен пропускаться тайл...

Цитата:

спустя 800 тайлов получил каптчу

но продолжает качаться, как я понял. Частота появления каптчи видимо зависит еще и от ширины канала, и от айпи, и может еще чего. Я же за 20к+ тайлов так и не увидел каптчу...

спустя ещё 800 тайлов получил каптчу
спустя ещё 630 тайлов получил каптчу
спустя ещё 360 тайлов получил каптчу
спустя ещё 680 тайлов получил каптчу
спустя ещё 500 тайлов получил каптчу
спустя ещё 410 тайлов получил каптчу
спустя ещё 410 тайлов получил каптчу
спустя ещё xxx тайлов получил каптчу + спустя ещё xxx тайлов получил каптчу = 880 тайлов
спустя ещё 440 тайлов получил каптчу
спустя ещё 360 тайлов получил каптчу

итого за примерно 5 часов загрузилось ~10800 тайлов
Размер полученный 134МБ, размер кэша получился 170МБ

Цитата:

parasss
намекнул

Получил. Отписал.

1.4.0.20
За ночь скачал 13000 тайлов, потом получил капчу,
потом стабильно получал капчу каждые 400-800 тайлов, но после ввода продолжало качаться.

После ввода капчи на maps.google.com грузяться только превьюшки очень плохого качества.

Логи к сожалению не могу выложить - HTTPAnalyzer стабильно валиться после пару секунд работы. Может кто знает еще какой-нибудь хороший packet analyzer?

kalbaska

Цитата:

После ввода капчи на maps.google.com грузяться только превьюшки очень плохого качества.

Это что-то новенькое! После первой каптчи и все время?
egor23, а тебя с этим как? Тоже превьюшки??


Цитата:

Может кто знает еще какой-нибудь хороший packet analyzer?

Когда-то я еще использовал SoftX Http Debugger Pro, есть в местном варезнике.
Еще есть опенсурсный навороченный сниффер, из головы вылетело название

relictus

Цитата:

а тебя с этим как? Тоже превьюшки??

сравнил тайлы загруженные с каптчей и загружаемые без каптчи (один в один)
делал сравнения через экспорт в GoogleMV (но уровнень 19 он уже не в фокусе)
сейчас сделаю заготовку на 18 уровне, когда появится капча проверю.

Цитата:

опенсурсный навороченный сниффер, из головы вылетело название

Ethereal?

http://ru.wikipedia.org/wiki/Анализатор_трафика
Есть ссылки на ПО

Цитата:

Ethereal?

Оно! Только теперь проект по-другому, вроде, называется...

Подтверждаю то, что говорил egor23 - угловой тайл не грузиться когда вводится капча. Прилагаю лог из Ethereal/Winshark. Крайне извиняюсь если что не так в нем сделал (напр. я в нем не увидел ни клиента который генерирует запрос, ни самого УРЛа, как например в HTTPAnalyzer-е) - как я уже писал, не имею абсолютно никакого опыта с анализаторами. Если relictus подскажет что именно не так - переделаю без проблем. Лог:

http://rapidshare.com/files/200885328/cornertile.7z.html

По поводу превьюшек:
Существует три состояния:
1. Белое - на maps.google.com показывает картинки в полном качестве, Satmap качает тысячи тайлов без необходимости ввести капчу.
2. Серое - на maps.google.com показывает картинки со сжатием t=2, Satmap качает по 400-800 тайлов и спрашивает капчу
3. Чёрное - на maps.google.com пишет Sorry we don't have imagery for this zoom level. Satmap ничего не качает, а только бесконечно спрашивает капчу.

"Белое" и "серое" состояние воспроизводятся без проблем, "чёрное" на версии 1.4.0.20 воспроизвести за весь день так и не удалось.

Хочу так же отметить, что даже при "сером" состоянии Satmap скачивает тайлы хорошего качества...

Добавлено:
И еще вопрос/баг: почему-то PNG файлы получаются очень большие. Например файл 8000х8000 пикселей занимает в 256 цветов ок. 70-80 мег. Я его открываю в Фотошопе делаю Save As и он становиться 1,5-2 Мб. Хотя вроде бы ничего не меняется. Можно ли это как то поправить?

kalbaska

Цитата:

И еще вопрос/баг: почему-то PNG файлы получаются очень большие.

может потому, что сжатие стоит - 0?

Добавлено:
relictus
ECW \ JP2
поставил галку = внедрять геоданные сжатие пошло
осталась непонятка с опциями уровня сжатия:
сжатие: 1...100
тип сжатия: FAST и т.п.
при изменение тип сжатия, настройки сжатие не меняются
они вообще взаимозависимы?
или это разные настройки?

relictus
Попробовал новый импорт из кэша GMV. Скорость 3,5 GB в час, что уже не плохо, правда кэш GMV и SatMap были на разных дисках дабы не мешать параллельной работе, при размещении обоих кэшей на одном диске или канале IDE скорость может быть раза в два меньше. Зависаний на кэшах общим весом 20 GB пока нет. Очевидно раньше они были связаны с импортом ошибок старого кэша SatMap.
А есть ли вариант прямого импорта из кэша типа SatMap 4 в него же, минуя промежуточный экспорт в GMV?

Цитата:

А есть ли вариант прямого импорта из кэша типа SatMap 4 в него же, минуя промежуточный экспорт в GMV?

Выделение - Скопировать

egor23
Это экспорт, и это хорошо, но речь шла об импорте.

Цитата:

Это экспорт, и это хорошо, но речь шла об импорте.

отдельной опции нет
а так через
Выделение - Скопировать
можно сделать

Добавлено:
relictus
при отключении кэша
тайлы от этого кэша не выгружаются

закачал в отдельный кэш зону одного города, один квикбёрдовский снимок, 18-й уровень, примерно 30000х30000 пикселов. Файл кэша получился размером почти 200 метров. Попробовал его ужать раром с максимальным сжатием - файл сравнительно неплохо ужался, до 70%.