» SatMap (2)

egor23

Цитата:

а это реализовано не на "уровне SatMap"?

На уровне проги реализован счетчик инсертов, его инкремент после каждой вставки и проверка - упрощенно так:

Код: inc(FTransactionInsertCount);
if FTransactionInsertCount >= InsertCountBeforeCommit then // достигнуто значение, при котором надо завершить транзакцию
try { commit and begin a new transaction }
Commit;
StartTransaction;
FTransactionInsertCount := 0;
except
{ In case of errors, rollback changes and raise the error. }
Rollback;
raise;
end;

relictus
может стоит лимит, вшитый, "отведённый под тайлы" - 30МБ?

Добавлено:

Цитата:

может стоит лимит, вшитый, "отведённый под тайлы" - 30МБ?

это в VMMap смотрел
там получалось примерно 24 секций по 1280кБ ~30МБ на момент начала сброса данных в кэш (с начала скачивания до начала сброса).

Добавлено:

Цитата:

[+] Advanced users only! Настройка режима журнала транзакций: в satmap.xml в секции <prog> добавьте параметр <JM>xxx</JM>, где 'xxx' - одно из значений: DELETE (используется по умолчанию), TRUNCATE, PERSIST, MEMORY, OFF (подробнее см. документацию по SQLite)

отсылать обычного пользователя, который никогда не имел дела с SQLite к докам это жестоко, лучше в FAQ всё эту информацию добавить.

Цитата:

В общем, сделаю верхний потолок регулировки в 1000, дабы не возникало в будущем вопросов...

лучше найти в чём проблема...

egor23

Цитата:

может стоит лимит, вшитый, отведённый под тайлы - 30МБ?

А! Наверное понял в чем дело (размер журнала транзакций), но глубже копнуть сейчас некогда


Цитата:

лучше в FAQ всё эту информацию добавить.

Не уверен, что это хорошая идея. Обычному пользователю такая инфа ни к чему, а продвинутый может и форум полистать, да и в доки заглянуть - я так мыслю

Цитата:

[+] настраиваемое количество вставок в БД (применимо при закачке по любому выделению) перед завершением транзакции

вот эта настройка кардинально снижает нагрузку над диск.

Добавлено:
relictus

Цитата:

А! Наверное понял в чем дело (размер журнала транзакций), но глубже копнуть сейчас некогда

выделение 10000 гибрид
"левых сбросов не было"

Цитата:

вот эта настройка кардинально снижает нагрузку над диск.

Да. Но надо помнить об увеличении риска потерять скачанные данные, в случае форс-мажорных обстоятельств...

Цитата:

выделение 10000 гибрид
"левых сбросов не было"

Что только подтверждает мою догадку - размер тайла гибрида много меньше тайла спутника, и совокупный их размер видно помещается в размер журнала транзакций. В общем, куда копать ясно

Цитата:

В общем, куда копать ясно

Хм.. рано я заявил это...
egor23
А можешь проверить как будет вести себя сброс при других значениях режима журнала: DELETE и PERSIST? Тоже будет после ~30МБ?

Добавлено:
egor23
И еще... если режим "не заменять", будет разница?

relictus
заменять существующие - MEMORY
не заменять - MEMORY
не заменять - DELETE
не заменять - PERSIST

одно и тоже

а лимитов на размер\под тайлы нет?
раньше было что-то - 30кБ, потом лимит как-бы убрали...

egor23

Цитата:

а лимитов на размер\под тайлы нет?

Нет. Да и дело тут на 95% не в проге, а в движке SQLite...
Как я выяснил, размер журнала транзакций (ну это типа временная БД, которая будет записана в основную БД при выполнении Commit) сейчас имеет неограниченную длину. Я просто не пойму, что еще заставляет сбрасывать буфер в БД при достижении им ~30 МБ размера...
А можешь на другом компе проверить, так же будет?

relictus

Цитата:

А можешь на другом компе проверить, так же будет?

нет возможности

ещё посмотрел, что будет, если прибить процесс SatMap во время этого незапланированного сброса, после запуска SatMap тайлов (или данные), которые как-бы сбрасывались нету.

egor23

Цитата:

нет возможности

Жаль... Я тоже проверить не могу

Цитата:

после запуска SatMap тайлов (или данные), которые как-бы сбрасывались нету.

Получается, что Commit'a все же не было, хоть размер файла кэша и увеличивался? Что ж, будем считать, что это причуды SQLite и не обращать на это внимания, тем более, что есть еще чем заняться

relictus

Цитата:

Получается, что Commit'a все же не было, хоть размер файла кэша и увеличивался?

в моём понимании, место отведённое в памяти кончилось, и пошла запись на диск, что-то вроде продолжения буфера.

Фух, дочитал... Читать архив если чессно уже не тянет, НО проникнуться развитием проги успел

Во-первых, ОГРОМНОЕ СПАСИБО автору проекта. Во-вторых, количество хотелок, ИМХО, не первой нужды (типа настройки цветов юзвером) вроде как началось уменьшаться, это радует

Остался только один пока вопрос: почему настолько секретна и упрятана мульти? Про то, что неопытные юзеры могут снести им кэш я в курсе, но не верится в это оправдание...

Ну и хотелось бы узнать хоть через ПМ пароль на крайнюю версию мульти, а еще лучше ссылку на мульти 2.3.0 (А то у меня ща загрузка типа-мульти организована тупо на 2 компах и нетбуке )

Автору удачи в этом непростом деле и музу что ли

Xobotyara

Цитата:

Автору удачи в этом непростом деле и музу что ли

Спасибо. Мне бы просто времени свободного побольше
Мульти для последней версии сделаю сегодня. Без пароля

Добавлено:
v2.3.0_multi_exe

relictus
Во время работающей закачки выделенная область открыта для перемещения. Это как-то влияет на на уже начатую закачку?

netrebos
Нет. Пока активна закачка (т.е. после клика на "Выполнить"), до ее прекращения список закачиваемых тайлов никак не меняется.

relictus
а у меня последняя (и мульти и не мульти) версия не желает качать снимки.
скачало 4 картинки и алес.
прокси настроил, но более 4х картинок никак.
и импорт у меня не получился из ЕС

zporuchik
Какой уровень, слой? Можешь прислать сохраненную область выделения?
А с импортом что, уточни?

relictus

Цитата:

Какой уровень, слой?

слой - снимки гугла. выделять ничего не выделял. область - Волгоград. масштаб пробовал от 10го до 15го.
Хотя даже 4 тайла 2го слоя не загрузились. только 1 тайл 1го.


Цитата:

А с импортом что, уточни?

пытался импортировать из кэша ЕС 10й зум, что бы по темному экрану не ползать, показал ему мамку Sat в кэше - ничего., показал папку, которая содержит в себе папку Sat - тоже ничего.

relictus

Цитата:

список закачиваемых тайлов никак не меняется.

Успокоил, а то у меня ребенок развлекался над суточным заданием

zporuchik
А в каком режиме смотрел спутник? инет+кэш? Что показывает твой проксомитрон - идут запросы от SatMap'a?

Насчет ES - хз, раньше работало
А сейчас и проги-то этой нет у меня, ни кэша, чтоб посмотреть
Если можешь, выложи где-нибудь небольшую (< 1МБ) часть его кэша, гляну...

relictus

Цитата:

инет+кэш?

да

Цитата:

Что показывает твой проксомитрон - идут запросы от SatMap'a?

зараза. полез смотреть запросы в проксомитрон - начал грузить тайлы. )))


Цитата:

А сейчас и проги-то этой нет у меня, ни кэша, чтоб посмотреть

В SAS можно поставить формат ES1.5

Добавлено:
Хрен там. Стоял режим "Только нет"- заработало, переключил в Нет+кэш - перестало, переключил обратно в Инет - тоже

Цитата:

HTTP/1.1 502 Bad Gateway

Код: +++GET 3864+++
GET http://mt0.google.com/vt/lyrs=h@121&hl=ru&x=146&y=85&z=8&s=Gal HTTP/1.1
Accept: */*
Accept-Language: en,ru
Referer: http://mt0.google.com/vt/lyrs=h@121&hl=ru&x=146&y=85&z=8&s=Gal
User-Agent: Mozilla/4.0 (compatible; MSIE 6.0;)
Accept-Encoding: gzip, deflate
Host: mt0.google.com
Cookie: PREF=ID=bdef3dee628794fa:TM=1269952520:LM=1269952520:S=BCDsPNwMn3-GWKvV
Connection: keep-alive
Accept-Charset: windows-1251, cp-1251
Proxy-Authorization: Basic MTox

+++RESP 3864+++
HTTP/1.1 502 Bad Gateway
Content-Type: text/html; charset=UTF-8
Content-Length: 1409
Date: Tue, 30 Mar 2010 12:35:35 GMT
Server: GFE/2.0
X-XSS-Protection: 0
Connection: close
Match 3864: Stop browser window resizing
Match 3864: Kill pop-up windows
Match 3864: Suppress all JavaScript errors
<end> 3864: Reset page events {^sites} [RT]
<end> 3864: Restore pop-ups after a page loads
+++CLOSE 3864+++

zporuchik

Цитата:

В SAS можно поставить формат ES1.5

У меня его нет

Цитата:

Стоял режим "Только нет"- заработало, переключил в Нет+кэш - перестало, переключил обратно в Инет - тоже

Покажи логи проксомитрона с запросами.

Переключил в Только инет (сат+гибрид), ПЕРЕЗАПУСТИЛ прогу - заработало

Добавлено:
relictus

Цитата:

Покажи логи проксомитрона с запросами.

показал

переключил опять в Нет+Кэш (сат+гибрид) - работает (без перезапуска)

Добавлено:
relictus

Цитата:

У меня его нет

аяяй. как не хорошо обманывать
а DblDwnl=1 тебе во сне явилось?

Цитата:

HTTP/1.1 502 Bad Gateway

Может из-за этого?


Добавлено:

Цитата:

аяяй. как не хорошо обманывать

Я имел в виду кэша в САСе нет

Добавлено:
А с импортом ES смотрю - что-то код его как-то попортился в проге, может от древности Разберусь...

relictus

Цитата:

Может из-за этого?

да ну. САС работает. и СатМап тоже периодически работает.

zporuchik
Может коннект через твой прокси не стабильный?
Проверил Волгоград, у меня всё влет качается и с прокси и без

relictus
что-то непонятно творится (возможно на стороне гугла)
Инет+кэш
может загрузить, но не отобразить ни одного тайла
или пропустить некоторые тайлы, если вручную тайл удалить\загрузить то появляется

вообщем на стороне гугля заморочки
да и в кэш всякая хрень записывается

Добавлено:
кэш отправил на мыло

Добавлено:

Цитата:

А с импортом ES смотрю - что-то код его как-то попортился в проге, может от древности Разберусь...

экспорт в GoogleMV и SAS попортился
Cannot create file "C:\temp\1\". Системе не удается найти указанный путь.

Добавлено:
однако гугл обновился вроде
гибридный слой теперь имеет везде русские надписи

Да вроде нормально с гуглом ( со снимками по крайней мере). 8 потоков качают, не ругаются...

Импорт из САСа прошел нормально, так же как экспорт из общей базы SatMaps.

relictus

Цитата:

что-то непонятно творится (возможно на стороне гугла)
Инет+кэш
может загрузить, но не отобразить ни одного тайла
или пропустить некоторые тайлы, если вручную тайл удалить\загрузить то появляется

вообщем на стороне гугля заморочки
да и в кэш всякая хрень записывается

Добавлено:
кэш отправил на мыло

ложная тревога, дёрнуло меня в Proxomitrone настройки менять,
была включена - Отладочная информация HTML

Добавлено:

Цитата:

да и в кэш всякая хрень записывается

но то что мусор всякий записывается, это недоделка

Добавлено:
вот гугл ушёл из китая, теперь китайские прокси не работают

Цитата:

Not Found
The requested URL was not found on this server.

Добавлено:
вот хрень, даже через анонисные прокси, соравно получаю гибридный слой на русском

Добавлено:

Цитата:

вот хрень, даже через анонисные прокси, соравно получаю гибридный слой на русском

вот блин забыл, что в запросах ru прописано

egor23

Цитата:

но то что мусор всякий записывается, это недоделка

Вообще-то мусор и не должен был пройти в кэш - имеется ведь проверка по сигнатурам начала/конца изображения. Разве что, к примеру, в теле JPEG'a что внедрилось... но как?
А ты в каком режиме качал? Выделением? Версия обычная/мульти?