Ru-Board.club
← Вернуться в раздел «Программы»

» SatMap (2)

Автор: egor23
Дата сообщения: 27.02.2010 15:09
relictus

Цитата:
Уверен? Откуда они беруться у тебя, должно быть летаешь по карте? У себя не заметил никаких очередей...

хм, сделайте зум, например с 6 по 16 уровень и обратно (Инет+кэш) и закройте SatMap, не дожидаясь загрузки тайлов.
или по перемещайте карту несколько экранов и закройте SatMap, не дожидаясь загрузки тайлов.

Добавлено:
получается баг из 2.2.5 режима Инет (тайлы грузились, но не записывались в кэш), перебрался на закрытие SatMap, тайлы грузятся, но не записываются в кэш.
или типа того
Автор: parasss
Дата сообщения: 27.02.2010 17:03

Цитата:
Есть 5 вариантов для ведения журнала, цитата из мануала:
В SatMap используется дефолтный...

Оно конечно матчасть - это матчасть.....но вот данную конкретную проблему снятия ненужной нагрузки с винта не решает.


Цитата:
the rollback journal is deleted at the conclusion of each transaction.

Я именно про это и говорил: на КАЖДУЮ транзакцию:
1) создается файлик .journal
2) в него пишется\читается контент
3) контент и хидеры\семафоры пишутся в базу
4) файлик удаляется.

То есть как минимум 4 долбления в винт на к.тайл только для контента. Учитывая то, что разговор идет про создание\удаление "физического" файла - сюда же добавляем еще несколько обращений в FAT для фиксирования всего этого великолепия.

Если помножить все это на число транзакций Х число сессий Х число тайлов Х время работы - получаем банальный брутфорс в винт на тему "Когда же ты сбойнешь??".

Добавлено:

Цитата:
Если же файл был поврежден где-то в середине, к примеру, то узнать валидный формат или нет без предварительного просмотра никак нельзя.

Где-то у меня была мелкая утиль, проверяющая валидность тела картинки (автоматом, без просмотра)...
Автор: relictus
Дата сообщения: 27.02.2010 18:20
egor23

Цитата:
тайлы грузятся, но не записываются в кэш.

Если один-два, то это не страшно (ИМХО), т.к. при закрытии загрузчику тайлов (в отдельном thread'e) поступает сигнал о прекращении закачки и прога закрывается. Но загрузчик может еще какое-то время (зависит от скорости закачки и стадии выполнения загрузки очередного тайла) проработать, до обработки сигнала о прекращении закачки.
Можно, конечно, сделать чтобы прога не закрывалась, пока не остановится загрузчик, но тогда будет ощущение, что прога подвисла при выходе - а это тоже тебе не нравится

parasss

Цитата:
но вот данную конкретную проблему снятия ненужной нагрузки с винта не решает.

Я предложил варианты, которые можно использовать, а ты уж сам подбирай, что тебя устроит...


Цитата:
утиль, проверяющая валидность тела картинки (автоматом, без просмотра)

Сомневаюсь, что jpeg можно так проверить - у него же нет поля типа CRC...
Автор: Ogr_2
Дата сообщения: 27.02.2010 18:52

Цитата:
Можешь прислать мне эти битые тайлы?

http://www.sendspace.com/file/my48hq - скачены 2.2.5.1
Автор: egor23
Дата сообщения: 27.02.2010 20:41
relictus

Цитата:
Если один-два, то это не страшно (ИМХО),

100-200-300 тайлов, в зависимости от того как "наскролить".
могу видео сделать, делать?

Цитата:
Можно, конечно, сделать чтобы прога не закрывалась, пока не остановится загрузчик, но тогда будет ощущение, что прога подвисла при выходе - а это тоже тебе не нравится

в данный момент так и происходит, или мне так кажется.
Автор: relictus
Дата сообщения: 27.02.2010 21:14
egor23

Цитата:
100-200-300 тайлов, в зависимости от того как "наскролить".

Фигасе!
Как только у тебя так получается?? Делай видео, только размеров желательно небольших, посмотрю в понедельник...
Автор: relictus
Дата сообщения: 01.03.2010 08:33
Ogr_2

Цитата:
http://www.sendspace.com/file/my48hq - скачены 2.2.5.1

Я просил прислать только битые тайлы, а не весь уровень...
Там 5 файлов jpeg, у которых отсутствует конец, а соответственно и сигнатура конца. А поскольку в последней версии SatMap такой тайл просто не может записаться в кэш, то я не знаю, откуда они взялись среди остальных нормальных тайлов.
У меня такое ощущение, что ты скачивал их вообще GoogleMV - именно он так сохраняет недокачанные картинки...

Добавлено:
Еще ко всем, отсылающим логи ошибок, просьба - ну пишите, хоть в двух словах, какое действие вызвало ошибку!

Добавлено:
Некто "admin", приславший баг-репорт, связанный с экспортом в САС (?) - что там конкретно произошло? Т.к. описание ошибки почему-то оказалось состоящим из одних вопросительных знаков
Автор: xliosha
Дата сообщения: 01.03.2010 11:24
relictus,
не знаю про admin-а, но экспорт в САС у меня постоянно вываливается.
Начинает экспортироваться, а потом "попытка доступа по адресу 00000000".
Автор: relictus
Дата сообщения: 01.03.2010 12:05
xliosha

Цитата:
не знаю про admin-а, но экспорт в САС у меня постоянно вываливается.

А чего ж молчите-то?
Нашел, в чем там дело, поправлю в следующем билде...

Добавлено:
egor23
Ну пытай снова
v2.2.5.3_exe
Теперь закачка прекращается сразу же после закрытия проги (вроде )
xliosha
можно проверить и насчет экспорта в САС.
Автор: egor23
Дата сообщения: 01.03.2010 13:58
relictus

Цитата:
Ну пытай снова
v2.2.5.3_exe

сейчас просто виснет, при скроле и т.п.
задержки при смене уровней, запуске\выходе

при более "медленном Инете", совсем всё кисло, SatMap становится совсем не юзабельным.
Автор: relictus
Дата сообщения: 01.03.2010 14:30
egor23
Ладно.. пока есть еще идеи, будем экспериментировать

Добавлено:
egor23
А если так: 2.2.5.4_exe ?
Автор: xliosha
Дата сообщения: 01.03.2010 20:16
relictus,
ага, спасибо, теперь экспорт без ошибок.
живём!

UPD
Ещё проблемы: такое впечатление, что при просмотре (интернет+кеш) прога при составлении списка закачки ориентируется не на размер текущего окна, а на размер всего экрана. то есть если окно небольшое, начинаются скачиваться тайлы вообще в него не попадающие.
Автор: Ogr_2
Дата сообщения: 02.03.2010 02:36

Цитата:
А поскольку в последней версии SatMap такой тайл просто не может записаться в кэш, то я не знаю, откуда они взялись среди остальных нормальных тайлов.
У меня такое ощущение, что ты скачивал их вообще GoogleMV - именно он так сохраняет недокачанные картинки...

Весь этот кусок вмести с битыми тайлами скачан SatMap 2.2.5.1.
Либо все-таки умудряется такие писать. Либо целые тайлы портит при записи в кеш. Можно подумать о проблемах с винтом, но пока таких не замечал. Какнибуть на другом винте проверю.


Автор: ZergAnaliZer
Дата сообщения: 02.03.2010 08:02
Здравствуйте! У меня такой вопрос: можно ли сделать поддержку файлов конфигурации картсерверов .zmp из SAS? Или могут быть проблемы по авторским правам? Сделав раз такую поддержку, можно подключить те картсервера, что есть и появляются в SAS.
Автор: relictus
Дата сообщения: 02.03.2010 08:05
xliosha

Цитата:
такое впечатление, что при просмотре (интернет+кеш) прога при составлении списка закачки ориентируется не на размер текущего окна, а на размер всего экрана

Да, так и есть.

Ogr_2
Не знаю, в чем точно проблема... SatMap просто физически не может записать в кэш недокачанные тайлы, а при экспорте используются стандартные виндовые файловые функции, т.е. и тут проблем не должно быть. И никто никогда не жаловался на битость тайлов, так что я

Добавлено:
ZergAnaliZer

Цитата:
можно ли сделать поддержку файлов конфигурации картсерверов .zmp из SAS?

Нет.

Цитата:
Или могут быть проблемы по авторским правам?

Шутите? У САС есть права на закачку с карт-сервисов?
Проблема в простой несовместимости...

Добавлено:
Radar1962

Цитата:
Предложение по добавлению опции - определение прямоугольных координат (бывает очень нужно)

Я не геодезист, не могу разобраться с присланной формулой, что там к чему
Если тебе это еще надо, напиши математически преобразование, если на входе даны Lat, Lon в системе координата гугла, то что на выходе?
Автор: xliosha
Дата сообщения: 02.03.2010 09:47

Цитата:
Цитата:такое впечатление, что при просмотре (интернет+кеш) прога при составлении списка закачки ориентируется не на размер текущего окна, а на размер всего экрана


Да, так и есть.

а нельзя ли сделать, чтобы всё-таки на размер окна ориентировалась?
Автор: relictus
Дата сообщения: 02.03.2010 09:54
xliosha

Цитата:
а нельзя ли сделать, чтобы всё-таки на размер окна ориентировалась?

Да можно, наверное

egor23
Куда пропал?
Автор: egor23
Дата сообщения: 02.03.2010 10:18
relictus

Цитата:
Куда пропал?

вчера не успел написать
сейчас повторить не получается (1.)

1. Удалось получить
List index out of bounds (0).
Memory Leak:

2. На медленном Инете и неочень медленном, при выходе может повиснуть\или подвиснуть.
3. При медленном (большой пинг\задержки) при закрытии ожидает ответа(ов) на посланные запросы.
4. Попался прокси с Забанили, так вот:
Запускаем Satmap
Закрываем Satmap (не дожидаясь окошка Забанили)
и "висим", Satmap постоянно посылает запросы в сторону гугла

PS: замечено прокси могут быть вроде быстрыми, но всторону гугла жутко тормазнутыми.
Автор: relictus
Дата сообщения: 02.03.2010 10:39
egor23
Memory Leak - пришли репорт на мыло.
А общее впечатление от работы последнего билда каково?
Автор: egor23
Дата сообщения: 02.03.2010 10:51
relictus

Цитата:
А общее впечатление от работы последнего билда каково?

при выходе может повиснуть\или подвиснуть.
при медленном нете после закрытия загружает все тайлы с уровня (20 тайлов)
Автор: parasss
Дата сообщения: 02.03.2010 20:03

Цитата:
Я предложил варианты, которые можно использовать, а ты уж сам подбирай, что тебя устроит...

Пока что юзаю вариант, не предложенный тобой (запись на сторонний сетевой NAS с рейдом). Через сеть в виде буфера + через парочку FIFO на обоих концах коннекта - пока что вроде ничего не падает... Подождем конечно, но с записью на локальный диск я бы
чего-нить подумал бы на твоем месте как разработчика. Поваленный FAT на диске - это далеко не битый тайл в кэше, это уже весьма сурьезно...


Цитата:
у него же нет поля типа CRC..

На одном CRC мир не остановился.
Можно например банально попробовать распаковать ЖПЕГ в памяти со включенным вербосом от декодера, и посмотреть на выхлоп после операции. Если декодер скажет ОК - то картинку будем считать валидной, если выдаст сбойный чанк, который не смог распаковать - значит битая (особенно при принятии во внимание того, что стандартные жпеговые декодеры могут\будут останавливать дальнейшую распаковку если найдут еррор в теле текущего чанка и если взведено STOP_ON_ERROR - это выливается в "серое поле до конца картинки").

Либо взять из заголовка параметры жпегового битмапа, распаковать боди файла в памяти при взведенном STOP_ON_ERROR и сравнить размер распакованного битмапа с тем, что в заголовке. Серое поле - это нули, а нули можно отскипать в сторону. Если размер битмапа явно отличается от указанного в заголовке (особенно с откинутыми нулями) - то либо хидер битый либо битмап, что и требовалось доказать.

Либо взять превью из жпег-заголовка, опять же распаковать боди, уменьшить распакованное до размера взятой превьюхи и сравнить два битмапа (с некоторыми ненулевыми допусками, конечно).

Либо комбинировать все эти методы (они кстати применимы не только к жпегу, а к любому битмапу кроме RAW).

В любом случае, задача решаема (и давно есть утиль). Например оная на ура мне искала как-то битые тайлы в кэше САСа. Специально пару байт в теле файла редактором менял, и подсовывал утили - вылавливала на ура и вываливала списочек....
Порою дома в нычках седня, дам.
Автор: relictus
Дата сообщения: 03.03.2010 07:32
parasss

Цитата:
я бы чего-нить подумал бы на твоем месте как разработчика.

Я не разработчик SQLite.
Можно в качестве эксперимента сделать создание журнала в памяти - будешь тестировать?

Цитата:
стандартные жпеговые декодеры могут\будут останавливать дальнейшую распаковку если найдут еррор в теле текущего чанка и если взведено STOP_ON_ERROR

Знаешь, как сделать подобное с ijl15.dll (Intel® JPEG Library)?
Автор: ZergAnaliZer
Дата сообщения: 03.03.2010 08:52
relictus

Если загрузка с гугла у вас и у САСа одинаковая, то насколько трудно хотя бы конвертер сделать для их .zmp? ECW с вашей программы и с SAS одинаковые датумы и проекции создает. Если, скажем, посчитать смещения и т.п. координат других картсерверов и гнать с них тайлы с преобразованием в систему координат гугла - насколько это реально? Я просто стараюсь максимально простыми средствами сподвигнуть вас на поддержку других картсервисов, пусть даже они помедленнее грузиться будут, чем в САСе. Наиболее интересен Яндекс и Bing, хотя Навител тоже очень внушает, можно в GM на спутник по особому алгоритму прозрачности и цветокоррекции наложить Навител, не портя картинку спутника, но добавив желтенькими/красненькими полупрозрачные надписи, дороги и т.п. (слив в единый ecw).
Автор: relictus
Дата сообщения: 03.03.2010 09:07
ZergAnaliZer

Цитата:
Я просто стараюсь максимально простыми средствами сподвигнуть вас на поддержку других картсервисов

А... вон в чем дело!
Так я уже давно "сподвигнут", просто нет времени сейчас... честно...
Автор: egor23
Дата сообщения: 03.03.2010 12:07
relictus

Цитата:
Можно в качестве эксперимента сделать создание журнала в памяти - будешь тестировать?

может сделать вкладку по настройками SQLite
а там пускай народ крутит\вертит тестирует, что в его конкретном случае лучше.?
Автор: relictus
Дата сообщения: 03.03.2010 12:11

Цитата:
может сделать вкладку по настройками SQLite, а там пускай народ крутит\вертит тестирует

Не думаю, что это - хорошая идея Такое могут накрутить, а потом я же и виноват останусь, если база запорется или еще чего случится
Можно сделать твики вручную редактируя файл конфига - как раз для advanced user'ов
Автор: egor23
Дата сообщения: 03.03.2010 12:15
relictus

Цитата:
Можно сделать твики вручную редактируя файл конфига - как раз для advanced user'ов

это уже детали, главное чтобы описание было параметров
и незабываем бувает, что конфиг-файл "портится", настройки теряются.
Автор: relictus
Дата сообщения: 03.03.2010 12:24

Цитата:
бувает, что конфиг-файл "портится"

Ну, если специально не стараться, то испортить конфиг невозможно. Или можно-таки?

Добавлено:
Очередной тестовый билд: v2.2.5.5_exe
egor23
Теперь два теста:
1) как обычно, то что ты делаешь последние билды
2) сделал создание журнала в памяти (пока жестко вшито в код, без возможности изменения) - надо проверить, как теперь с количеством обращений к винту/файловых операций с кэшем? Теоретически, это должно также увеличить скорость записи в кэш и уменьшить "шуршание" харда. Проверять в режимах скачивания по выделению!
Автор: egor23
Дата сообщения: 03.03.2010 13:38
relictus

Цитата:
Очередной тестовый билд: v2.2.5.5_exe

1. Могут Выскакивавать более одного окна Забанили:
Выскачили два окна Забанили за раз, режим Инет+кэш\Инет
Выскачили три окна Забанили за раз, режим Инет+кэш\Инет

Цитата:
при выходе может повиснуть\или подвиснуть.
при медленном нете после закрытия загружает все тайлы с уровня (20 тайлов)
Автор: relictus
Дата сообщения: 03.03.2010 14:15
egor23
Про закрытие - забыл в этом билде раскомментировать код
В след. постараюсь не забыть
Очереди загружаемых тайлов наблюдаются? (Не считая 1-2 при быстром переходе с уровня на уровень...)
Подтормаживания?

Страницы: 1234567891011121314151617181920212223242526272829303132333435363738394041424344454647484950515253545556575859606162636465666768697071

Предыдущая тема: BitTorrent/BitComet/Azureus/BitTornado и др. / сеть и клиент


Форум Ru-Board.club — поднят 15-09-2016 числа. Цель - сохранить наследие старого Ru-Board, истории становления российского интернета. Сделано для людей.