» SatMap

egor23
Ось - WinXP SP3

Цитата:

Проблемы с небольшими картинками, для которых как-бы памяти должно быть достаточно:

для обкатки мысли взял две области одна должна занимать больше 2ГБ памяти, другая меньше 2ГБ:
Больше 2ГБ: 26752x27008 (2067МБ)
Склеилось, расход памяти в пике - всего 40МБ.

Меньше 2ГБ: 26112x26112 (1951МБ)
первый этап прошёл: temp файлы создались.
второй этап (сохрает в jpeg) ошибка: Access violation at address 00403361 in module 'SatMap.exe'. Write of address FFFFFFFD.



Добавлено:
Меньше 2ГБ: 24064x24064 (1657МБ)
сразу вылетел: Access violation at address 00403361 in module 'SatMap.exe'. Write of address FFFFFFFD.

egor23
И правда, выделил 24064x24064 и только нажал "выполнить", как сразу получил то же самое AV! Буду разбираться, спасибо за тестинг!

egor23
В общем, в том компоненте, который я использую для обработки графики, под изображение, занимающее до 2Гб используется не memory-mapped file, а ОЗУ. Память выделяется вот так:
result := pointer(GlobalAlloc(GPTR, ASize));
где GPTR = 0x40, ASize = 1774190628 (для выделения 24064х24576)
И результат этой функции = FALSE, отсюда и AV.
Почему так, я еще не разобрался
Наверное, отпишу разработчику этого компонента, пусть он ломает голову, ибо баг этот его, ИМХО
Может есть какие идеи?
Кстати, если при отладке принудительно задать использование не памяти, а MMF, то проблемное выделение без проблем склеивается. Тавталогия, однако

relictus
я вообще не программист, могу только догадки строить:
1. Скорее всего есть проверка на доступную виртуальную память, если её недосттаточно, то используются дисковые операции (через temp-файлы).
2. Если достаточно, то операции идут в памяти, но без учетов непрерывных блоков и того как во время работы выделяется память, соответственно идут косяки.


Добавлено:

Цитата:

Если достаточно, то операции идут в памяти

мысль вообщем правильная, но не доведённая до конца.

relictus

Цитата:

Выделена область 177х145 = 25665 тайлов (2088 есть в кэше) размерами 45056х36864 пикселей! Выбран формат JPEG, качество = 50. Галки с других опций сняты. Засек время, потребовалось почти 1 час на склейку на компе с вышеобозначенными ТТХ. Во время склейки образовывались временные файлы вида IMG-xxxxxxx.tmp. Было их максимум 3 штуки, с размерами до 61.5, 4.61, 4.69 гига!

ИМХО, создание гигантских JPEG-ов имеет чисто спортивный интерес, и никакого практического смысла. Очень жаль что такой шикарный wavelet формат-монстр как MrSID так и не обрел должной популярности (пусть даже и нелегальным образом) . Судите сами: компрессором MrSID Geo 1.5, на старом слабом компе (AMD K-7 750Mhz, 384мб ОЗУ, WinXP prof) легко удавалось сложить растры размерами этак (трепещите джипеги!) 76544 x 73728, а то и 40960 x 204800 пикселов. Единственное ограничеиие и то для старых версий формата: обьем MrSID-файла не мог быть более 2-х гигабайт. Но, даже с жестокой 25-кратной компрессией потери деталей и артефакты в глаза не бросаются. А просматривать и масштабировать MrSID-файлы можно хоть на первом пентиуме. Просмотровщики бесплатны, не все конечно.

Цитата:

А просматривать и масштабировать MrSID-файлы можно хоть на первом пентиуме.

Цитата:

создание гигантских JPEG-ов имеет чисто спортивный интерес

да и JPEG больших размеров можно просматривать

Цитата:

Из небольших радует стандартная - Программа просмотра изображений и факсов.

Добавлено:
relictus

Цитата:

Да... выходной файл получился размерами 25.1 Мб. Могу выслать, если кто не верит

Выложте файлик, а то делать не охота, а под рукой хотелось бы иметь.

egor23
Все твои догадки абсолютно верны, так и есть в этом компоненте. Мне непонятно почему не срабатывает выделение памяти системной функцией GlobalAlloc, к примеру на 1.65 Gb, когда ее доступно еще более 3 Gb?? Глюки винды? Delphi?..
Разработчику я отписал. Будем разбираться.

VMatveev

Цитата:

ИМХО, создание гигантских JPEG-ов имеет чисто спортивный интерес

+1
Но в данном случае именно большие JPEG-и создаются, проблема в маленьких (ну относительно)...
Давно уже смотрю в сторону тех же вейвлетов формата ECW. Придется таки заняться им вплотную

Добавлено:
egor23

Цитата:

Выложте файлик, а то делать не охота, а под рукой хотелось бы иметь.

Той области, что я склеивал? Без проблем, но только в понедельник, сейчас инет диалапный. Если не секрет, а зачем его иметь под рукой?

Цитата:

Той области, что я склеивал? Без проблем, но только в понедельник, сейчас инет диалапный. Если не секрет, а зачем его иметь под рукой?

Чтобы смотреть как просмоторщики на это "смотрят"
т.к. 45056х36864 это будет 4.7ГБ.
та же "Программа просмотра изображений и факсов" вроде даёт просматривать большие картинки, но хотелось бы наверняка знать.

egor23

Цитата:

да и JPEG больших размеров можно просматривать

Ага, на четырехпроцессорном сервере с 16гигабайтами оперативки...
Или ждать по полчаса пока декодируется в несколькогиговый своп.

relictus

Цитата:

Давно уже смотрю в сторону тех же вейвлетов формата ECW. Придется таки заняться им вплотную

Респект! Давно пора уже. А Вы всё на этот грёбанный джипег зря время тратите.

egor23

Цитата:

Чтобы смотреть как просмоторщики на это "смотрят"

Даже XnView видит только thumbnail (миниатюру) JPEG такого размера. Остальные вьюверы не пробовал...... Завтра выложу на sendspace, подойдет?

VMatveev

Цитата:

А Вы всё на этот грёбанный джипег зря время тратите.

Да не трачу я на него времени Тут проблема в выделении памяти под склейку, неважно какого формата. Вот это разрулю и вперед - к вейвлетам!

egor23
Вот обещанный JPEG:
File Name: 45056x36864.7z
Size: 515KB
_http://www.sendspace.com/file/oade8c

VMatveev

Цитата:

ИМХО, создание гигантских JPEG-ов имеет чисто спортивный интерес, и никакого практического смысла.

я уже говорил про смысл именно для меня: jpg+map -> oZi (ozf2+map) -> (ogf2+map) -> smartconGPS на смартфоне
и тут jpeg выступает только промежуточным файлом для image to OZF converter

если-бы уважаемый relictus подумал о возможности экспорта сразу в ozf2 (внутри, судя по моему разумению мозаика из кусочков изображения)... но это уже довольно глобальная "хотелка" вне первоначального замысла использования программы, да и формат, кажется закрытый... так что вариантов особо и не остаётся...

Можно ли обеденить два кеша?

sssb

Цитата:

если-бы уважаемый relictus подумал о возможности экспорта сразу в ozf2

Неплохая идея.
Если это затруднительно, то можно в любой другой отличный от jpg формат, который не требует столько ресурсов для запаковки (я так понимаю именно сжатие критично) как jpg. Хоть тот-же bmp - его склеивать проще пареной репы.
Главное, чтобы этот формат поддерживал Img2ozf (а он их поддерживает достаточно)

kravets_igor

Цитата:

Можно ли обеденить два кеша?

Пока только так:
1) экспорт 1-го кэша в формат GoogleMV
2) импорт во 2-й кэш из ранее экспортируемого в GMV

o22

Цитата:

я так понимаю именно сжатие критично

Не совсем так. Сейчас критично именно выделение памяти под размер в районе 2GB. Тут создается чистый битмап, который уже далее конвертируется в JPEG, PNG или TIFF. Это глюк стороннего компонента, используемого в SatMap. Разработчик его уже в курсе и общела скоро все пофиксить.

А насчет ozf надо поискать, что есть доступного из описания формата...

Какой компонент, если не секрет ?

relictus

Цитата:

А насчет ozf надо поискать, что есть доступного из описания формата...

было-бы просто супер !

зы однако стали часто спрашивать распознавание буковок, примерно через 700-800 тайлов (качаю 9-ый уровень гибрида материков) - к чему-бы это?

sssb

Цитата:

к чему-бы это?

Активно качаешь, дай передохнуть проге

Выкачал ПО 9-й уровень все карты.
щас качаю 10-й, увы инет не быстрый, да и спутник он качает дико долго, т.к. многих кусков нету, а запросы всёравно уходят.

Автору - огромное спасибо, программа великолепная!

Добавлено:
До полного счастья не хватает ГПС навигации, хотябы на уровне "где я щас"

ЗЫ кому нада карты до 9-го уровня - могу выложить на рапиду

relictus

Цитата:

Т.е. такого формата, как сейчас в SatMap копируются обе координаты? Так: N45°11'51.08" E34°31'8.55" ?

Чтобы формат был как в .wpt, только вместо запятых была табуляция:
имя<tab>45.1833<tab>-34.5166<tab>описание

Хочется узнать а с GPS программа будет в будущем работать т.к. сейчес это очень актуально.

И еще в последней версии (1.2.5.99) есть косяк с указателями Места - при изменении мосштаба они остаются на том же месте - в окне, хотя на карте это место сдвинулось - нету привязки к карте.
А так прога просто кул. Продолжайте работать над ней.

NeiroNx

Цитата:

Хочется узнать а с GPS программа будет в будущем работать

Будет. В будущем

relictus
Не томи, когда подгрузка при просмотре будет?

Добавлено:
И ещё хотелось бы чтобы программа умела бы определять версию карт. Например лезет на maps.google.com, сообщает язык пользователя, парсит полученный хтмл и сообщает при изменении версии.

А то попытался поставить 99 - так карты пошли с английскими названиями, а русские в скобках мелким шрифтом. Неудобно. Приходится руками отслеживать.

Imperator
Всё будет, терпения чуток... вот только клонирую себя, дабы окончательно не разорваться пополам

И даже под windows mobile?

Imperator
Мобайла пока нет в планах, но с появлением у меня девайса с такой осью может и появится

relictus
Есть эмуляторы.

А вообще там это более актуально. Ибо пока нет ни одной нормальной проги для таких дел. А под PC - несколько. Было бы хорошо, если на PC заполнять кеш и переносить необходимые участки на КПК.

Imperator
Помнится мне сасовцы что-то там затевали для КПК, поспрошай их...

У них и под ПК глючит...