» CacheMaster

Друзья, известно ли по какому пути в W7 GoogleEarth кеширует 3Д-модели, как фотореалистичные, так и серые коробки?

Известно - в dbCache.dat или unified_cache_leveldb_leveldb2, если речь про GE 7.xx.

При включении в слоях 3D-моделей идут запросы вида:
_http://kh.google.com/flatfile?f1c-02030130-d.3002.581 - "дерево" наличия тайлов 3D-моделей
_http://kh.google.com/flatfile?f1-02030130213030-d.50200.562 - текстуры + модели для их натягивания

Причём, по таким адресам закачиваются фотореалистичные модели, условные и модели деревьев. А как известно, все flatfile сохраняются в dbCache.dat и в большинстве своём имеют уникальный формат. Если говорить конкретно о текстурах, то никаких утилит по вытаскиванию их в какие-нибудь человеческие форматы мне не известны.

P. S. Да, в других слоях (не с вкладки 3D-модели) могут встречаться различные 3D модели в открытом формате (в kml) и могут быть легко закэшированы и открыты в том же SketchUp. Помню как-то возникал у одного юзера подобный вопрос по 3D-модели исторического Рима в kml формате, правда сейчас я там что-то ничего подобного не нахожу.

P. P. S. Так же, замечено что при включении в слоях 3D моделей гугл подгружает некий blacklist:
_http://sketchup.google.com/3dwarehouse/blacklist
с интересным содержимым:

Цитата:

ae5a5b90864915cb233ff33728189a1d
de2063dc334a4ee8b0b19a72cc8226ce
4fc18f0d7fd49333c0898748757c86f0
b90c9e3face552d873ec37cc64d70ed8

Добавлено:
Ага, вот нашёл давнюю новость про Рим: На Google Earth появилась модель Древнего Рима

zedxxx
Спасибо за ценную информацию.
По мидам из blacklist можно скачать 3Д модели. По вашему примеру:
_http://sketchup.google.com/3dwarehouse/download?mid=ae5a5b90864915cb233ff33728189a1d&rtyp=k2
Аналогично эту модель можно скачать и из warehouse, но есть большое кол-во моделей скачать которые нельзя (самые интересные конечно же), но можно увидеть в GE.
Например, _http://sketchup.google.com/3dwarehouse/details?mid=9aa68dbd3f92b0622c7821faf9b6c40f&prevstart=0
и при запросе на закачку получим отказ: http://sketchup.google.com/3dwarehouse/download?mid=9aa68dbd3f92b0622c7821faf9b6c40f&rtyp=k2
Суть интереса получить такие "запрещенные" модели.
Значит они кэшируются именно в dbCache.dat. В шапке темы указано "При распаковке для GeoCacher-а извлекаются вообще все данные, которые есть в кэше GoogleEarth", т.е. и 3д-модели без текстур?

Цитата:

т.е. и 3д-модели без текстур

И с текстурами и без текстур. Но как я уже сказал, там специфический формат хранения данных (сырая бинарь) и вытянуть оттуда геометрию будет очень трудно. Если сами текстуры теоретически ещё более-менее просто достать, ввиду того, что они хранятся в растрах (jp2 kakadu), то вот с остальным придётся сильно напрягать мозги чтобы отреверсить формат и написать конвертер в kml.

Цитата:

вытянуть оттуда геометрию будет очень трудно

в бинарном формате нет ничего страшного (благо ГЕ под ПК), формат как kml так и Коллады - простой текст, поэтому его логично хранить в чём-то своём компактном.

Цитата:

в бинарном формате нет ничего страшного

Ага, особенно если ты компьютер - бинарь вообще родная стихия

Но коль вы не боитесь бинари, то вот вам для затравки: http://yadi.sk/d/FS3DA3XA88Upo
В архиве все данные, что понадобились GE для отображения "домика" с mid 9aa68dbd3f92b0622c7821faf9b6c40 (текстовый поиск по содержимому находит этот mid в двух тайлах). Тут всё: и модель и текстуры. Я специально призумился до максимума и нацелился строго на одну модель (благо, она достаточно уединённая), чтобы не загружалось ничего лишнего. Попробуйте проанализировать и разобрать вручную полученные данные.

Здравствуйте zedxxx.

Поддержка кэша седьмой версии планируется?

Да. В самое ближайшее время. SAS.Planet я уже обучил этому кэшу, осталось немного подрихтовать CacheMaster-а.

CacheMaster v.3.0.0.0:
- добавлена поддержка кэша GoogleEarth 7.xx (на базе leveldb)
- добавлен режим создания тектового дампа метаинформации
- добавлено создание *.kml файлов привязки
- добавлена поддержка мультиязычности, доступны встроенные языки: Русский и Английский

CacheMaster v.3.0.1.0:
- исправление ошибок

Здравствуйте.

Пару-тройку лет назад использовал Вашу утилиту ранней версии со старой гугл-землей. С тех пор много воды утекло. Ваша программа могла распаковывать кэш выдавая файлы в чистом виде с именами типа f1-0211003030111301333-i.155.jpg и т.п., где большая_серия_цифр - идентификатор места в нотации Гугл-Земли, 155 - номер версии снимков. Свежая же версия выдает файлы только в формате "SAS.Планеты" или "GeoCacher". Можете добавить возможность распаковки с прежними наименованиями файлов? Или подскажите, как можно трансформировать текущие файлы в ту исходную систему имен.

Т.е., например, как трансформировать имя файла "History\Images\fbaef\z19\225\x230981\92\y94225.jpg" в идентификатор места и версию?

Спасибо.

А для чего вам такие странные имена нужны?

Из кэша SAS обратно полностью восстановить имя не получится - версия там не сохраняется. А "большую серию цифр" восстановить можно, но тут должен быть минимальный навык программирования или скриптописания. Впрочем, если такие навыки есть, то и получить из кэша GeoCacher-а тайлы в нужном формате не составит труда. Благо, алгоритмы-то все известны и открыты.

Эти странные имена, в которых есть все необходимое, использую в своей самописной утилитке, которая склеивает файлы в необходимом виде, и готовит специфические дескрипторные файлы.
Было бы очень здорово, если бы в свою утилиту вернули бы возможность распаковки с именами в том самом старом формате, который довольно удобен для дальнейшей обработки результата распаковки - имя файла содержит всю необходимую информацию в понятном виде.
А вот с распаковкой без версий - еще хуже, ведь в кеше могут быть тайлы одного и того же места и разрешения разных версий (временных слоев), что соответственно не позволяет вытянуть из кеша именно нужный временной (исторический) слой.
Про именования файлов вида "fbaef\z19\225\x230981\92\y94225.jpg" пока так и не нашел информации о принципах формирования имени, догадываюсь только, что z19 - это зум, а остальные серии цифр и каталогов - пока темный лес. Можете ткнуть пальцем, где примерно написано о принципах этих имен?

Повторюсь, было бы очень здорово, если бы утилита позволяла извлекать файлы с теми именами что было ранее, это бы позволило использовать утилиту в качестве промежуточной для различных специфических задач, как, например, у меня...

Цитата:

использую в своей самописной утилитке

Если вы добавите в свою утилитку всего 1 функцию в несколько строк (CryptTile), то сможете использовать кэш GeoCacher-а напрямую, для своих задач.

Цитата:

Было бы очень здорово, если бы в свою утилиту вернули бы возможность

Да, могу сделать.

Цитата:

Про именования файлов вида

Это практически тайловый кэш SAS.Планеты:

fbaef - дата исторического тайла
z19 - зум, Z = 19
225 - X div 256 (div - целочисленное деление)
x230981 - координата X = 230981
92 - Y div 256
y94225 - координата Y = 94225

Используя функцию PointToDigitName из X, Y, Z получаем то самое длинное цифровое имя. Обратная функция для получения X, Y из имени: GENameStringToXY.

zedxxx
Большое спасибо аз программу. Но есть вопрос. Использую GE 7-ой версии. Сконвертировал Вашей программой кэш. Каким образом мне его подключить к SasPlanet?

1. Положить кэш в папку SASPlanet\cache\ge_earth
2. Модифицировать (или создать новый, на его основе) zmp SASPlanet\Maps\sas.maps\Google\GoogleEarth\GeoCacher.Http\GeoCacher.Earth.Http.zmp изменив там тип кэша с ОЗУ на SAS.Планета и прописав имя папки ge_earth

zedxxx
Спасибо за совет. Буду пробовать

zedxxx
Только что попробовал сделать все что Вы написали. Заработало, но не сразу.
1.Конвертор при указании что куда складировать создает по умолчанию дополнительные подпапки Earth/Images и тайлы кидает туда. Чтобы заработало, нужно было ручками переместить все сконвертированное на 2 уровня выше.
2.А вот со второй проблемкой я уже не знаю что делать, потому что не знаю кто виноват. Сконвертированные данные в SasPlanet ложатся со сдвигом. В моей широте где-то метров на 50. Явно что-то у кого-то не так с проекцией. Но вот у кого? GE, SasPlanet, или конвертор?

Какую проекцию указываете? На гугл мапс смещение есть? Смещение проверяете относительно чего?

zedxxx
Не понял вопроса. В Google earth проекция не указывается, в конверторе также, в SasPlanet проекция указывается только при склейке фрагмента.
Если в SasPlanet выбирать источником спутниковый снимок от Яндекса, то смещения нет и все точно. Смещение проверял относительно народной карты яндекса и собственных треков с навигатора. Сейчас проверю как свои точки в Google Earth ложатся, со смещением или без...

Цитата:

Конвертор при указании что куда складировать создает по умолчанию дополнительные подпапки Earth/Images и тайлы кидает туда.

Ну, там ещё могут быть папки Mars, Moon, History, так что дополнительно раскидывать по папкам нужно в любом случае.

Цитата:

в SasPlanet проекция указывается только при склейке фрагмента

Не только. Проекция карты указывается в zmp: http://sasgis.org/wikisasiya/doku.php/epsg_%D0%BA%D0%BE%D0%B4_%D0%BF%D1%80%D0%BE%D0%B5%D0%BA%D1%86%D0%B8%D0%B8

Цитата:

Сейчас проверю как свои точки в Google Earth ложатся, со смещением или без...

С этого и надо было начинать, прежде чем поднимать вопрос. Неточность привязки снимков на картсервисах - это обычное дело, чай снимки не с военных спутников, а обычный гражданский ширпотреб. И проверять надо не на яндексе, а на картах гугла. В SAS есть GoogleMaps, вот с ним и сравнивайте картинку, что получили из кэша GE.

В любом случае, "конвертер" никаких операций по смене пола проекций не выполняет, так что этот вопрос не ко мне.

zedxxx

Цитата:

Не только. Проекция карты указывается в zmp:

Спасибо, не знал. Но ситуации это не изменило в лучшую сторону.

Было:
[PARAMS]
EPSG=4326
[ViewInfo]
EPSG=3785

сделал:
[PARAMS]
EPSG=4326
[ViewInfo]
EPSG=4326
стало только хуже. Вернул все обратно.


Цитата:

В любом случае, "конвертер" никаких операций по смене пола проекций не выполняет, так что этот вопрос не ко мне.

Не обижайтесь. Огромное спасибо за конвертор. Претензий к Вам нет никаких, все отлично.
Просто есть смещение данных некоторых карт-сервисов. Вот их и обнаружил.

Есть еще вопрос: если файлы уже есть в кэше SasPlanet, что будет делать конвертор? Перезаписывать файлы или нет? Если да, то безусловно или по условию если файл новее?

Цитата:

если файлы уже есть в кэше SasPlanet

Перезапишет без всяких проверок. Единственное, в конце процесса будет показано число таких перезаписанных тайлов.

Ребята, кэш, котороый вытягивает CacheMaster, вообще работоспособен? Подключить к планете не получается. Мастер версии 3.0.1.0. Конвертирую в кеш геокешера. Из планеты (ночная) через GeoCacher.Earth.Direct.zmp пытаюсь открыть - тишина. Путь в настройках к каталогу с кешем прописан естественно.

Цитата:

вообще работоспособен?

Конечно.

Цитата:

через GeoCacher.Earth.Direct.zmp пытаюсь открыть - тишина

Естественно. Для распакованного кэша нужен другой zmp, с другими настройками.

Где его взять, этот zmp?

Насколько я понимаю, планете уже не нужен ни "TileStorage_GC.dll", ни "TileStorage_GЕ.dll", верно? Только "libge.dll"?

Возьмите свежий (сегодняшний) GeoCacher.Earth.Http.zmp и измените в нём тип кэша с "ОЗУ" на "SAS.Планета". Тайлы положите в папку: SASPlanet\cache\GE.Earth\ и будет показывать.

zedxxx, по http не работает история GE. А это критично. Сам http работает.

Вы определитесь, в каком режиме и откуда вы хотите смотреть снимки:

1. Из кэша GE напрямую, без распаковки.
2. Из распакованного кэшмастером кэша GE.
3. Из кэша GC напрямую, без сохранения тайлов в кэш SAS.
4. Из кэша GC по http, с/без сохранением тайлов в кэш SAS.

Мудрить с zmp нужно только для варианта 2. Для остальных вариантов zmp идут в комплекте с SAS.

Цитата:

Насколько я понимаю, планете уже не нужен ни "TileStorage_GC.dll", ни "TileStorage_GЕ.dll", верно? Только "libge.dll"?

Не верно, не нужна только TileStorage_GЕ.dll. Остальные dll нужны для вариантов просмотра снимков 1 и 3.

Цитата:

по http не работает история GE. А это критично.

Работает, но не очень удобно - нужно в параметры запроса вписывать дату снимка в бинарном виде. Если вам критична История, то для вас будет оптимальный вариант просмотра снимков - 3. Для этого режима нужна TileStorage_GC.dll и f1ct.dll (опционально, если хотите ещё видеть и высоты в строке состояния).

zedxxx,

Задача смотреть исторические снимки из планеты с возможностью склеивания листов.

1. Из кеша GE напрямую работает. Но ограничение на размер в 2048Мб в GE дает знать. Для маленьких кусочков еще можно использовать, но для больших регионов кеш, видимо, перезаписывается и часть уже скачанных данных вновь становятся недоступны.

2. Этот вариант видится мне наиболее приемлемым ибо отпадает лимит размера кеша и сохраняется возможность просмотра истории. Но он то как раз и не работает.

3. Распакованный кешмастером кеш GE в формате GC это разве не то же самое, что кеш GC, который он сохраняет, когда работает, как прокся? На самом деле ни один из этих видов кешей у меня в планете не видны. Пробовал прописывать разные пути и к кешу GC и к распакованному. Сборка ночная.

4. Этот вариант, по http, работает, но только один раз после первого запуска планеты. После этого спасает только удаление папки и установка планеты заново. К тому же в нем не очень удобно работать с историей GE.