Ru-Board.club
← Вернуться в раздел «Программы»

» CacheMaster

Автор: zedxxx
Дата сообщения: 15.10.2008 13:01
CacheMaster

Программа предназначена для распаковки кэша GoogleEarth.

Существует 3 режима работы программы:
- экспорт в тайловый кэш SAS.Планеты
- экспорт в тайловый кэш GeoCacher-а
- создание текстового дампа метаинформации

В режиме экспорта в кэш SAS.Планеты, из кэша GoogleEarth извлекаются только снимки (исторические в том числе). Кроме того, в этом режиме возможна генерация файлов привязки (*.map, *.kml, *.tab, *.jgw + *.prj).

В режиме экспорта в кэш GeoCacher-а извлекаются вообще все данные, которое есть в кэше GoogleEarth.

Ссылка на загрузку тут
Автор: relictus
Дата сообщения: 15.10.2008 14:52
zedxxx

Есть какие ограничения на размер kml?
Автор: zedxxx
Дата сообщения: 15.10.2008 18:53
У kml никаких ограничений нет, тем более, что создаётся не один файл, а множество, и моделируется такая же древовидная структура как и у гугла (только там это файлы q2). Для просмотра кэша запускается kml для самого верхнего уровня зума и далее он уже сам подгружает картинки и kml, которые лежат на нижних уровнях.
Для просмотра экспортированного в kml кэша лучше всего использовать программу GoogleEarth Pro 4.2 (из соображений быстродействия), хотя и с GoogleEarth Free 4.3 kml-кэш тоже работает (но немного медленнее).
Автор: zedxxx
Дата сообщения: 26.10.2008 13:38
В CacheMaster v.1.3 добавлена возможность экспортировать в kml-кэш снимки от google maps и ему подобных сервисов. Инструкция: Безлимитный кэш для Google Earth (KML- кэш)
Автор: rereh
Дата сообщения: 26.10.2008 16:28
Правильно ли я понял - можно насмотреть на 2Гб, распаковать данной программой. Насмотреть в другом районе - распаковать в ту же папку. При этом новые снимки добавятся к старым и останутся снимки с более высоким разрешением (а не те которые попали в кадр при новом просмотре)?
Если на Google заменили фото, то останутся более новые фото или фото с более высоким разрешением?
Работает ли птичка на вкладке "Рельеф" - после экспорта.
Автор: zedxxx
Дата сообщения: 26.10.2008 18:25

Цитата:
Правильно ли я понял - можно насмотреть на 2Гб, распаковать данной программой. Насмотреть в другом районе - распаковать в ту же папку. При этом новые снимки добавятся к старым и останутся снимки с более высоким разрешением (а не те которые попали в кадр при новом просмотре)?

Правильно. Таким макаром можно преодолеть лимит в 2 Гб (у меня в kml-кэше уже 3,5 ГБ).

Цитата:
Если на Google заменили фото, то останутся более новые фото или фото с более высоким разрешением?

В kml кэше остануться фото, которые вы туда добавляли, вне зависимости от того какие снимки сейчас в интернете или в кэше самого гугла. Если вы заметили, что для какой-то территории появились новые снимки, то можно кэш гугла с новыми снимками распаковать в другую папку и затем уже добавить её в kml. Т.о. можно сделать несколько версий kml для одной и тойже территории. А если распаковывать в одну и ту же папку разные версии снимков, то старые снимки будут перезаписаны новыми.

Цитата:
Работает ли птичка на вкладке "Рельеф" - после экспорта.

Все стандартные функции гугла продолжают работать, и если в кэше гугла по данной территории есть информация по рельефу, меткам, границам и проч. она будет отображаться.


Автор: zedxxx
Дата сообщения: 28.10.2008 17:08
CacheMaster v.1.3.1 - добавлена поддержка png формата картинок, для экспорта в kml (кэш формата GoogleMV).
Автор: alex769
Дата сообщения: 21.11.2008 04:28
Я пользуюсь SAS с кешем GoogleMV

Иногда хочется посмотреть какую либо конкретную область - такой возможности нет?

Для всего vesat кэша (~400 000 файлов) CacheMaster делал kml около часа - опять делать не хочется.
Автор: zedxxx
Дата сообщения: 21.11.2008 12:12
По конкретной области - пока нет, но я думаю, что такую возможность добавлю.
Автор: S_MoleTT
Дата сообщения: 03.01.2009 17:03
Прога супер!
Есть пару вопросов:
При повторном извлечении файлов из кеша гугля существующие файлы перезаписуются?
Можно ли в пути сохранения файлов убрать самодеятельность (ну чтобы папочки Earth\Images\ не создавались, а сохраняло именно туда куда написано)?
Спасибо
Автор: alexsak
Дата сообщения: 03.01.2009 18:15
CacheMaster v.1.3.3 на оффе уже с 24 дек. 2008
Автор: zedxxx
Дата сообщения: 04.01.2009 20:55

Цитата:
При повторном извлечении файлов из кеша гугля существующие файлы перезаписуются?

Да, если имена совпадают, то перезаписываются.

Цитата:
Можно ли в пути сохранения файлов убрать самодеятельность

Самодеятельность введена для удобной сортировки, как-то не думал, что может мешать... но добавить пунктик "Извлекать без сортировки" можно. Сделаем.

Автор: S_MoleTT
Дата сообщения: 04.01.2009 21:54

Цитата:
Самодеятельность введена для удобной сортировки, как-то не думал, что может мешать...

Было бы здорово распаковывать кэш Гугля прямо в кэш GMV, сохраняя всю структру папок кэша GMV:
х:\ххх\Cache\kh\01\
х:\ххх\Cache\kh\02\
и т.д.
Автор: zedxxx
Дата сообщения: 04.01.2009 22:05
Ага, так всё-таки сортировка нужна, но другая? И данное относится, я так понимаю, только к картинкам.
А что, если GMV указать просто папку с 01,02 и т.д. - не подхватывает? Ему обязательно Cache\kh\ нужно?
Автор: S_MoleTT
Дата сообщения: 04.01.2009 22:19

Цитата:
А что, если GMV указать просто папку с 01,02 и т.д. - не подхватывает?

нет.
он смотрит папку Cache, там несколько подпапок (mt, tt, kh), картинки хранятся в kh.
По другому он не понимает...

Может настройку пути сохранения файлов вынести в конфиг и пускай каждый как хочет так и ... конфигурирует, а то завтра кто-то захочет как нибудь иначе, или GMV поменяет свои настройки, или прога какая нибудь выйдет... ИМХО
Автор: alexsak
Дата сообщения: 05.01.2009 05:44
есть программуля GE_JPG_extractor она вроде экспортирует в формат кэша GoogleMV

http://google-earth.narod.ru/download/GE_JPG_extractor.7z
Автор: zedxxx
Дата сообщения: 05.01.2009 20:29

Цитата:
Может настройку пути сохранения файлов вынести в конфиг и пускай каждый как хочет так и ... конфигурирует

ок, что-нить придумаем
Автор: zedxxx
Дата сообщения: 07.01.2009 17:37
Выложил подправленную версию CacheMaster-а. Только одно изменение - при распаковке картинок в формат кэша GoogleMV не создаётся дополнительных папок, т.е. куда указали распаковать, там и получим папки 01,02...
Более глобальные настройки по формированию пути как-нибудь в след. версии сделаю.
Автор: S_MoleTT
Дата сообщения: 08.01.2009 10:53

Цитата:
Выложил подправленную версию CacheMaster-а

Спасибо! То что нада!
Автор: zporuchik
Дата сообщения: 06.02.2009 08:27
Народ, выручайте!
1. хочу сказать спасибо авторам за софтинку
2. распаковал я кэш ГЕ (интересуют только векторные данные)
3. получил кучу DCR файлов, а что далее сними делать?

Автор: zedxxx
Дата сообщения: 06.02.2009 11:31
zporuchik, спасибо на добром слове.
На счёт векторных данных - получить их довольно трудно, поскольку все они в бинарном формате, и соответственно, чтоб перегнать их в какой-нить стандартный, читаемый другими прогами формат, нужно "взламывать" этот самый бинарный формат...

Насчёт расширений DCR и UNZ:
При передаче данных из интернета от сервера клиенту GE все данные шифруются и все, кроме картинок, архивируются. Поэтому DCR - это расшифрованный файл, а UNZ - расшифрованный и разархивированный файл.
Если вас интересуют именно векторные данные, то эти файлы, кроме расшифровки, ещё нужно и разархивировать (и получить UNZ файлы), и только тогда, вы получите "чистые" бинарные данные, готовые ко взлому
Автор: zporuchik
Дата сообщения: 06.02.2009 14:59
zedxxx

Цитата:
Если вас интересуют именно векторные данные, то эти файлы, кроме расшифровки, ещё нужно и разархивировать (и получить UNZ файлы), и только тогда, вы получите "чистые" бинарные данные, готовые ко взлому

да именно
я хотел получить
1. границы снимков
2. наименования населенных пунктов
3. границы

а чем и как разархивировать?
Автор: zedxxx
Дата сообщения: 06.02.2009 18:07

Цитата:
а чем и как разархивировать?

Так всё им же, CacheMaster-ом. При распаковке данных из кэша GE отметьте галочки: Расшифровывать и Извлекать из архивов. Если расшифрованные файлы не нужны, то отметьте дополнительно: Удалять разшифрованные файлы (кроме картинок)
Автор: zporuchik
Дата сообщения: 06.02.2009 18:24
zedxxx
это я видел, а дальше? метод художественного тыка?
мне тут шепнули, что надо перехватить ключ идентификации при общении ГЕ и сервера, а потом с этим ключом раскодировать
подробностей пока не знаю.
как узнаю - напишу в ПМ, т.к. выносить технологию на паблик мне запретили - "ибо нефиг" (цитата)
Автор: zedxxx
Дата сообщения: 06.02.2009 19:02
Хм, интересно. По личным наблюдениям между сервером и клиентом никаких "ключей идентификации" не передаётся (кроме куки и данных авторизации). Но, перехватить могу что угодно, так что жду ПМ...
Автор: zporuchik
Дата сообщения: 06.02.2009 21:26
zedxxx
человек, который мне обещал волшебное слово выдергивал границы из кэша, но, к великому сожалению, сильно занят и не обещает быстро, но раскажет.

Добавлено:

Цитата:
По личным наблюдениям между сервером и клиентом никаких "ключей идентификации" не передаётся (кроме куки и данных авторизации)

может неправильно выразился
но по логике вещей, если один шифрует, то другой должен иметь ключ
Автор: zedxxx
Дата сообщения: 07.02.2009 00:34
Я о том, что бинарные файлы - это по сути не зашифрованные файлы, а просто спец формат, разработанный для конкретного приложения с учётом его требований и возможностей. И чтоб читать данный формат, ключей в принципе не нужно, главное знать за что отвечает конкретный байт в бинарном файле - может он это и имел в виду под ключом? Например, кэш GE - dbCache.dat - тоже бинарный файл, а "ключ" к нему - статейка. Собственно, используя это и работает CacheMaster с кэшем GE на бинарном уровне.
Если будут "ключи" к другим файлам гугла - с радостью напишу утилиток по конвертации их в удобочитаемые форматы: границы/названия в kml можно перегнать, рельеф - в bil и т.д.

P.S. или может речь шла о банальной расшифровке (дешифровке) данных, с которой CacheMaster "знаком"?
Автор: zporuchik
Дата сообщения: 07.02.2009 09:11
zedxxx

Цитата:
речь шла о банальной расшифровке (дешифровке) данных, с которой CacheMaster "знаком"?

неа, ему границы нужны были в векторе и он их получил

Добавлено:
zedxxx
пока жду инструкций, я решил сам немного вникнуть в вопрос:
1. установил proxomitron
2. настроил соединение интернет ч/з него
3. скачал и установил ГЕ 5

теперь сижу и изучаю всё что идет между ними (ГЕ и Сервером)

вот в начале было такое:

Код: +++GET 167+++
POST /geauth HTTP/1.1
Accept: application/vnd.google-earth.kml+xml, application/vnd.google-earth.kmz, image/*, */*
Content-Type: application/octet-stream
Cache-Control: no-store
User-Agent: GoogleEarth/5.0.11337.1968(;Microsoft Windows Vista (Service Pack 0);ru;kml:2.2;client:Free;type:default)
Host: kh.google.com
Content-Length: 49
Pragma: no-cache
Connection: keep-alive
Accept-Charset: windows-1251, cp-1251
Accept-encoding: gzip, deflate
Referer: http://kh.google.com/geauth
Browser reload detected...
Posting 49 bytes...

+++RESP 167+++
HTTP/1.1 200 OK
Content-Type: application/octet-stream
Set-Cookie: PREF=ID=6a2a137aa41ccce9:TM=1233994334:LM=1233994334:S=pThAJziFO6KZktSV; expires=Mon, 07-Feb-2011 08:12:14 GMT; path=/; domain=.google.com
Date: Sat, 07 Feb 2009 08:12:14 GMT
Server: btfe
Content-Length: 124
+++CLOSE 167+++
Автор: zedxxx
Дата сообщения: 07.02.2009 12:43
Первый запрос POST: от клиента отсылается 49 байт, подтверждающих, что это именно клиент, а не кто-то левый и если эти байты правильные, сервер в ответ отсылает от 112 до 144 байт в которых и записана вся инфа авторизации, в том числе и куки, которые в последствии и использует клиент для получения данных с сервера. Причём эти куки берутся не из заголовка ответа, а из самого тела.
Запросы POST затем повторяются с периодичностью 10 минут, и каждые 10 минут клинт меняет куки. Вот такая у них защита от доступа посторонних.
Но никто не запрещает написать свою прожку, отсылающую каждые 10 мин. те 49 байт и использующую куки из тела ответа сервера, что, собственно, многие и делают, получая "левую" гугл качалку избавленную от бана, водяных знаков и проч. лабуды, связанной с google maps.


Цитата:
особо интересной представляется мне строка:

Цитата:Set-Cookie: PREF=ID=6a2a137aa41ccce9:TM=1233994334:LM=1233994334:S=pThAJziFO6KZktSV;


А по-моему эта строка в заголовке ответа для отвода глаз (или для дополнительной проверки соответствия тела ответа заголовку клиентом GE), поскольку сами куки беруться непосредственно из тела ответа.

Вот заголовок обычного GET запроса GE:

Код: GET http://kh.google.com/flatfile?f1c-02030-d.2645.171+f1c-02033-d.2645.171&v=1 HTTP/1.0
Accept: application/vnd.google-earth.kml+xml, application/vnd.google-earth.kmz, image/*, */*
Cache-Control: no-cache
Cookie: $Version="0"; SessionId=oRoq4gADEAEAAQBA3kArtTcEYFRrqoV5wmXfOz25MBRLOBzxD/nBG2gmG5LQQEIeuA36WmSoZD4JC7SPUcz1+1GN/IV+ilGFjNpWnw==; State=1
User-Agent: GoogleEarth/5.0.11337.1968(Windows;Microsoft Windows XP (Service Pack 2);ru-RU;kml:2.2;client:Free;type:default)
Host: kh.google.com
Proxy-Connection: Keep-Alive
Pragma: no-cache
Автор: zporuchik
Дата сообщения: 07.02.2009 13:12
zedxxx

Цитата:
Вот заголовок обычного GET запроса GE:

не
это уже было после авторизации
я понаделал файликов с логами на различные действия: вкл/выкл векторных слоев.
тебе их надо?

Страницы: 123456

Предыдущая тема: SQL 2000


Форум Ru-Board.club — поднят 15-09-2016 числа. Цель - сохранить наследие старого Ru-Board, истории становления российского интернета. Сделано для людей.