» GeoCacher

Проблемы не со склеенными запросами, по крайней мере они у меня и так отключены, а со сравнительно большими файлами. По крайней мере больше 100кб. Это чаще всего 3D слои.
А мысль как с этим бороться у меня есть, но нужно менять в коде, а я сам в программировании не очень.
Идея такая. Можно сделать как в HC, где два списка. То что уже загружено и то что грузится в данный момент. Так вот, как только файл загружается то он перемещается из текущей записи в закачанное, либо удаляется из истории, всё равно он либо уже передан в GUI, либо не нужен. так вот, перед добавлением в текущую очередь нужно лишь проверить качается ли уже по данному URLу файл или нет. Если не качается, то начать скачиваение, а если данный файл скачивается то также поместить в запись, но не начинать скачивание, а просто после окончания скачивания файла из инета передать данные по всем "ожидающим" соединениям.
Но можно сделать и другим способом, по крайней мере если файл не со склеенного запроса. Просто после начала получения данных нужно передавать запросившей файл программе по небольшим частям. Таким образом показывая что файл скачивается.
Или если это склеенный запрос, то самостоятельно сгенерировать HEAD и передать его запросившей программе без указывания размера файла, а потом запрашивается первый файл из запроса и после получения данных они постепенно передаются программе, а как только все файлы оказываются скачанными нужно сообщить что файл закачан полностью. Вот и всё.

Т.е. основная проблема состоит в том, что данные передаются только после ПОЛНОГО скачивания файла, а надо передавать по мере их получения. Чтобы увидеть что у меня происходит нужно лишь как мне кажется поставить на скачивание файл побольше размером и тогда когда закончится время ожидания программа заново отправит запрос на скачивание.

Цитата:

Т.е. основная проблема состоит в том, что данные передаются только после ПОЛНОГО скачивания файла, а надо передавать по мере их получения.

Да, я понимаю. Но вот как это всё сделать... И особенно сильно доставят мороки склеенные запросы.


Цитата:

Или если это склеенный запрос, то самостоятельно сгенерировать HEAD и передать его запросившей программе без указывания размера файла

Да, но чтобы сделать правильный склеенный файл, нам надо узнать размеры всех входящих в него частей. Т.е. нам надо загружать "голову" склеенного тайла со служебной информацией, по которой мы и определим эти размеры. Затем нужно сформировать свою "голову" с учётом того, что часть тайлов мы берём из кэша и уже потом понемногу отдавать это всё клиенту. Загрузка идёт буфером по 8 кбайт, так что "голову" мы получим практически сразу же. Вопрос же правильно выполнить все эти манипуляции.


Цитата:

Можно сделать как в HC, где два списка.

HC вроде передаёт данные по мере скачивания? C другой стороны, интересно как он обрабатывает скрипты - клиент так же ждёт, пока будет полностью сформировано тело или получает частями?

Цитата:

HC вроде передаёт данные по мере скачивания? C другой стороны, интересно как он обрабатывает скрипты - клиент так же ждёт, пока будет полностью сформировано тело или получает частями?

Если я не ошибаюсь, то каждый скрипт работает по своему. По крайней мере Content Master вроде бы полностью получает весь файл и только после обработки его передаёт. Но ведь не для всех скриптов необходимо обрабатывать тело файла, многим хватает и загоолвков, и поэтому они скачиваются и передаются как всегда.

Всем привет. Zedxxx, я юзаю не указанную в заголовке версию GC 1.3.3.3 от 03.06.2009 любезно предоставленную Вами, после короткой переписки в личке. Доволен как слон. С моей точки зрения ей не хватало только примочки сохранения "исправленных" ДБрутов (для удаления "склеенных" запросов) и распределенного индекса. Кроме того, путем скармливания "старых" дбрутов (заменяя их в папке ..\CachePath\!!!_TILES_CACHE_!!!\Earth\dbRoot.v5\dbRoot) можно смотреть снимки предыдущих версий, если надо. Этот процесс тоже было бы неплохо механизировать.
На GC 1.4 боюсь даже пробовать перейти памятуя напряг с мелкими файлами при переносе (приходится нередко). К тому же, это означает потерю актуальности уже накопленной в формате GE & GC1.3 базы снимков. Жалко терять гигабайты. Планируется ли поддержка dat-файлов GE и SQLite-база для скаченных тайлов? На мой взгляд, версия 1.3.3.3 работала в этот смысле довольно удачно, может там ничего особо менять не нужно?

В ToDo у меня стоит задача прикручивания файлового кэша, но уже совершенно нового формата (на базе tar). От старого варианта пришлось отказаться, когда в экспериментах с быстродействием SQL я столкнулся с "затыками" при больших БД (в неск. миллионов записей).
Что касается кэшей GE и старых файловых кэшей, то постараюсь написать распаковщик.

Только боюсь, что это всё будет не очень скоро.

GeoCacher 1.4.3.4
- исправлены ошибки
- добавлена функция сервера (zmp для SAS.Планета в комплекте)

Плюс, сегодня появился локальный клиент:
GoogleEarth 6.0.0.1735 (beta) Local: Яндекс.Народ ReUpload.it

zedxxx
А можно ли как то файловый кэш из исторических папок переконвертировать в SAS-овский формат (GE-проекции)?

Можно. Я на сасовском форуме выкладывал все zmp (да и в последнем релизе кэшера они в комплекте идут). Если речь про кэшера 1.3.2 и желание получить тайлы в родной проекции, то в zmp надо подправить параметр url с proj=1 на proj=3 (естественно, править надо zmp для кэшера 1.3.2). И поставить соответствующую циферку для параметра server:

Цитата:

1 - Земля; 2 - Небо; 3 - Марс; 4 - История

Люди подсобите как работать с GC в SAS. Запускаю GC 1.4.3.4 (Win7), GE.Local (6 beta) работает с ним нормально - прошелся я в нем по интересующей мне области, проверил что из GC берет без инета. Потом запускаю SAS, включаю GE Earth (LL или меркатор) и ничего не наблюдаю в том месте. GC GUI пишет что запрос отработан с результатом 200 и 0байт. http://127.0.0.1:8081/jpegfile?db=earth&ver=0&date=0&x=... у меня дает 404 (http://127.0.0.1:8081/ тоже 404), http://localhost:8081/flatfile?server=1&proj=1&img=jpg&compress=100&inet=0&ver=0&hist=0&... тоже самое. zmp (Earth LL) был в комплекте с GC, Earth меркатор был в Sas (GoogleEarth_M.zmp). Может надо прокси убрать в настройках IE (хотя я что тока не делал, в том числе менял настройки GC). Как проверить отдает ли GC по локальным url вообще (для GE.Local я так понял он перехватывает hoogle...)? IIS вырублен (т.е. по портам не конфликтует). Бранд. выключен. Че делать?

Добавлено:
Мне по сути надо склеивать большие куски в Sas из кэша GC (больше 2 GB), для того чтобы потом делать в них внутреннюю тайл-индексацию и overviews (с помощью gdal). Может есть возможность склеивать из gc напрямую или перегнать из gc в обычные тайлы (в идеале в кэш sas), т. е. раскриптовать.

Скорее всего вы не включили в кэшере галочку "Любая версия из кэша".

zedxxx
Блин, правильно. (я подумал что по умолчанию итак отдается любая версия)
Но не заработало zmp меркатор (url def старый). Могу ли я получить меркатор из для версии gc 1.4.3.4 (zmp нет, изменился формат запроса, может теперь вообще нет такой возможности)?
И есть ли уже технология авторизовываться на серверах GE чтобы использовать его как web-тайлсервис?

Цитата:

Могу ли я получить меркатор из для версии gc 1.4.3.4

Нет, только Lat/Lon.

Цитата:

И есть ли уже технология авторизовываться на серверах GE чтобы использовать его как web-тайлсервис?

Нет и не планируется.

А в sas LL все равно проецируются на лету для отображения так ведь ? Так что смысла особого в исходном проецировании нет - все равно будут примерно такие же искажения относительно spherical mercator google map/virtual earth?

Нет, снимки sas показывает как они есть. Понятие проекций в sas введено чтобы правильно пересчитывались координаты при отображении карт (ну и соответственно чтоб правильно рассчитывать количество тайлов при загрузке и создавать правильные файлы привязки для склеенных карт). В планах у них вроде бы мелькала идея сделать чтоб можно было указать проекцию при отображении, но пока что такого нету.

Цитата:

Понятие проекций в sas введено чтобы правильно пересчитывались координаты при отображении карт (ну и соответственно чтоб правильно рассчитывать количество тайлов при загрузке и создавать правильные файлы привязки для склеенных карт). В планах у них вроде бы мелькала идея сделать чтоб можно было указать проекцию при отображении, но пока что такого нету.

Давно есть.
Проекция слоев на лету масштабируется под проекцию карты. Если карта в ГЕ в проекции lat\long (projection=3 в сасе), а слой например обычный гибрид гугля (projection=1) - то слой на лету преобразовывается в projection=3, и так и накладывается на космоснимок.

PS: в кэш кладется родной слой (неизменные тайлы), а не смасштабированный.
PPS: так как преобразование на лету - то о качестве скромно промолчим. Но смотреть - можно.....почти везде, особенно у экватора....

Цитата:

Проекция слоев на лету масштабируется

Так то слоёв, тут же речь про основную карту.

Слой от основной карты отличается одной цифиркой в ZMP

Здравствуйте!

Подскажите, пожалуйста - попробовал GoogleEarth.Local.6.0.1.2032.Portable
через GeoCacher с опцией отключения копирайтов, но копирайты никуда не деваются...

CaveCat
Дело в том, что начиная с 5.2 версии GE, появился ещё один тип файла dbRoot.v5 (в которых, собственно, и сидят копирайты) с которыми кэшер текущей версии совладать не может. Подробнее тут.

Для того, чтобы избавиться от копирайтов, нужно в фаерволе, или любыми другими средствами заблокировать url вида

Цитата:

http://kh.google.com/dbRoot.v5?hl=ru-ru&gl=by&output=proto&cv=6.0.1.2032&ct=free

и не включать в кэшере галочку чистки от копирайтов (клиент GE уже и так пропатчен). В результате, клиент запросит дбрут старой версии и никаких копирайтов не покажет. Естественно в кэше у GE не должно быть новых дбрутов (лежат в файле dbroot_cache рядом с кэшем dbCache.dat).

В следующей версии кэшера он уже будет обучен самостоятельно отключать копирайты во всех случаях, а пока что придётся поизвращаться.

Привет всем обитателям этого форума. Сегодня специально зарегистрировался, чтобы сказать о наболевшем. Программой GeoCacher последней версии пользуюсь 2 месяца. Нашёл случайно при поиске в Гугле решения проблемы ограниченного кэша Планеты Земля, поскольку у меня всё-еще ограниченный лимит Инета. Всё было замечательно, настроил и закэшировал уже с 5 Гб. Я вначале складывал кэш GoogleEarth рядом с папкой, как тоько набиралось 2 Гб новый создавал. Но потом понял, что это лишнее. У программы GeoCacher свой собственный кэш в её папке находится.
Но дело в другом совсем. Вчера я совершил удивительное, но очень неприятное открытие. Всё было отлично, однако недавно (неделю назад) я закачал несколько фото на Панорамио и разместил их в Планета Земля. И ждал их появления на картах. Однако прошло несколько дней, а фото нет. Я подумал это глюки модераторов Гугла. однко случайно зашед на Панорамио я увидел, что люди уже просмотрели мои фото по десятку раз!!! А я всё жду из-за моря погоды!!! Запустив обычную Планета Земля я убедился, что все мои фото уже давно на картах!
Тут меня стали терзать смутные сомнения; а не показывает ли программа GeoCacher дела давно минувших дней??? Т.е. она набирает кэш на момент состояния карты и дальше не обновляет слой Панорамио. А без этого слоя Планета Земля теряет всю свою привлекательность.
Сегодня запустил с другой папки новый GeoCacher и он показал все изменения на карте. Однако как можно быть уверенным, что набрав новый кэш программа будет обновлять фото, а не показывать старое состояние дел?
Если кто знает ответ или решение напишите пожалуйста. Может я что не так делаю? "Любая версия НDD" у меня теперь постоянно выключена и только при просмотре из кэша включаю её. Раньше было и выкл. и вкл. при работе он-лайн.
Сорри за много слов, ребята. Но приспичило очень.

Stranger_Vlad
Попробуйте в kml кэше удалить все файлы root.kml и root.kmz. Если не поможет, поэксперементируйте удаляя различные kml/kmz файлы из кэша (имеющие отношение к панорамио, естественно).
Я с подобной проблемой столкнулся на слое Погода - он у меня закэшировался и всё время показывало одну и туже температуру и облачность. А вот с Панорамио вроде проблем небыло.
В следующей версии кэшера я сделаю чтобы эти root.kml отдавались из кэша только в режиме работы "Только из кэша".

Не ничего страшного, если я с помощью HandyCache кэширую файлы kmz?

zedxxx

Спасибо за ответ. Я искал эти файлы в папках GeoCacher.1.4.3.4 - cache - kml - mw2.google.com - mw-panoramio. Однако там нет таких файлов вообще. Есть только папка photos в которой фото, кэшированные ранее. Видимо я не там ищу. А в папке mw1.google.com нет panoramio папки, но такие файлы есть к "360 cities" относятся они. Пересмотрел все папки, но таких файлов не нахожу. Можно подробнее где нужно искать?
И ещё есть проблема с YouTube закачкой. Не качаются файлы на картах с этого слоя. Они то качаются, но 10 Мб видео может качаться без останова даже и 50 - 70 Мб закачать, пока Фаерволом не прервёшь соединение (а соединений штук 4-5 нужно прервать, относящихся непосредственно к GeoCacher). Даже при выходе с GeoCacher.1.4.3.4 всё равно продолжает качать видео, однако оно не запускается в плеере и никак не реагирует. По идее не должно быть разницы для кэширования фото это или видео. Однако вот такая проблема замечена.
И вопрос интересный как нужно ставить "Любая версия НDD" при он-лайн? Если оно вкл. то отлично работает кэш. Но если выкл. в он-лайн, то догружается довольно прилично с карт. Так должно быть и это нормально?

Добавлено:
И ещё вопрос наверное многим интересный: можно ли взять программу GeoCacher.1.4.3.4 + GoogleEarth.Local.6.0.1.2032.Portable на флеш-карту и с другого компа скачать много кэша (есть безлимит у родичей). Т.е. можно ли потом этот новый кэш как-то объединить с тем старым моим кэшем в ОДИН кэш. Возможно ли такое вообще?
Спасибо.

Chauvinist

Цитата:

Не ничего страшного, если я с помощью HandyCache кэширую файлы kmz?

Да нет конечно, ничего страшного.

Stranger_Vlad

Цитата:

Я искал эти файлы в папках GeoCacher.1.4.3.4 - cache - kml - mw2.google.com - mw-panoramio. Однако там нет таких файлов вообще.

Есть ещё папка: \cache\kml\mw1.google.com\mw-earth-vectordb\dynamic\panoramio_delta\

Цитата:

И ещё есть проблема с YouTube закачкой.

Такие вещи не стоит качать через кэшера - он ещё слабоват. Если это в каком-то слое, то лучше вообще пустить все kml слои мимо кэшера. К примеру, через тот же HandyCache как сделал товарищ выше.

Цитата:

По идее не должно быть разницы для кэширования фото это или видео.

Да разницы-то нет, но кэшер вначале загружает данные себе в кэш, а лишь потом отдаёт. Так вот фотки они по размеру не большие, и проблем при быстром инете не возникает. Но видео совсем другой разговор. А если почитаете прошлую страничку, то заметите, что там писали, что при медленном инете возникают проблемы даже с загрузкой 3D моделей.
Это всё из-за того, что я кодер-любитель и пишу кэшера можно сказать "на коленке", между основным своим профессиональным занятием.

Цитата:

И вопрос интересный как нужно ставить "Любая версия НDD" при он-лайн?

Если нужно экономить трафик и пофиг на новые снимки, то держите включённой.

Цитата:

Но если выкл. в он-лайн, то догружается довольно прилично с карт. Так должно быть и это нормально?

Да, это нормально.

Добавлено:

Цитата:

И ещё вопрос наверное многим интересный: можно ли взять программу GeoCacher.1.4.3.4 + GoogleEarth.Local.6.0.1.2032.Portable на флеш-карту и с другого компа скачать много кэша (есть безлимит у родичей). Т.е. можно ли потом этот новый кэш как-то объединить с тем старым моим кэшем в ОДИН кэш. Возможно ли такое вообще?
Спасибо.

Естественно. Берите откуда угодно папку cache, закидывайте всё содержимое к себе (можно с перезаписью, но лучше без - быстрее будет) и будет вам слияние кэшей.
Но перенос и копирование кэша может отнять много времени (особенно если кэш будет на флэшке). Можно пользоваться вот этим методом: http://sasgis.ru/forum/viewtopic.php?f=2&t=540

А в планах на реализацию в кэшере стоит создание нового типа кэша, оптимизированного для копирования/перемещения (так называемый файловый кэш).

zedxxx

Ура!!! Всё заработало!!! Все фотки появились на карте, как ни в чём не бывало! Я в шоке (приятном) !!
Спасибо за ответы. Нужно общими усилиями (нашими вопросами в том числе) довести программу до совершенства. Пока она ещё иногда глючит. Сделать перенос кэша лёгким и простым, добавить скачку с YouTube, убрать глюки со обновлением слоёв, написать чёткую инструкцию для новичков в виде, например, PDF - файла с картинками и т.п. И тогда программа станет ценной ДАЖЕ для тех, у кого есть безлимит. Зачем скачивать то же самое по 10 раз, когда оно может быть скачано только однажды, с последующими добавлениями? Поберегите сетевую карту и ваш жёсткий диск! И тогда программу можно хоть на коммерческую выставку )
Единственнная проблема - Интернет Эксплорер. Например Вэбмани не подключаются без него тоже. Приходится постоянно переключаться туда-сюда. Но это неудобство пока никак не победить...

Добавлено:
И ещё zedxxx, что теперь делать с теми файлами root.kml и root.kmz., которые я на всякий случай скопировал. Они теперь совсем не нужны и их можно удалить окончательно? Без них программа будет работать нормально теперь?

Цитата:

Единственнная проблема - Интернет Эксплорер. Например Вэбмани не подключаются без него тоже. Приходится постоянно переключаться туда-сюда. Но это неудобство пока никак не победить...

Вебмани по-моему работает по https, а для гугла достаточно http. Так же в IE можно запретить прокси для определённых адресов.
Ну и последний вариант - использовать проксификатор.

Добавлено:

Цитата:

что теперь делать с теми файлами root.kml и root.kmz

На том месте (в кэше) уже новые лежат, соответственно, старые можно удалять.

Добавлено:

Цитата:

написать чёткую инструкцию для новичков в виде, например, PDF - файла с картинками

А особенно ценной будет инструкция от освоившегося новичка, который бы описал все подводные камни. Я, как мог, сделал инструкцию http://starmen.at.tut.by/geocacher_howto.htm но если у кого-то появится желание отредактировать или дополнить её, то я только ЗА.

Да, zedxxx, я именно по этой инструкции в своё время подключался и настраивал программу. Спасибо за ту инструкцию. Но реально новичку большая запарка с нуля подключить и настроить программу. Я сам готов здесь давать дельные советы из своего опыта юзания, если кому-то понадобится. Я сам лично раньше бережно хранил в папках кэш Планеты Земля рядом с программой GoogleEarth.Local.6.0.1.2032.Portable, пока однажды не удалив (в экспериментальных целях) весь кэш этот обнаружил, что кэш прекрасно работает и без того кэша Планеты Земля. Я был удивлён, а потом понял, что кэш находится в папке GeoCacher. Новичку неясно назначение того кэша Планеты Земля. А его можно просто удалять вообще. Единственно там находятся настройки самой программы Планеты Земля - мои места, маршруты, слои и т.п. Надо это иметь в виду.

Подскажите, как подключить GeoCacher к sas planet?

Включить режим "Любая версия из кэша" и закинуть zmp в SAS. Запустить SAS, выбрать карту с характерной иконкой (синий гугл) и всё. А, и на всякий случай отключить в SAS прокси.

Спасибо, что откликнулись.
Опыт у меня небольшой, поэтому с наскока подключить не удалось.
Вот, я так понимаю, что-то из того, что нужно закидывать в SAS:

GeoCacher.1.4.3.4\sas.maps\Google\GoogleEarth\GoogleEarthCache_M.zmp
GeoCacher.1.4.3.4\sas.maps\Google\GoogleEarth\GeoCacher.1.4.3\Earth.zmp

что именно, и куда его правильно вставлять в SAS?

И, наверное, в настройках SAS нужно, ведь, указать путь к кэшу GeoCacher-а?, или этот ZMP сам путь проложит? Если нужно указывать путь, то до какого уровня вложения (какая конечная папка должна быть в конце пути)?