» SatMap (2)

v1.4.4.43 2009 Jun 18
--------------------------------------
[no] экспорт в кэш GPSProga последних версий
[+] возможность использовать для закачки ранее составленный или сохраненный после остановки закачки список тайлов
[+] вывод информации о количестве отсутствующих тайлов на сервере при закачке по выделению [/no]

только exe (1.14 Mb)

Предпоследний пункт требует тестирования. rex, дело за тобой!

Only for ADVANCED users: списки закачки (текстовые файлы, по сути) можно вручную объединять или редактировать, что позволяет составлять списки для закачки сложных областей, нужных уровней и пр. Процесс закачки (все относится к закачке выделения) можно останавливать, при этом будет предложено сохранить список незакачанных тайлов в файл, который можно использовать для продолжения закачки. /parasss - проверь! /

PS Мульти выложу чуть позже...


Добавлено:
PPS Имейте в виду, что супер-гигантские списки закачек кушают дисковое пространство. Например, список из 500500 линков занимает 41.7 МБ...

relictus
Вот это отлично, теперь комп закачки и диск (комп) с кэшем стали взаимонезависимы.

Но подожду мульти. А то у меня возникла новая идея. Сделать один большой список, разрезать его на несколько равных частей и запустить - так теоретически быстрее будет.

И второе. При составлении списка учитываются тайлы из всех подключенных кэшей или пока только из верхнего?
Если только из верхнего, сначала придется создавать несколько заданий, объединять их в одно, и лишь затем резать.
Если кэш разбит по уровням проблем не будет, а если как-то иначе? Вопрос как поведет себе программа при наличии дублей в списке? Конечно можно пропустить общий список через БД, чтобы отсеять лишнее, и потом резать но проще это наверное сделать в самой программе.


Цитата:

Имейте в виду, что супер-гигантские списки закачек кушают дисковое пространство. Например, список из 500500 линков занимает 41.7 МБ...

По сравнению с 20-100 гигабайтными файлами кэша это мелочь.
Но надо будет в FAQ добавить ссылки на программы которыми файлы подобных размеров можно открывать, делить и править. NotePad зависнет намертво, а UltraEdit для некоторых сложноват.

rex

Цитата:

Но подожду мульти.

Обновил на текущую версию (линк прежний), качай и проверяй.


Цитата:

При составлении списка учитываются тайлы из всех подключенных кэшей или пока только из верхнего?

Ни из какого вообще
Это просто список, т.е. он включает в себя все тайлы выделенной области. Это уже в процессе закачки программа проверяет что надо закачивать, а что нет и пр. взависимотси от условий закачки.


Цитата:

Вопрос как поведет себе программа при наличии дублей в списке?

Пока просто отработает дубль как любой другой. В дальнейшем, если нужно, можно сделать автоудаление дублей.


Цитата:

Но надо будет в FAQ добавить ссылки на программы которыми файлы подобных размеров можно открывать, делить и править.

ИМХО, не нужно, т.к. ADVANCED user должен разираться в этом сам

Мне кажется, или при склейке опция "Выровнять по границам тайла" действует наоборот - выравнивает при пустом чекбоксе ?
Версия 1.4.4.43 2009 Jun 18 - только что скачал .

И Гуголь, похоже, стал люто банить - давно ещё выкачал область на нескольких уровнях, сидел сегодня разглядывал треки с велозабросок в режиме "Интернет+Кэш", всё из кэша, буквально несколько десятков фрагментов подсосалось из интернета, и амба . Открываю ВикиМапию - там тоже амба - на любом уровне говорит "извините, а нету такого фрагмента" . IP у меня белый - адсль, модем как роутер .

Aldares

Цитата:

Мне кажется, или при склейке опция "Выровнять по границам тайла" действует наоборот - выравнивает при пустом чекбоксе ?

Проверил, jpeg склеился такого же размера, как рамка выделения, т.е. все работает как положено (галка снята).
Склейка формата ECW/JP2 всегда идет по границам тайла. Но там и галку поставить/снять нельзя.


Цитата:

И Гуголь, похоже, стал люто банить

Может кто-нибудь подтвердить? Ибо самому некогда проверять...

relictus

Цитата:

Это просто список, т.е. он включает в себя все тайлы выделенной области. Это уже в процессе закачки программа проверяет что надо закачивать, а что нет и пр. взависимотси от условий закачки.

Тогда это годится только для новых участков карты или для варианта "заменять все" Хотя тоже бывает нужно.
А нельзя сделать проверку до закачки? Можно в два этапа или в двух вариантах. Сформировал список всех тайлов участка, а затем на его основе сгенерировал список отсутствующих во всех подключенных кэшах? Ведь программа все равно это проверяет, так что алгоритм уже есть, надо только иметь возможность включать его не во время закачки, а до и независимо от нее. И интернет программе для этого не нужен.


Цитата:

т.к. ADVANCED user должен разираться в этом сам

А вот ты скажи человеку прямо, что он не ADVANCED, а ламер, так он на тебя всю жизнь дуться будет.
У меня у одного знакомого ADVANCED, куда-то 7% емкости нового диска пропало. Так он за пол года пять раз Винду форматировал, кучу нужной инфы по ходу потер, все программы для HD перепробывал - ADVANCED же, а не ламер какой-то, пока не замучался и не спросил, что же делать. Пришлось ласково объяснять разницу между двоичным гигабайтом Windows и десятичным гигабайтом производителей дисков - так он чуть не плакал и долго пытался стол кулаком пробить.

rex

Цитата:

А нельзя сделать проверку до закачки?

Можно всунуть это дело, к примеру в "Инструменты", назвать типа "удалить из списка закачки присутствующие в кэше". Или как-то так. Предлагай варианты...
А насчет FAQ'a, оформи Q-A, всуну. Хотя тема открытия текстового файла никаким боком не относится к работе программы SatMap

relictus

Цитата:

Можно всунуть это дело, к примеру в "Инструменты", назвать типа "удалить из списка закачки присутствующие в кэше".

Можно всунуть куда угодно, лишь бы было!
Вариант "Удалить из списка закачки имеющиеся в кэше тайлы" - вполне подходит - просто, понятно и полезно .
И не забудь сделать так, чтобы все подключенные кэши сразу можно было проверять, а то по одному очень нудно получается.



Цитата:

Хотя тема открытия текстового файла никаким боком не относится к работе программы SatMap

Это не вопрос об открытии текстового файла вообще, а вопрос об открытии пятидесяти-мегабайтного файла закачки программы SatMap, так что относится - проще дать ссылки чем делать встроенный редактор или отвечать каждый день на вопли - комп зависает. Хотя конечно списка из двух-трех программ вполне достаточно, дальше, если надо, есть поиск форума.

rex

Цитата:

проще дать ссылки

Я ж говорю - оформи Q-A для ФАКа, размещу! Мне что, всё самому делать?

Цитата:

Процесс закачки (все относится к закачке выделения) можно останавливать, при этом будет предложено сохранить список незакачанных тайлов в файл, который можно использовать для продолжения закачки. /parasss - проверь!

Легко.


Цитата:

надо будет в FAQ добавить ссылки на программы которыми файлы подобных размеров можно открывать, делить и править. NotePad зависнет намертво, а UltraEdit для некоторых сложноват.

BRED имхо справится.... А нет - так ФАР еще никто не отменял


Цитата:

Например, список из 500500 линков занимает 41.7 МБ...

На правах маразма: а слабО список в ЗИП класть сразу, средствами проги? Редактировать списки понадобится единицам процентов из всех юзверей, а вот сохранять - .....
А текстовички весьма и весьма жмутся.


Цитата:

Может кто-нибудь подтвердить? Ибо самому некогда проверять...

Пару дней как-то хреново качает (закачка САМА останавливается со стандартным окошком "Скачано Х, не скачано Y, OK"). А начинать заново - см.про списки закачек несколько ранее (я еще пока не обновился).
C другой стороны - я тут сквида ставлю, так что может и от него.

Кстати, программа предлагает сохранить список когда она САМА останавливает скачку? Например когда инета нет, или еще какой еррор...? Надо бы предлагать.


Цитата:

А нельзя сделать проверку до закачки?

А алгоритм проверки тайла на наличие в БД ОООООЧЕНЬ медленный - будет СУТКАМИ проверяться, помножить на число кэшей.
Индексацию бы......


Цитата:

А вот ты скажи человеку прямо, что он не ADVANCED, а ламер, так он на тебя всю жизнь дуться будет.

Ну дак это проблемы восприятия сказанного и уязвленное ЧСВ в ответ на входящую критику - а "проблемы негров шерифа не волнуют"...©


Цитата:

проще дать ссылки чем делать встроенный редактор или отвечать каждый день на вопли - комп зависает.

Также не делать стандартное расширение .ТХТ (либо какое другое стандартное) - ибо любителей даблкликнуть будет оййй как много......

parasss

Цитата:

На правах маразма: а слабО список в ЗИП класть сразу, средствами проги?

Неа Только надо ли? Ну кто такие большие списки (которые целесообразно зиповать) делать будет?


Цитата:

Кстати, программа предлагает сохранить список когда она САМА останавливает скачку?

Сейчас нет, но сделать можно (нужно).


Цитата:

А алгоритм проверки тайла на наличие в БД ОООООЧЕНЬ медленный

Я смотрел его и думал
Индексация-то есть. И, если бы не наличие условий закачек, из-за которого каждый (!) тайл списка закачки надо проверить на наличие в БД (при этом, если он там есть, сразу же берутся доступность, дата, размер двойника), то проверка была бы очень быстрой. Всё тормозят условия


Цитата:

Также не делать стандартное расширение .ТХТ

Ок, будет '*.dlist'

Цитата:

Ну кто такие большие списки (которые целесообразно зиповать) делать будет?

Я.


Цитата:

Сейчас нет, но сделать можно (нужно).

Обязательно нужно. А то при первом же ерроре - теряем позицию скачки.


Цитата:

Всё тормозят условия

А ЗАЧЕМ проверять условия, если тайл УЖЕ в БД (и сий факт можно узнать очень быстро из индекса)? Если этот тайл не будет нужен для конкретной задачи - он не будет браться из БД в рамках этой задачи, если нужен - то вытянется (и тогда тормоза - это уже вопрос той отдельно взятой задачи - например, склейки - а не проверки наличия в БД). Удаление тоже можно делать только в индексе (а это - практически моментально), а сжимать БД уже по запросу пользователя, согласно индекса же. Пример грамотной организации - GE с его индексацией тучи тайлов в своей БД. Никаких тормозов даже при 2Гб базе и поиску нужного тайла в ней.

Предлагаю разнести условия и проверку в БД в разные сущности (и не принимать первое во внимание при наличии работающего второго). Либо еще как. Но что-то надо делать.

relictus


Цитата:

при этом, если он там есть, сразу же берутся доступность, дата, размер двойника

В варианте "закачивать только отсутствующие" эти проверки не нужны, так что скорость должна бы быть приличной. Кстати, а нельзя эти данные при закачке тайла сразу в индекс вносить? Размер увеличится, но не критично. Главное как-то избавиться при проверке от обращения к файловой системе - это главный тормоз.

Кстати согласен с parasss - по поводу индекса. Он, хоть и есть, но используется явно недостаточно. Например в том же копировании выделенного частично заполненного участка индекс практически не участвует, а ненужный перебор тайлов пустых пространств занимает кучу времени.

Не работает "заменить всё" при скачивании, если тайл в наличии в файле кэша, отличного от первого. Скачивание происходит, но тайл не оказывается ни в одном из кэшей. Единственный выход - найти и отключить кэш, где есть этот тайл.
Базовый функционал, можно сказать, не работает, а автор только о новых фичах думает, gps, списки закачки, и т.д.

parasss

Цитата:

Пример грамотной организации - GE с его индексацией тучи тайлов в своей БД. Никаких тормозов даже при 2Гб базе и поиску нужного тайла в ней.

В SatMap нет тормозов при поиске в кэше на порядки больше. И в GE нет таких задач, которые стоят перед SatMap. [это не тема для дискуссии]

Trilobit69
Нарушение логики: тайл в кэше есть, но не в активном, программа скачивает его и пытается заместить существующий, но его-то нет в активном кэше (куда идет запись)!
При закачке с режимом "заменить всё" пользуйтесь только одним кэшем.

Цитата:

...а автор только о новых фичах думает...

Автор вообще думает только об отпуске, море, горах, лесах и многодневных походах в зоне отстутствия интернета!

All:
Я собираюсь убрать опцию закачки "заменять, если размер больше", если не будет обоснованных возражений.

relictus

Цитата:

Я собираюсь убрать опцию закачки "заменять, если размер больше", если не будет обоснованных возражений.

Новый тайл не обязательно больше старого, хотя вполне может быть и больше. При включенной опции "заменять, если размер больше" вполне можем получить солянку-мозаику, так что убирай не сомневаясь.


Цитата:

При закачке с режимом "заменить всё" пользуйтесь только одним кэшем.

Сколько просили, чтобы SatMap при закачке все кэши учитывал и получили !

rex

Цитата:

Сколько просили, чтобы SatMap при закачке все кэши учитывал и получили

А он и учитывает. Запись идет только в ОДИН кэш, потому при закачке в режимах замены тайлов, активным кэшем надо делать тот, в КОТОРОМ ЕСТЬ ЧТО ЗАМЕНЯТЬ!

Цитата:

В SatMap нет тормозов при поиске в кэше на порядки больше.

) Индексация и выборка 2Гб ГЕ-кэша на предмет "а какие тайлы там есть? -> в списочек, а опционально - и распаковка в папку" занимает не больше минуты даже сторонними программами (например, CacheMaster, не говоря уж о самом ГЕ).
Проверка 2Гб кэша SatMap на предмет "а какие тайлы там есть - чтобы качать тайл Х, либо не качать?" занимает порядка 12 часов на том же компьютере средствами самой программы, даже никуда ничего не выпаковывая.

Да, у кэша ГЕ есть выносной индекс-файл непосредственно рядом с базой данных (и его размер ничтожен по сравнению с БД).

PS: я не охаиваю SatMap - я предлагаю обсудить, как сделать его еще немного лучше.

relictus

Цитата:

А он и учитывает.

Что учитывает? Только верхний кэш и учитывает.
Или если я задам "не заменять" тайлы имеющиеся в нижних кэшах не будут записываться в верхний?

parasss

Цитата:

PS: я не охаиваю SatMap - я предлагаю обсудить, как сделать его еще немного лучше.

Ну так давай обсуждать по нормальному, а то кроме наездов (надергать тебе твоих цитат с этого форума или с сасовского?) мало чего конструктивного вижу
PS Нарисовать тебе утиль, которая тоже будет делать "Индексация и выборка 2Гб ГЕ-кэша на предмет "а какие тайлы там есть? -> в списочек, а опционально - и распаковка в папку" занимает не больше минуты" из кэша SatMap?

rex

Цитата:

Что учитывает? Только верхний кэш и учитывает.

Учитывает все подключенные!

Цитата:

Или если я задам "не заменять" тайлы имеющиеся в нижних кэшах не будут записываться в верхний?

Exactly!

Цитата:

Ну так давай обсуждать по нормальному

Так давай.
Мое предложение пересмотреть процедуру проверки в базе - в силе. Аргументированные возражения - будут?


Цитата:

надергать тебе твоих цитат с этого форума или с сасовского?

Работа у меня такая - я чужд эмоциям в диалоге, как и к личным отношениям к поставленной задаче. Есть проблема - надо решать, имхо, и попутно называть вещи своими именами, а не изгаляться в прикладном словоблудии, убеждая собеседника что ты не говорил того, чего ты и так не говорил. Хоть тут, хоть на форуме САСа - в чем разница, брат? Смысл мне наезжать на прогу - она от этого что, резко алгоритм работы поменяет, причем без твоего вмешательства? Бгы.
Чай, не пионеры ж уже... Давай, плиз, серьезно обсуждать. Эмоции идут лесом.


Цитата:

Нарисовать тебе утиль, которая тоже будет делать "Индексация и выборка 2Гб ГЕ-кэша на предмет "а какие тайлы там есть? -> в списочек, а опционально - и распаковка в папку" занимает не больше минуты" из кэша SatMap?

А на кой мне такая утиль? Тот же упомянутый тобой САС прекрасно делает тайловый кэш (который тот самый, в папочку).
Лучше убеди меня, почему на 12м зуме (всего-то каких-то 4млн записей) на современном компьютере в современной датабазе с индексом - проверка на наличие идет >20 часов (и это на 8ипроцессорном Xeon'e)? В том же САСе проверка того же 12го зума на дырки в скачке идет порядка нескольких минут - и там нет индекса как такового (ну, кроме FATа).

Не, ну серьезно. Без эмоций, плз - это не наезд, это просто обьективное сравнение с другими продуктами того же рода и искреннее желание найти и придавить траблу. Я ж сам от нее страдаю, при любой проверке ДНЯМИ ждать начала скачки - вся ценность быстрого инета на ура летит ффтопку...

parasss

Цитата:

Мое предложение пересмотреть процедуру проверки в базе - в силе.

Да я согласен с этим, но сейчас на это нет времени

Цитата:

...найти и придавить траблу. Я ж сам от нее страдаю...

Трабла будет побеждаться
А пока же я не услышал ни одного репорта, как идет работа со списками закачки? Просили? Сделал. И что, работает? Чего молчим-то?

Цитата:

Просили? Сделал. И что, работает? Чего молчим-то?

Дак спасибо, но чтобы обновиться - мне до дому доехать надо сперва. Это будет примерно через неделю.

relictus

Цитата:

Учитывает все подключенные!

И с какой версии?
А по поводу

Цитата:

А пока же я не услышал ни одного репорта, как идет работа со списками закачки? Просили? Сделал. И что, работает? Чего молчим-то?

Ждем варианта с проверкой наличных тайлов. Но у меня теперь есть вариант где надо менять все, так что завтра погоняю.

rex

Цитата:

И с какой версии?

Ты меня поражаешь! Я для кого хистори пишу?

Цитата:

v1.4.4.38 2009 Apr 29
--------------------------------------
при закачке по выделению на наличие тайлов в кэше проверяются все подключенные кэши, а не только активный

Так и не нашёл, две ветки пролистал...
Как включить опцию "Создавать фрагменты меньшего увеличения", и вообще, есть ли она?

Redisych

Цитата:

Как включить опцию "Создавать фрагменты меньшего увеличения", и вообще, есть ли она?

Для того, чтобы включить эту опцию, она должна быть. А ее нет (если я правильно понял смысл предложения)...

relictus
А стоит ли надеяться, что будет?
Либо подскажите, как заполнить кэш отресайзеными фрагментами, чтобы не качать все уровни, а просто поставить машинку на обработку. Если такое возможно, конечно.

Redisych
Далеко НЕ в ближайших планах. Пока же можно использовать хоть GooleMV для этой цели, а потом просто импортировать сформированные им тайлы в кэш SatMap.

не подскажите а можно как нибудь тайлы перекинуть в другой кеш?