» SatMap

Очень странное количество тайтлов на 4-ом, 5-ом и 6-ом уровнях.
Выделяю всю землю. Выделяю слой спутник.
Прохожу по уровням:
1: тайтлов: 1ур. x 1 сл.= 1 [1 - есть в кэше]
2: тайтлов: 1ур. x 1 сл.= 4 [4 - есть в кэше]
3: тайтлов: 1ур. x 1 сл.= 16 [0 - есть в кэше]
4: тайтлов: 1ур. x 1 сл.= 72 [0 - есть в кэше]
5: тайтлов: 1ур. x 1 сл.= 272 [0 - есть в кэше]
6: тайтлов: 1ур. x 1 сл.= 1056 [0 - есть в кэше]
7: тайтлов: 1ур. x 1 сл.= 4096 [0 - есть в кэше]
8: тайтлов: 1ур. x 1 сл.= 16384 [0 - есть в кэше]
9: тайтлов: 1ур. x 1 сл.= 65536 [0 - есть в кэше]
Дальше я пока не проверял...
Откуда такое количество тайтлов на уровнях 4, 5 и 6?
Если начать качать, например уровень 4, то скачивает правильно, 64 тайтла.
Скачивается 64 тайтл тз 72...
72 тайтлов поставлено на закачку
64 - скачаны успешно
0 - не удалось скачать
Если толкнуть еще раз, то картина такая:
4: тайтлов: 1ур. x 1 сл.= 72 [64 - есть в кэше]
72 тайтлов поставлено на закачку
0 - скачаны успешно
0 - не удалось скачать

ic1496

Цитата:

Откуда такое количество тайтлов на уровнях 4, 5 и 6?

это косяк подсчёта тайлов.

rex

Цитата:

Это версия с каким номером?

Это приват-версия для теста.
ic1496

Цитата:

Откуда такое количество тайтлов на уровнях 4, 5 и 6?

Действительно, баг. Исправлю.

relictus
А можно и мне потестировать?

rex

Цитата:

А можно и мне потестировать?

С двумя условиями:
1) если что случится с кэшем, я не виноват
2) отчет об испытаниях.
Если согласен, то кину в личку ссылку.

egor23
rex
Ну вот возбудил общественность. Ну а обсуждать или нет этот вариант решать relictus. Впрочем, о такой версии я его просил открыто, несколькими страницами раньше.

Ночью у меня считается от 03:00ам до 08:00 -- 09:00ам., т.е в среднем 5 -6 часов самого бесперебойного трафика. Версия у меня определяется как 1.4.1.27. Выставлял одновременно до 4-5 версий, устанавливая задания на 40 -- 50 тыс тайлов каждой. Т.е в среднем получалось по 7 -- 8 тыс тайлов в час для каждой, что для моего домашнего интернета стандартный показатель и для обычной SatMat. С секундомером не следил. (Может быть стоит для обмена тестовыми данными прикрутить спидометр?) Было, что все пять версий грузили только спутник, но всегда разные уровни. Например 3 работали по 19 уровню, а 2 -- по 16. Бывало разделял задания между спутником, картой и ландшафтом. Но ночью дней пять как все задания выполнялись полностью и без сбоев и банов. Сегодня, уходя из дома оставил машинку в защищенном от детей месте (я все еще наивный) с заданием только по 19 уровню спутника. Пожадничал -- задания для каждой по 100 -- 200 тыс. Но днем явно хуже -- появилась каптча примерно на 10 тыс у каждой. Ввел цифирки и ушел. Так что не надеюсь на полное выполненеие задания. Вообще заметно, что SatMap очень зависима от состояния интернетсоединения и самостоятельно пока (пока ли?) не умеет сглаживать перемены качества соединения. Пока загрузка линии минимальна -- нет даже банов.

Кажется совершенство автоматизма выкачивания уже близко и я бы уже хотел с relictus
поговорить о других аспектах программы. Первое кэш. У меня кажется самое высокое требование к техзаданию -- нужно собрать материал по двум территориям общей площадью около 1,6 млн кв клм. Срок -- до мая. Потом возможности воспользоваться инетернетом в промышленных масштабах просто не будет. Уже сейчас есть около 40 гб архива. Думаю, он разрастется до 80 -- 100 гб. Прежде всего в качестве "защиты от дурака", по мере выкачивания, сгоняю архив в кэш SAS. Но на это влияет не только этот фактор, а так же:

-- не возможность SatMap быстро проверить заполняемость уровней по такой огромной территории;

-- не возможность быстро "подчистить" пропуски, как по выше названной причине, так и из-за отсутствия функции выделения полигонов, а не квадратом. (Для меня это очень существенно, так как одна из интересующих меня стран вытянулась в линию с верхнего левого угла квадрата в нижний правый угол.)

-- Неясная судьба навигационного инструмента (подробности напишу ниже).

-- Ну и чисто субъективная причина -- пока не решил для себя структуру архивов, которые, как мы помним, можно подключать до 100 шт. А сгонять все 80 гб в один файл кэша мне боязно.

По ходу возникает еще один вопрос. Рано или поздно весь этот массив надо будет возвращать в SatMap. До 2 гб (больше за раз не пробовал) конвертор, написанный relictus переваривал бесперебойно, но не очень шустро. Справится ли он с 80 гб и можно ли ему повысить скорость обработки.

Я еще хотел написать про навигацию, но меня вызвали. Если позволите это многословие -- я это сделаю несколько позже.

netrebos

Цитата:

Если позволите это многословие -- я это сделаю несколько позже.

Ждем-с...

netrebos


Цитата:

-- Ну и чисто субъективная причина -- пока не решил для себя структуру архивов, которые, как мы помним, можно подключать до 100 шт. А сгонять все 80 гб в один файл кэша мне боязно.

Я перегонял из кэша GMV (кэш SAS это те же яица, только в папках) в кэш SatMap 4.27 - 49 GB без проблем и довольно быстро ~ 3GB в час. Правда кэши были на разных дисках, если оба кэша на одном будет дольше, так как головкам придется постоянно бегать туда сюда. Программа с этим монстром работает отлично.

А вот как раз мелкие кэши пока лучше вообще не делать, так как фактически они используются только для вывода на экран, но не для формирования списка на закачку.
relictus правда обещал это исправить, но пока не исправил дробить кэш не стоит.


Цитата:

Вообще заметно, что SatMap очень зависима от состояния интернетсоединения и самостоятельно пока (пока ли?) не умеет сглаживать перемены качества соединения. Пока загрузка линии минимальна -- нет даже банов.

Это точно, когда отключаю в USD реконнект, сбоев почти нет, но приходится выставлять 16-минутные паузы при закачке с рапиды, когда же реконнект включен - преждевременные окончания SatMap через два реконнекта на третий.

relictus

Цитата:

Ждем-с...

Про работу с GPS. В выходные выбрался за город проверить кое-какое оборудование в полевых условиях. В том числе и навигационное. Сравнительной проверке подверглись и SatMap (у версии multi работа с GPS оказалась включенной) и SAS. Хотя говорить о сравнительном тесте -- натяжка. У SatMap реализована только связь с GPS -- погонял полчаса, кажется работает, приемник не отваливается. Позиция обозначается крестиком. Пока все. У SAS тоже не густо с опциями -- срелка курсора единственное разнообразие. В общем обе программы не могут претендовать на приставку "навигационная" -- пока это только графические редакторы подготовки картоосновы. Впрочем у SAS есть одно очень функциональное заимстовавание из ОЗИ -- окно региональной карты. Туда можно подгружать любую имеющуюся в кэше информацию. Например, в основном окне спутник на 18 или 19 уровне, а в вспомогательном окне карта или ландшафт с самостоятельно изменяемым масштабом. Для навигации функция очень удобная.

Кажется разобрался зачем в SatMap в дополнительной панели инструментов, в центральной ее части, присутствует набор кнопок с информационными знаками дорожного движения -- это такой собиратель личных POI. Если это так, то мне ее центральное размещение показалось спорным. (Напротив, наличие крупных кнопок изменения масштаба по нечетным числам -- очень функционально.) Построить собственный список POI предлагают многие программы от IGO до той же OZI. Только у меня это никогда это не получалось -- либо я за рулем и тыкать в поле недосуг, а штурман спит, либо я за штурмана, ну тогда я точно сплю.

Поэтому я бы эти POI предложил бы сместить куда-нибудь в угол на одну кнопку. Так, что бы при наведении курсора на эту кнопку, например, вертикально высвечивалась вся панель этих значков. Кому надо, тот отметит всех гаишников под кустом. Ну а если кому действительно нужна возня с POI, тогда хорошо бы иметь и возможность подгружать архивы, например, POI для IGO или TomTom. Там очень обширные базы данных, особенно по Европе и Штатам. Кажется в стандарте klm. С адресами, телефонами и т.п. Если надо, могу выложить для примера. Но меня даже в Европе эти базы данных никогда не спасали.

Но если говорить о критично минимальном наборе, это:
-- функция навигации на точку и функция "включения курсора на позицию" -- пунктир в сторону выбранной точки и с указанием расстояния до нее от реальной позиции по GPS позиции. Расстояние удобнее вывести в каком-нибудь всплывающем окошке.
-- умение заранее нарисовать\сохранить маршрут
-- умение прорисовать и сохранить реальный трек
-- наличие включаемого\отключаемого окна региональной карты

Вот этот набор я и завел бы в центр "дополнительной панели инструментов", переименовав ее в "навигационную панель".

Этот набор может быть расширен более сложным способом прокладки маршрута набором путевых точек, навигация на которые переключается по возрастанию порядкового числа, по мере прохождения каждой. функцией редактирования маршрута и т.п. Можно предложить выбор -- считать точку пройденной в настраиваемом радиусе -- скажем от 0 до 1 клм. Голосовыми предупреждениями. Звуковые файлы можно просто выдернуть из ОЗИ (не знаю как это согласуется с авторскими правами) или наговорить самому. В общем это еще можно по обсуждать. Но уже хотелось бы начать обсуждать.

relictus
Пользоваться вашей программой для просмотра карт, когда нужен переход от карты к карте намного удобнее чем в ozi, хотя возможно окошко превью не помешало бы, но набор карт "гуголь онли" сужает применимость. А нельзя ли "прикрутить" возможность просмотра карт привязанных к ozi как обычных тайлов? Карт то таких уже море. Да и яндексовые карты Европы тоже намного приличнее гуглевских, остальное правда намного слабее, но Европа до урала тоже не плохо.

rex

Цитата:

А нельзя ли "прикрутить" возможность просмотра карт привязанных к ozi как обычных тайлов?

Я тоже не против максимального расширения возможностей. Но где оптимальная грань? На мой взгляд "прикручивание" к сас, например, карт ingit абсолютно бессмыленно, а вот карты gurtam вполне функциональны. Там список раздут до десятка ресурсов и наличие некоторых мне непонятно, но кому-то нужно. Но я бы предложил пока отложить обсуждение о дополнительном прикручивании аналогичных гуглю ресурсов до тех пор пока программа не стабилизируется в замкнутый навигационный комплекс -- выкачивание тайлов, обработка и склейка в распространенные форматы, навигационные расчеты и построение маршрутов, и непосредственно сама навигация внутри самой SatMap. Пока мы имеем только прогрессивный вариант кэша со своими достоинствами и недостатками и очень прогрессивный инструмент для обхода бана при закачки больших объемов. Не забудьте, что еще не исправлены ошибки с ESW, остается торможение при повторном запуске выкачивания, нерешен баг с зависанием после интенсивного прокручивания/просмотра экрана, не стабилизирована работа с интернетом в часы пик. Ну и наконец только предложены, но еще не развиты навигационные функции. И все это должен сделать один человек на алтруистской основе, а не команда программистов из коммерческого проекта. Пока Гугль усреднено самый информативный ресурс, хотя моей дачи, например, найти на нем невозможно, зато она есть в ДигиталГлоуб и космоснимках. Ну так пусть пока будет гугль, только бы программа стабилизировалась в некий законченный инструмент, а не умерла как ГугльМВ. В САС, не смотря на кажущееся обилие ресурсных возможностей, в последней версии есть проблемы с выкачиванием с сервиров Яхо и Яндекс карты и еще некоторые сылки мне отвечали об отсутствии изображении на сервере, которые там точно есть. Т.е. еще не очень законченная программа по навигационным функциям, с нерешенным вопросом кэша, уже с трудом балансируется по интернет-ресурсам. А ведь ее обслуживает гораздо больше народу.

rex

Цитата:

А нельзя ли "прикрутить" возможность просмотра карт привязанных к ozi как обычных тайлов?

а эта методика не подходит?

Цитата:

Создание своих карт для SAS.planet на примере карт ГШ: Карты Генштаба "под Гугл" от DCT

netrebos

Цитата:

И все это должен сделать один человек на алтруистской основе

В самую точку!
Сказать по правде, я пользуюсь только 10-20% из тех возможностей, что сейчас реализованы в проге. И мне этого достаточно на 95%, 5% - это полигональное выделение, просмотр заполняемости уровней, kml/kmz, другие геосервисы. Всё остальное сделано (и делается) по просьбам пользователей SatMap по мере возможностей и абсолютно бесплатно. C тестированием GPS мне очень хорошо помогал один человек в прошлом году, но теперь он пропал и развитие в этом направлении прекратилось, т.к. мне оно не нужно. Поступало предложение из 5-7 не русскоязычных стран с просьбой о мультиязыковой поддержке. Однако на ответный вопрос "Will you donate some money to get multilanguage support?" ответов не было. А оно мне надо, тратить свое время на то, что мне не нужно, да еще и задаром? Переводить проект на коммерческие рельсы я не буду, все пожелания/предложения реализуются опять же по мере возможностей в свободное время, просто ждем...
Спасибо за понимание.

Сори что встреваю)
netrebos


Цитата:

Там список раздут до десятка ресурсов и наличие некоторых мне непонятно, но кому-то нужно

Я стараюсь добавлять в список по-умолчанию карты которые я считаю интересными для себя и большинства пользователей, для того и сделана плагинная система, можете удалить все ненужные вам карты.


Цитата:

"прикручивание" к сас, например, карт ingit абсолютно бессмыленно

Там очень хорошие есть карты, но опятьже можно без проблем удалить из списка.


Цитата:

В САС, не смотря на кажущееся обилие ресурсных возможностей, в последней версии есть проблемы с выкачиванием с сервиров Яхо и Яндекс карты и еще некоторые сылки мне отвечали об отсутствии изображении на сервере

Это минус обилия ресурсов - за всеми не услидить но стараюсь и по первой же просьбе стараюсь обновлять ссылки и скрипты.


Цитата:

А ведь ее обслуживает гораздо больше народу

Если вы про разработку то не правы, прогю я один хотя в последнее время нашлись желающие мне помогать и будем надеяться что результаты не заставят себя ждать (хотя уже сейчас есть код написанный не мной). Я думаю и для satmap найдутся люди готовые помочь в разработке, вопрос в опенсорс.

relictus

Цитата:

Поступало предложение из 5-7 не русскоязычных стран с просьбой о мультиязыковой поддержке.

И не добавляй) Мя вот тоже просили, добавил и даже млин спасибо не сказали.

Разумеется, мы все понимаем, что автор развивает свою программу на чистом энтузиазме, и огромное спасибо ему за это. Тем не менее, почему бы не пообсуждать новые возможности -- может быть, в процессе обсуждения идея обретет такую форму, которая заинтересует уважаемого relictus'а

По поводу использования привязанных карт Ozi, полученных из сторонних источников, идея ОЧЕНЬ заманчивая. Сам давно хотел предложить что-то подобное. Плюсов основных тут видится два:
1. Возможность использования огромного множества уже готовых растровых карт -- здесь и генштаб, и старые карты, и прочее.
2. При появлении какого-то сервиса, закачка с которого реализована сторонним разработчиком, отпадает особая необходимость в конверторах -- склейка и привязка в формате Ozi в той программе, скорее всего, будет реализована.

Если говорить о конкретной реализации, то, как мне кажется, удобнее всего было бы сделать отдельный конвертор "графический файл+файл привязки-->добавить в указанный файл кэша SatMap".

В этом случае в очень многих случаях даже и Ozi особо не нужен. Портативная версия, которая всегда с собой. Несколько файлов кэша -- такая-то область, километровки генштаба, карты Шуберта, гуглокарты...

Цитата:

Но я бы предложил пока отложить обсуждение о дополнительном прикручивании аналогичных гуглю ресурсов до тех пор пока программа не стабилизируется в замкнутый навигационный комплекс -- выкачивание тайлов, обработка и склейка в распространенные форматы, навигационные расчеты и построение маршрутов, и непосредственно сама навигация внутри самой SatMap

А мне кажется что основная ценность SatMap-a - вовсе не как навигационного комплекса, а именно как программы по скачиванию карт/снимков с интернет-сервисов (что и заявляется автором, например, в шапке данной темы). В этом смысле она действительно полезна, уникальна и у нее практически нет конкурентов. Поэтому, я бы предложил "стабилизировать" ее именно в этом качестве. И, как мне показалось, relictus попал прямо в точку с тем, чего программе не хватает на данный момент:


Цитата:

5% - это полигональное выделение, просмотр заполняемости уровней, kml/kmz, другие геосервисы

Всё это ИМХО. Я конечно понимаю, что у всех свои задачи и всем бы хотелось видеть именно "свои" функции реализованными в первую очередь...


Цитата:

И все это должен сделать один человек на алтруистской основе

Еще раз хотелось бы выразить благодарность relictus-у за его нелегкий труд и предложить какую-бы то не было помощь. Я, например, готов тестировать любой функционал (в том числе и GPS). Имею опыт в разработке графики для UI. Возможно веб-дизайн?

Doc07

Цитата:

Если говорить о конкретной реализации, то, как мне кажется, удобнее всего было бы сделать отдельный конвертор "графический файл+файл привязки-->добавить в указанный файл кэша SatMap".

очень понравилась сия идея! Включу в планы, ближайшие...

kalbaska

Цитата:

готов тестировать любой функционал (в том числе и GPS). Имею опыт в разработке графики для UI. Возможно веб-дизайн?

Спасибо за помощь. Веб-дизайн сайта? А нужен ли он на хостинге народ.ру?
Лучше в создании хэлпа, сможешь?

relictus
az52
Посмотрите на логику ваших проектов с более крупного масштаба. OZI появился в начале 90-х в качестве альтернативы векторным картам, которые тогда делал в основном только Garmin. Чуть позже появился Гугльмап, только как сетевой ресурс. Где-то в 99-ом возник ГуглМВ, как некомерческое и не обременное политикой Гугла, связующее звено между Гуглом и ОЗИ. Паралельно гугл развивал собственный вариант Google Earth, который не пользуется популярностью у пользователей ваших программ в основнм по причине отсутствия связи с ОЗИ. В основе ОЗИ лежит растр одного масштаба. В основе Гугла тоже растр, только нарезанный на маленькие фрагменты. Возможность быстрой обработки большого количества таких фрагментов дает возможость быстро переключаться между масштабами и позволяет получить эффект глубины свойственный векторным картам, но без потери деталей, на что вектор всегда идет в угоду веса карты. Что мы имеем сейчас -- два проекта Sas и satmap, главные функции которых по-прежнему связующее звено между Гуглом и ОЗИ. Но технические возможности железа уже изенились. ОЗИ создавался во времена, когда 1 гб памяти был запредельной мечтой. Сегодня террабайт стоит может и дорого, но вполне доступно, если захочется его иметь. И sas и satmap, повторяя за гуглом, дают эффект вектора на растре, но только в просмотровом режиме -- навигация в реальном времени в основном переложена на ОЗИ со всеми ограничениями по масштабу. (конечно можно нарезать одну территорию в нескольких масштабах, но механизм переключения по масштабам ОЗИ, очень неудобный. Она хорошо работает, когда к ней подключены карты одного масштаба.) Куда привлекательнее использовать набор информации, попадающий в SAS и SatMap в качестве картоосновы для навигации в реальном времени. Первые шаги вы уже сделали, "прикрутив" связь с GPS-приемником. Осталось "закольцевать" программы долнив их нивигационными инструментами. В осовном это калька с ОЗИ, но в этом нет ничего необычного, так как главная задача ОЗИ -- дойти из точки "а" в точку "в" по суши, поглядывая на карты с реальным местоположением и курсом. В море ОЗИ не годится, так как не умеет делать счисления курсов и рассчитывать встречные курсы на основе известных дрейфов. Ну и даже не пытается работать с картосновой технологии charts. А Гугл в свою очередь не дает достаточной информации по морским путям -- глубины, знаки, входы в порты, течения и т.п. Поэтому развития обсуждаемой темы в эту сторону ждать не стоит.

На это обсуждение можно ответить и по-иному
relictus

Цитата:

C тестированием GPS мне очень хорошо помогал один человек в прошлом году, но теперь он пропал и развитие в этом направлении прекратилось

Могув потестировать и я, скажи чего надо.


Цитата:

5% - это полигональное выделение, просмотр заполняемости уровней, kml/kmz, другие геосервисы.

То что действительно очень надо и уже в ближайших версиях.

az52


Цитата:

Сори что встреваю)

Как раз это и отлично -- еще одно доказательство близости проектов и как вариант объединения лучших идей. Если я правильно понял на sas активно обсуждается переход на один файл кэша, уже реализованный в satmap. А здесь только что встал вопрос о расширени подключаемых ресурсов, что уже сделано в sas.


Цитата:

"прикручивание" к сас, например, карт ingit абсолютно бессмыленно

Там очень хорошие есть карты, но опятьже можно без проблем удалить из списка.

Вот я и говорю, что это дело вкуса, поставленных задач и информационной ценности требуемого квадрата в конкретном ресурсе при широких возможностях программы.



Цитата:

Это минус обилия ресурсов - за всеми не услидить но стараюсь и по первой же просьбе стараюсь обновлять ссылки и скрипты.

Цитата:

вопрос в опенсорс.

relictus уже реализовал автоматическое обновление ссылок и скриптов для гугла. Вот вам повод договориться друг с другом, а не каждый раз изобретать велосипед. Впрочем, у велосипедов так же есть множества моделей.

Цитата:

Лучше в создании хэлпа, сможешь?

Попробую. Дай какую-нибудь вводную задачу и каким тулзом пользоваться.

netrebos
Чуть уточню

Цитата:

Где-то в 99-ом возник ГуглМВ

"Декабрь 2005 - январь 2006 - Первая публикация программы." из ридми проги.


Цитата:

Могув потестировать и я, скажи чего надо.

Скажу, когда будет чего тестировать Просто тот человек (пропавший) буквально закидал меня идеями по навигации и не давал мне свернуть в сторону от реализации поддержки GPS. Он пропал, стимул - пошел следом , но записи остались. Дойдет очередь и до них, я же не могу разорваться...



Добавлено:
kalbaska
См. мыло

zporuchik
Ваши слова?

Цитата:

утиль хороший, но надо сказать, что после неё ОБЯЗАТЕЛЬНО надо расставлять точки по карте вручную

Если бы подходила не писал бы. Да и вообще зачем резать карты на кусочки? Речь идет о работе с листом карты как с тайлом. Или хотя бы возможность открывать лист генштаба прямо из программы. Тем более у SatMap сетка Генштаба уже есть, правда только на 100k.

Кстати о других картах кроме гугля. С Яндекса-карты SAS качает на ура и довольно быстро, спутник помедленнее но без проблем и банов. Что касается других сервисов то некоторые конечно отстой, но есть и приличные. Например с космоснимков удалось скачать SAS-ом нормальные снимки нужных территорий которые у гугля как болото в тумане!

Эти бы программы объединтить бы, всех конкурентов погасили бы.

relictus
Рискну вновь вам напомнить про GPSproga и конвертор для нее. Тут откликнулся автор этой программы, прислав такое описание.

Цитата:

Папки кэша делаю следующим образом: допустим, есть файл с координатами X и Y.
Тогда 1ая буква имени папки 'A' + X % 16
2ая буква имени папки 'A' + Y % 16
Например:
longitude=38.5609, latitude=58.4678, level=8
X=155, Y=76, файл "trtqrstrr", папка "LM"
Это для Google Areal, для остальных - различия только в имени файла, папка вычисляется точно также из X и Y. Т.е., картинки одинаковых долготы, широты и зума но разных карт попадают в одну папку.

Достаточно ли такого описания для утилиты?

Добавлено:

Цитата:

"Декабрь 2005 - январь 2006 - Первая публикация программы."

Я помню я ее впервые нашел в 2005 году, казалось, она была старше. С тех пор у меня стойкая нелюбовь к кускам гугля в ОЗИ СЕ. Но тогда она меня сильно выручила -- тоже был месяц без интеренета и без предварительного представления о собственном маршруте.

Добавлено:
kalbaska

Цитата:

Планируется:
1. Работа с форматом kml/kmz
2. Возможность скачивать данные с других сервисов
3. Полноценная работа с GPS приемником
4. и многое другое......

То же из описания. А уникальность возможностей по выкачиванию гугла никто и не оспаривает.

netrebos

Цитата:

Достаточно ли такого описания для утилиты?

А дайте-ка мне в ПМ адресок автора этой проги, кое-что уточнить надо.
Вообще, нужен конвертор только спутника SatMap в кэш GPSproga? Или и другие слои?

relictus
Первый этап тестирования мульти-версии дал довольно интересные результаты.

Было запущено три потока с разных участков в разные кэши. Один день утром все три снимок + гибрид, вечером комбинированно, второй - все три только снимок. Канал, память и процессор были специально перегружены другими программами, чтобы добить нагрузку до 100%. Реконнект правда пока не включал.

В режиме снимок + гибрид утра до примерно 15-16 по Европе все качалось на ура!
Вечером, сегодня попробую засечь момент поточнее на всех трех программах выскочила каптча. После ввода букв решил продолжить эксперимент, отключая слой гибрида и оставляя только спутник. Тут же появлялась каптча, но после ввода букв закачка продолжалась без проблем, закачка в параллельных потоках не прерывалась!!! Та же реакция выброса каптчи возникала, если было поставлено два слоя, 18 и 19 спутник с гибридом. Как только начинался 19-й слой без гибрида, скорость закачки спутника возрастала вдвое и вылазила каптча.
Позже попробую потестить в более жестких режимах и с реконнектом, а пока первые итоги теста.

Самый важный и приятный вывод - опасения что гугль будет банить закачку нескольких потоков с одного IP оказались совершенно напрасными, так как не учитывали специфики главного источника доходов гугля - рекламы. Кто интересует рекламодателя? Семьи с высоким и средним доходом и работающие. Первые имеют по компу на каждого члена семьи, но выходят в интернет через роутер с одного IP, вторые вообще выходят в интернет через сервер, по сотне с одного IP. Таким образом программа защиты гугля анализирует каждый поток с одного слоя, и выдает каптчу не на IP, а именно на поток.

Второй вывод - активность защиты не постоянна, а меняется в зависимости от времени и нагрузки. Утром и днем (по Европе), когда американцы спят, каптч в режиме снимок + гибрид не было вообще, даже при очень нахальных условиях закачки. После 15-16 часов включается защита, но попытаться обойти ее можно.

Сегодня утром запустил по трем каналам только спутник. Через 5500-6800 тайлов на всех вылезли каптчи, после ввода закачка продолжилась на том же IP.

Итак что можно сделать для уменьшения провоцирования каптчи вечером уже сейчас ?
Не ставить пока в одну закачку вместе уровни для которых имеется гибрид и спутник, например 1-18 и 19-21.
Закачка где есть только спутник сразу провоцирует каптчу (вечером), вводим ее и спокойно уходим. Утром сложнее так как каптчу надо ждать часа полтора.
В следующих версиях программы полезно сделать несколько небольших изменений.
1) Сделать чек-бокс для опциональной реверсивной закачки, т.е. начинать закачивать тайлы не с нижних уровней, а с верхних. Тогда можно будет вечером сразу ввести каптчу и лечь спать.
2) Разделить список чек-боксов закачки на два. Один 1-18 оставить как сейчас, второй 19-24 сделать отдельно. Это полезно не только для наглядности. Сейчас, если выбрать "все" и забыть отключить уровни 22-24, программа начинает обсчитывать миллиарды несуществующих тайлов и подвисает так, что даже через диспетчер не убить.
3) Добавить регулятор скорости закачки, причем опционально сделать так, чтобы он мог включаться в двух режимах - для всех и только при закачке одного слоя снимков.
4) Сегодня завтра попробую проверить как влияет на выход каптчи реконнект.

rex
Любопытные данные, продолжай дальше

relictus
отправил


Добавлено:
rex
relictus

Цитата:

Первый этап тестирования

Речь идет о версии 1.4.2.27 или 1.4.1.27?

netrebos

Цитата:

Речь идет о версии 1.4.2.27 или 1.4.1.27?

Речь об одной и той же версии (не помню номер) - на нее давал линк в личку.

relictus

А что скажете об этом чуде? Новый вид бана?



Правда я действительно обнаглел. Троян появился, когда у меня одновременно работало 10 satmat по 19 уровню.
А к сказанному выше rex, хотел добавить что у меня бесперебойно работате обычно с 2-3 утра до 6 утра, потом появляется капча и возобновляется в среднем через 25 - 30 тыс тайлов. Вечером пауза уменьшается до 5-8 тыс тайлов.

Троян заставил вспомнить о дасадной проблеме, о которой писал раньше. После остановки закачки посреди задания и последующего его возобновления возникает пауза. Поскольку задание было на 500 тыс, а закачку пришлось прервать на примерно 250 тыс, она возобновилась после повторного старта спустя несколько часов.

netrebos

Цитата:

А что скажете об этом чуде? Новый вид бана?

Фигасе! У меня у самого НОД, правда 4-й, но такого еще не видел. Может совпало с проникновением вируса из другого источника? А если скопировать в карантин? И отослать мне на опыты? Или в саппорт НОДа.

Добавлено:
Выдалось чуток времени, сделал просмотр заполнения текущего слоя на различных уровнях а-ля САСпланета, но лучше
MiMark, сорри, но на реализацию твоего предложения надо существенно больше времени, коего сейчас нет. Но оно не забыто!

Вот как это работает на примере скриншотов:
1) просто 2-й уровень спутника


2) он же, но с включенным наложением схемы 7-го уровня

здесь:
1 - зеленым подсвечивается область, для которой имеются тайлы в кэше;
2 - синим - отмеченные в кэше как отсутствующие на сервере гугла (404 Forbidden), если при их закачке была включена опция "сохранять в кэше информацию о недоступных тайлах".
Затемненная область - это отсутствующие тайлы 7-го уровня в кэше.

3) он же, но с включенным наложением схемы 7-го уровня + наложение 8-го уровня

Здесь более яркие цвета - это последний наложенный уровень.

relictus

Цитата:

Вот как это работает на примере скриншотов:

настройки цветов для разных уровней сделайте

Просили как-то генерирование ниже\выше лежащие слои из слоя выше\ниже лежащего.
хотелось бы чтобы была ещё возможность генерирования на лету (для просмотра)
например скачалась область 18 уровень
19 уровень есть на сервере но он уже не в фокусе, качать нет желания
уровни 17-16 качать нет желания, т.к. по объёму они = ~1\3 от 18-го уровня
суть для уменьшения размера кэша

ещё хотелось бы пост-обработку выводимого изображения, например резкость подкрутить \ инверися цвета \ и т.п.