» SatMap

relictus

Цитата:

Что-то мне кажется гугль просек обход бана с помощью каптчи и теперь даже не предлагает ее ввести,

Я для закачки спутника использую старую версию 1.3.1.15.
Обычно гугль дает скачать ~6000 - 6500 тайлов и только тогда банит. Приходится менять IP. Пробовал качать сразу несколько слоев, чтобы замедлить закачку спутников - не помогло. Возможно один из проверяемых параметров алгоритма бана как-то связан с общим времени долбежа одного участка с одного IP - на броузере вручную так не поработаешь. Во-вторых возможна проверка порядка закачки - ваша спираль в новой версии отлавливается элементарно. В третьих гугль гарантированно проверяет "User Agent" браузера. Попробуйте поэкспериментировать с разными значениями - Оперой, IE, Mozilla Firefox, Chrome - может удастся обмануть. Правда и порядок закачки тайлов возможно должен совпадать.

Например в USD установка User Agent - "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; Alexa Toolbar; MEGAUPLOAD 1.0)" позволяет спокойно качать с сервиса MEGAUPLOAD почти без ограничений без браузера.

kalbaska
Спасибо, добрый человек, завтра же и приступим

rex
Видимо, система бана запросов тайлов по имени (как в версии 1.3...), осталась без изменений, тогда как на запросы по координатам гугль что-то новое придумал.
Закачка по спирали идет только в режимах инет/инет+кэш, по выделению осталась такая же, как и в ранних версиях, но банят одинаково быстро. ИМХО, врядли дело в спирали...
С "User Agent" я уже игрался. Возможно мало, но разницы не ощутил. Единственно, не пробовал ХРОМ еще...
Вроде разгадал и систему куков, но тоже не сильно помогло... Есть, правда, еще кое-какие идейки...
Напоследок оставил периодическую тупую подгрузку мапс.гугл.ком, как писал az52, вроде помогает.....

relictus

Цитата:

Что-то мне кажется гугль просек обход бана с помощью каптчи и теперь даже не предлагает ее ввести, сразу - 403 Forbidden. Это у всех так?

Чтобы такое проверить нужен постоянный IP (Белый IP).

egor23

Цитата:

Чтобы такое проверить нужен постоянный IP (Белый IP).

Зачем? Я смотрю по логам: если раньше гугль при подозрении на автозакачку делал редирект на страницу с каптчей, то сейчас я такого не наблюдаю - сразу бан.

relictus

Цитата:

Зачем? Я смотрю по логам: если раньше гугль при подозрении на автозакачку делал редирект на страницу с каптчей, то сейчас я такого не наблюдаю - сразу бан.

Так может он уже делал ридерект до этого, если кто уже качает\качал с использованием SatMap на этом IP (если бан по IP).

Вообще можете сделайте полную эмуляцию поведения браузера, со всеми запросами тайлов (пускай лишнее качается, чёрт с ним) и в несколко потоков (или опцию - количесвто соединений с сервером, такое в Opera есть).

egor23

Цитата:

со всеми запросами тайлов

скорее надо делать поддержку джаваскриптов, т.к. вся соль в них.
вообще я давно думал, что идеальной прогой будет та, которая будет строится на подобии надстроек к браузеру ИЕ. наподобии Макстона, Гринброузера и т.п.
т.е. в программе надо использовать движок ИЕ, а весь функционал в надстройку.

zporuchik

Цитата:

т.е. в программе надо использовать движок ИЕ

он и так используется

relictus
Если не секрет, ты же вроде на delphi пишеш, как грузиш map.google.com? Всмысле как грузить без утечки памяти?

zporuchik

Цитата:

в программе надо использовать движок ИЕ

Не думаю. Ведь в Опере тоже все прекрасно работает! Другие браузеры не пробовал...
egor23

Цитата:

он и так используется

А вот и нет. Я полностью избавился от зависимости IE. Используются только сокеты...
az52

Цитата:

как грузиш map.google.com? Всмысле как грузить без утечки памяти?

Главную страницу? Я ее вообще не гружу (пока). А где и почему у тебя утечки (я не юзаю indy)?

Цитата:

Я полностью избавился от зависимости IE

может не стоило?

zporuchik

Цитата:

может не стоило?

Стоило
kalbaska
Пока разгадываю гугловские хитрости бана, пару штук уже просёк, еще чуть-чуть и выложу для теста

Цитата:

Пока разгадываю гугловские хитрости бана, пару штук уже просёк, еще чуть-чуть и выложу для теста

Я готов!

kalbaska
Только для теста, пробуй: Ссылка
Что надо:
1) зайди в настройки-интернет-кнопка проверить версии
2) выделить область на тысячу-две тайлов
3) выбрать слой только спутник и попробовать закачать
4) запомнить на каком по счету вывалится бан

Странная ситуация:
1. Следовал всем инструкциям из предыдущего поста.
2. Скачало 139 тайлов и выскочило окошко: 2500 поставлено на закачку, 139 скачано, 0 не удалось скачать.
3. Поставил качать заново - качается...

kalbaska

Цитата:

Странная ситуация:

Стоп не нажимал случайно? Теперь же это одновременно и кнопка выполнить



Добавлено:
kalbaska
Прошло полчаса, неужто не забанили??

Да вроде нет... Но больше такого не случалось.
Скачивание 2500 тайлов закончилось - бан так и не случился.

Добавлено:
Попробовать еще что-нибудь?

kalbaska

Цитата:

Скачивание 2500 тайлов закончилось - бан так и не случился.

Неужели победил я бан???
На всякий случай переспрошу: точно качал слой спутника? айпи менялся во время закачки? тайлы реально закачались? попробуй еще

Добавлено:
скорость какая была?

Цитата:

На всякий случай переспрошу: точно качал слой спутника?

точно.

Цитата:

айпи менялся во время закачки?

нет.

Цитата:

тайлы реально закачались?

да, проверил. всё в порядке.

Цитата:

попробуй еще

поставил очередь на 5000 тайлов. через пару часов отпишусь...

Цитата:

скорость какая была?

скорость конечно не очень - 40 тайлов в минуту, но я так понимаю что лучше так чем никак...

relictus
При попытке склеить в ECW\JP2
получаем ошибку:

Exception ECWError in module SatMapGPS.exe at 002ACDC1.
An invalid parameter was used.

Жмём склеить - указываем имя файла - получаем ошибку

relictus
Экспортировал старый кэш в GMV и попытался импортировать пару уровней в 4-ю версию. За три часа конвертировалось чуть больше 3-х гигабайт. Поскольку пора было уходить и забирать с собой ноут поришлось убить процесс . Судя по низкой загрузке процессора и памяти причина медленной конвертации в связке диск-файловая система и обойти это при миллионах мелких файлов тайлов не получится. Нельзя ли сделать вариант остановки процесса импорта с корректным завершением? Чтобы потом можно было продолжить там где закончил.

egor23

Цитата:

При попытке склеить в ECW\JP2

Какая область была выделена? Слой? Параметры ECW?

rex
Попробуй версию от сего дня.

Цитата:

Какая область была выделена? Слой? Параметры ECW?

1200тайлов 9984x7600 уровень 19 спутник настройки ECW по-умолчанию
Вот эта область


кстати мне кажется неверно показывает размер области, значения вроде остались от 19 уровня.

Цитата:

скорость конечно не очень - 40 тайлов в минуту, но я так понимаю что лучше так чем никак...

Это не зависит от версии. Скорость отдачи тайлов меняется в зависимости от времени суток. Когда американцы приходят на работу и дружно заходят в интернет, скорость падает. У меня на старой версии сейчас скорость тоже около 40 тайлов в секунду, а утром было под 70. Естественно при закачке в три потока скорость растет .

Добавлено:
relictus
А что там нового кроме усовершенствованного антибана?

rex

Цитата:

Естественно при закачке в три потока скорость растет

а как сделали в несколько потоков?

Скачало 4800 тайлов и стало спрашивать капчу - и на этом этапе зацикливается.

egor23
Пустил закачку карт и рельефа через два GMV


Добавлено:
kalbaska

Цитата:

Скачало 4800 тайлов и стало спрашивать капчу - и на этом этапе зацикливается.

А смена IP помогает?

egor23
Насчет ECW посмотрю завтра...

rex

Цитата:

А что там нового кроме усовершенствованного антибана?

Версия тестовая, но попутно с антибаном (только для закачки по выделению!) сделано:
ускорен импорт кэша GoogleMV, удаление и копирование из родного кэша (в сотни раз!)
информация о процессе закачки или склейки теперь отображается в окне выделения
в конфигурации не сохраняются абсолютные пути к файлам кэша в каталоге программы
[+] сохранение выбранных уровней для закачки (окно "Выделение")

kalbaska
Ну, уже лучше, чем пара сотен тайлов Будем бороться с баном дальше...

relictus
При запуске, сдвиге карты и при нажатии иконки слоя или уровня выдает алерт:

SatMap navigation
Format '%s' invalid or incompatible with argument.

Ничего на экран не подкачивает, даже ландшафт.
Но по выделению качает.
Правда информация о количестве тайлов к закачке идет только в прогрессбаре после запуска. В окне "инфо" информация с предыдушей закачки.

rex

Цитата:

выдает алерт:

Это нормально, версия тестовая, упор был сделан на закачку по выделению, остальное может не работать корректно. Завтра выложу более стабильный билд.

Цитата:

Правда информация о количестве тайлов к закачке идет только в прогрессбаре после запуска. В окне "инфо" информация с предыдушей закачки.

Потому что в "инфо" инфа обновляется либо при изменении выделения, либо по нажатию инфо-кнопки. Бага не вижу

relictus

Цитата:

Потому что в "инфо" инфа обновляется либо при изменении выделения, либо по нажатию инфо-кнопки. Бага не вижу

Так об этом предупреждать надо! А то хрен знает, что за "i" там в углу.
Кстати, как раз при изменении выделения кнопка на слабом компе может быть удобнее. При большом размере выделения не грузит комп при настройке прямоугольника под карту.
А вот при сохранении выделения и просто смене уровня как раз желательно автоматом менять.