» HTTrack Website Copier

Тут нашел про авторизацию через граф. интерфейс http://httrack.kauler.com/help/CatchURL_tutorial url захватывается закачка идет но авторизация не происходит. Через веб интерфейс в линуксе не работает. А команды я не знаю
ASE_DAG Вся надежда на Вас

Andreykhv
> А команды я не знаю
А я ее уже говорил:
$ httrack 'http://www.traderacademy.ru/forum/'

Тем не менее, пока мы тут с вами канителились, они немного поменяли механизм авторизации, чтобы об’единить авторизацию на форуме с авторизацией на сайте. Во-первых, перелогиньтесь браузером (заодно воочию увидите, что форма логина поменялась), снова сохраните (Tools › Export Cookies...) и отфильтруйте ($ grep 'traderacademy.ru' ...) куки. А во-вторых, теперь они проверяют юзер-агент, и его надо указывать отличным от дефолтного, тогда как не далее, чем позавчера это еще было не нужно.

$ firefox http://ifconfig.me/ua
скопировать вывод
$ UA='<сюда вставить>'
$ httrack -F "$UA" 'http://www.traderacademy.ru/forum/'

ASE_DAG
Большущее Вам спасибо. Процесс пошел, авторизация прошла.

Куки лишние я удалял и в текстовом редакторе и командой $ grep 'traderacademy.ru' cookies.txt > cookies.txt.tmp. которую вы подсказали еще до смены механизма авторизации но результата не было. Видимо причина была в том что я по другому запускал HTTrack.

Подскажите пожалуйста а какой командой можно будет продолжить закачку?

Andreykhv
> Процесс пошел, авторизация прошла.
Ну слава богам, наконец-то.

> а какой командой можно будет продолжить закачку?
А как вы ее остановили? ^C? Ну тогда $ httrack -i ($ httrack --continue).

Форум загружался всю ночь. Но часть страниц не доступна, нужна авторизация.
Прервал загрузку, возобновил, стали не доступны уже загруженные страницы.
Что то не пойму, у них на сайте модернизация какая то проходит?
Заново запустил командой:

UA='Mozilla/5.0 (X11; Ubuntu; Linux i686; rv:15.0) Gecko/20100101 Firefox/15.0.1'
httrack -F "$UA" 'http://www.traderacademy.ru/forum/'

предварительно обновив куки и отфильтровав файл cookies.txt авторизация не произошла
Что то не пойму в чем причина? То ли я вчера каким то непостижимо случайный образом запустил как надо, то ли идет какая то модернизация на сайте?

ASE_DAG
Повторно спустя время запустил с теми же настройками, авторизация произошла началась загрузка, но загрузились только первые страницы тем разделов а сами темы и последующие страницы с темами нет. Нужна авторизация
Подскажите пожалуйста в чем может быть причина?

Мой HTTrack 3.46 говорит что есть ограничение одновременных коннектов - только 4! А мне надо хотя-бы 10 ! Задаю -с8 он отвечает: Warning:     * security warning: maximum number of simultaneous connections limited to 4 to avoid server overload.
Чего делать?

И ещё вопрос. Как вызывать httrack.exe из bat-файла. Из-под FAR-а всё нормально, но если записать ту же командную строку в bat-файл она интерпретируется неправильно (наверно из-за %" и т.п. символов). Как с этим бороться?

спасибо.

dyarsleau
> security warning: maximum number of simultaneous connections limited to 4
--disable-security-limits, не?


> Из-под FAR-а всё нормально, но если записать ту же командную строку в bat-файл
> из-за %" и т.п.
Да, если я правильно помню, в виндовом шелле есть какой-то маразм, связанный с различием синтаксиса интерактивных команд и скриптов. Только никакого отношения с сабжу это не имеет, спросите у ваших товарищей по командной оболочке.

Да я в принципе знал про экранирование % в bat-файлах, просто очень давно пользовался (ещё под ДОС-ом) и хотел чтобы за меня вспомнили на халяву, так что сорриии... Сейчас проблема решена (надо удваивать % (% -> %%)).

А вот с --disable-security-limits возник вопрос. Дело в том что я стал поиском искать в документации ( в httrack\html\*.* ) стринг "disable-security-limits" и ничего не было найдено! Тогда, понимая что если это опция командной строки, она должна быть в .dll или .exe файле, я её всё-же нашёл в libhttrack.dll !
Закономерный вопрос: Дайте линк на ПОЛНОЕ описание для httrack.
спасибо .

dyarsleau
Описание синтаксиса, к которому можно обращаться как к справочнику — это всегда ман.
$ man httrack
Но на Винде он у вас, конечно, в таком виде не присутствует, поэтому Гугль в помощь, и первая же ссылка.

ASE_DAG
Спасибо, но и в этом файле (manual по Вашей ссылке - http://www.httrack.com/html/httrack.man.html ) поиск по "disable-security-limits" ничего не даёт.

Кстати подозреваю, что с какой-то версии они убрали из документации упоминание о disable-security-limits.

Будет время надо бы мне погуглить httrack + disable-security-limits

Ещё раз спасибо, ASE_DAG.

dyarsleau
> и в этом файле (manual по Вашей ссылке - http://www.httrack.com/html/httrack.man.html ) поиск по "disable-security-limits" ничего не даёт
На этой странице аски-дефисы (-) по каким-то соображениям написаны минусами (&#8722;), которые местный рубордовский говнопарсер не пропускает. Если не знаете, как его (минус) набрать, то поищите просто security.

да, вечная спешка, не проверил, спасибо

Хотел скачать сайт lib.ru, там хорошая библиотека. Сам сайт со всеми ссылками скачался, а вот сами тексты нет. Работаю в Убунту 12. Какие расширения поставить в фильтре, чтобы качалось все? Помогите, кто может, пожалуйста!

vasily0211156
> Хотел скачать сайт lib.ru
Глобально! А думаете, до вас этого никто не сделал? Наверняка можно, например, где-нибудь здесь скачать.

Моя мама очень любит любовные романы. Поставил на закачку http://loveromantika.ru/, но архивы с книгами почему-то не загружаются. Подскажите, пожалуйста, правильные настройки.

Belfey
> Поставил на закачку
Не наблюдаю. Покажите, что вы приказали.

Что именно? Просто открыл окно программы, указал ей адрес, указал, чтобы игнорировала robots.txt (не знаю, зачем), указал маску, по которой нужно загружать файлы (только архивы). Но нужные файлы не загружаются. Возможно, потому, что архивы с книгами находятся на book.loveromantika.ru?

Belfey
> открыл окно программы
Увы, я с гуем (ни с тем, ни с другим) не знаком, извините.

Помогите тогда с командной строкой, пожалуйста

похоже на выходе из программы нельзя получить файлы в формате .mht ?!

Скажите плз , а полным чайникам помогаете, нужно скачать ветку форума со всеми вложениями
http://www.forumhouse.ru/threads/24548/
Ветку то саму всё хорошо качает, но вот вложения не могу открыть офлайн, настройки стояли по умолчанию, помогите что делать не знаю , что то пробовал изменять в настройках увы безрезультатно...

Приветствую, как не пытаюсь освоить прогу, никак, кто нибудь может написать несколько примеров как скачивать ветки форума. Был пример с сайтом радиокот, но работает только на радиокоте А мне нужен другой форум. Может быть кто то сжалится и напишет краткую инструкцию например на http://forum.cxem.net/index.php?showtopic=11509. Заранее спасибо.

В шапке обнаружено содержимое неизвестного происхождения (см. #). Поскольку уведомления о правке в ветке не оставлено, воспринимаю это как вандализм и, не выискивая в этой версии рациональное зерно, полностью откатываю на последнюю сохраненную.

Тем не менее, напоминаю, что дополнения и исправления в шапках всегда приветствуются, но также напоминаю о необходимости отписываться о правках и сохранять исходный вариант.

---

#: шапка версии neZlodey, 15:04 01-06-2013

Обновилась до 3.47.20
Setup:
http://download.httrack.com/httrack-noinst-3.47.20.zip
Portable_x86
http://download.httrack.com/cserv.php3?File=httrack-noinst.zip

Внутри папки с зеркалом сайта куча *.html размеров 418 байт и одинаковым содержанием "Security Warning:
Parsed array keys can not contain illegal characters! Script execution has been halted. It may be possible to fix this error by deleting your browsers cookies and refresh this page."

как побороть?

поставил свежую версию с сайта
проблема: количество подключений все время 4
скорость не больше 25 кБ
я снял все ограничения в настройках, но они не изменились в программе
что за фигня? на таком "модеме" я год качать буду. почему настройки не работают?

Когда запускаю предыдущую закачку, сабж перетирает уже закачанные файлы - файлами с нулевым размером и качает их заново. Есть-ли тут где-то параметр "не заменять и не обновлять уже скачанные файлы"?

Добавлено:
LaVas_ki

Цитата:

скорость не больше 25 кБ

я в настройках нолик на максимальной скорости поставил - качает без ограничений.

Обновилась до 3.47.21
Setup:
http://download.httrack.com/httrack-noinst-3.47.21.zip
Portable_x86
http://download.httrack.com/cserv.php3?File=httrack-noinst.zip

Обновилась до версии 3.47.22



Цитата:

Добавлена поддержка IDNA / RFC 3492, исправлены ошибки, улучшен перевод интерфейса на русский язык.