» Рекурсивная загрузка веб-сайтов; оффлайн-браузеры (OfflineExplorer, TeleportPro, HTTrack)

Качаю с помощью MetaProducts Offline Browser. И похоже проблема действительно в кириллице. Поставил на закачку папку только с латиницей и все закачалось как надо. Но опять какой-то косяк. Выборочно пропускает некоторые файлы - ни с их уровнем, ни с их расширением не связано. Просто типа: хочу качаю, хочу нет)

moivhod, ага. Ну я этой проприетарщиной не пользуюсь и не собираюсь, поэтому, если вы желаете использовать именно ее, то могу подсказать только адрес ветки, где обсуждается именно она: тыц — там вам, может быть, помогут.

При чём тут проприетарщина? Реально самая крутая программа. Я все перебрал, более-менее нормальный - заброшенный Teleport, которого можно хоть как-то с ней сравнивать. И разработчик очень быстро и толково объясняет, как её настроить конкретно под такой-то сайт. Тёплых чувств к разработчику не питаю. Когда-то просил у него скидочку - он даже не ответил. Впрочем, возможно не прочёл личку. Программа очень дорогая - мне не по карману никак. Но, я не как та лиса - "виноград зелен". Прога действительно классная и почти всё умеет скачать, в отличии от кривой, и, похоже уже тоже заброшенной (разработчик даже на своём оффоруме не отвечает) HTTrack, который я вообще не понял, что умеет делать и на нескольких форумах мне никто не смог объяснить.

Kspeh> При чём тут проприетарщина?

В смысле «при чем»? Offline Explorer / Offine Browser — об’ективно несвободны, и я ими не пользуюсь, поэтому ничего кроме ссылки на ветку не подскажу. Найти эту ветку самому сейчас задача нетривиальная, поскольку у нее «смыло» тему. Вот и все.

moivhod


Цитата:

Качаю с http-сервера. Потом в папке скачивания вижу кучу файлов с длинными именами типа _25d1_2583_25d1_2587_25d0_25b5 без всякого расширения, никакой структуры каталогов, какая должна быть на сервере. С чем это связано?

Тут дело в кириллице, в настройках проекта можно отметить галку использовать Unicode в именах файлов.


Цитата:

Но опять какой-то косяк. Выборочно пропускает некоторые файлы - ни с их уровнем, ни с их расширением не связано. Просто типа: хочу качаю, хочу нет)

А можете рассказать с примерами, что должно загрузиться и пропустилось?


Цитата:

Когда-то просил у него скидочку - он даже не ответил. Впрочем, возможно не прочёл личку.

Да, к сожалению, личку не читаю последнее время Лучше напрямую спрашивать в этой ветке или в обсуждении Offline Explorer - их я постоянно монитюрю и отписываюсь.

Вот например - целые папки пропущены: 5E и 5G, хотя все остальные скачены



А вот из этих 4х файлов, лежащих на сервере, скачался только verbs.doc

moivhod

Мне нужен адрес сайта и адреса страниц со ссылками на эти файлы, чтобы увидеть, что не так со ссылками.

Кроме того, попробуйте выбрать проект и нажать Ctrl+F5 - это запустит закачку в режиме пропуска скачанных файлов, возможно, все отсутствующие будут скачаны.

Есть шанс, что просто сервер из-за нагрузки не отдает часть файлов.

К сожалению сервер с паролем, не смогу вас туда запустить))

Есть подозрение, что программе не нравятся длинные имена файлов и папок. Где это можно проверить.?

Попробую метод докачки. Однако, я пытался например делать новый проект и все скачать заново. Не качались все те же файлы и папки.

moivhod, копировать содержимое файлового HTTP-сервера, выдающего полное дерево в наиболее благоприятном для машинной загрузки виде — это безусловно достойное использование несвободного комбайна за 70 евро.

$ lftp 'http://user:password@example.org/directory/'
> mirror
> exit

Для Винды я настоятельно рекомендую цигвиновскую сборку.

ASE_DAG,

я чайник в том, что вы написали. )) Больше времени уйдет пока я разберусь как запустить эти три строчки кода. А комбайна за 70евро имеет вполне понятный GUI.

moivhod> Больше времени уйдет пока я разберусь как запустить эти три строчки кода.

Проверим.

(А не разберетесь — спрашивайте, пожалуйста.)

Цитата:

Есть подозрение, что программе не нравятся длинные имена файлов и папок. Где это можно проверить.?

Может быть и так. Вы можете написать точный путь к папке загрузки? Что если его выставить как c:\OE\ для краткости?

Подскажите, чем бесплатным можно скачать картинки джипеговские с сайта от страницы http://www.pravoslavie.by/inf/stan_luche/144# до страницы http://www.pravoslavie.by/inf/stan_luche/350# Пытался HTTRack - ничего не получилось. Даже просто все джипеги по адресу http://www.pravoslavie.by/inf/stan_luche/* не получилось скачать. У меня вообще ни разу ничего не получилось скачать этой тулзой. Есть ли другие бесплатные или недорогие?

AnHot, учитывая, что у картинок предельно прозрачные имена вида:

http://www.pravoslavie.by/images/aforizm_2012-13/144.jpg
...
http://www.pravoslavie.by/images/aforizm_2012-13/350.jpg

какая тут вообще может быть проблема? Чем угодно. GNU Bash + Wget, например:

$ wget http://www.pravoslavie.by/images/aforizm_2012-13/{144..350}.jpg

Добавлено:
Собственно, если вас интересуют сами листовки: http://rghost.ru/7zqhdq5YT

ASE_DAG
- даже в голову не пришло сопоставить имена файлов с адресами. Потому как адрес выглядит ...144# а не 144.jpg Тем более, что я заходил по этому адресу - там не просто картинка, но страница с картинкой и с двумя неработающими кнопками ("предыдущая" и "следующая"). Спасибо большое за подсказку - тогда действительно всё проще получается.

Цитата:

если вас интересуют сами листовки

- спасибо большое! Успехов.

Цитата:

$ wget http://www.pravoslavie.by/images/aforizm_2012-13/{144..350}.jpg

- у меня создаёт один файл 144..350.jpg Windows без $ Да и путь ведь другой - http://www.pravoslavie.by/inf/stan_luche/

Download master?

AnHot> у меня создает один файл

Значит у вас какой-то неправильный Баш. Убедитесь, что это вообще он для начала.

> путь ведь другой

Нет.

Добавлено:
sikemo, пардон, не понял вопроса.

https://eternallybored.org/misc/wget/
- брал отсюда 64х для Win7 64

AnHot, вы определенно невнимательны, это GNU wget, а я говорю про GNU Bash. Хотя разумеется, легко обойтись и без него.

> https://eternallybored.org/misc/wget/

Чем брать какие-то частные сборки, рекомендую поставить Цигвин — пригодится еще не раз.

AnHot

Возьмите Offline Explorer Pro, создайте проект с адресом:

http://www.pravoslavie.by/images/aforizm_2012-13/{:144..350}.jpg

И скачайте его - на все пару минут уйдет, без заморочек и изучения Linux-ов.

OlegChernavin
- с удовольствием! Ключик дайте, пожалуйста, а то у меня выдохлась триал версия, а покупать на год за 150 баксов программу, которой пользуюсь несколько раз в год - совсем не по карману. А так - прога действительно самая крутая в этом направлении.
На русском сайте продаётся за 5000. Не 150 баксов, но тоже ой.
Кстати, не понимаю кто у вас покупает обычную версию, которая не Pro. До того урезана, что можно прилепить к названию "Демо" и раздавать бесплатно. Даже фильтра по разрешению картинок нет. В бесплатных простеньких браузерных плагинах для скачки картинок такие фильтры есть, а в программе - нет.

AnHot

Триальная версия не выдохнется - в ней ограничения по времени нет. 2000 файлов на закачку. Для этих картинок вполне хватит.

Про фильтр по разрешению - согласен, добавим в стандартную версию.

Цитата:

Триальная версия не выдохнется - в ней ограничения по времени нет.

- надо же! А я удалил. Это было пару лет назад. Тогда тоже не выдыхалась? С тех пор всё пытаюсь бесплатный httrack заставить нормально работать. Ни разу не получилось.
Установил, спасибо. Сразу же проверил - починили ли перенос панели быстрого доступа под ленту или нет. Нет, не починили. До сих пор после перезапуска программы она наверх прыгает.
Какие ещё ограничения незарегистрированной программы - где почитать можно?
Программа стала поудобнее и попонятнее. Очень хорошая опция - макросы вставлять в начальный адрес. Кстати, там ошибка. Если нет на конце адреса слэша (а его как правило нет) - то ерунда получается. Сделайте проверку - если нет слэша, то добавить. Например http://www.pravoslavie.by/images/aforizm_2012-13{:1..834} - здесь получилась ошибка, http://www.pravoslavie.by/images/aforizm_2012-13/{:1..834} - вот здесь уже правильно.
Успехов Вам.

AnHot

Цитата:

Тогда тоже не выдыхалась?

Да уж года четыре, наверное, как сделали другой триальный режим.


Цитата:

Сразу же проверил - починили ли перенос панели быстрого доступа под ленту или нет. Нет, не починили. До сих пор после перезапуска программы она наверх прыгает.

Исправил. Спасибо!


Цитата:

Сделайте проверку - если нет слэша, то добавить.

Так ведь не факт, что слеш должен быть. Перебор чисел может быть и таким образом:

http://www.server.com/dir/big_image350.jpg

Цитата:

Smitis
я не спрашиваю как сохранять отдельно ролики с youtube, я сам могу назвать тебе десяток методов.

я спрашиваю как сохранить HTML-страницу (например обзор телефона), на которой есть пара встроенных youtube роликов, чтобы они потом на сохранённой странице игрались без интернета? неужели оффлайн-браузеры не умеют это делать? дарю идею безвозмездно

и это вопрос как раз для этой темы. даже не знаю как задать его понятнее

поддерживаю вопрос, появилось какое-нибудь решение?
или хотя бы как заполучить список ссылок на ролики? я их отдельно могу скачать через Free Youtube Download

POMAH1

Цитата:

поддерживаю вопрос, появилось какое-нибудь решение? или хотя бы как заполучить список ссылок на ролики? я их отдельно могу скачать через Free Youtube Download

И список ссылок и сами ролики можно скачать с помощью того же OfflineExplorer