» Рекурсивная загрузка веб-сайтов; оффлайн-браузеры (OfflineExplorer, TeleportPro, HTTrack)

SFC
А, понятно.
Хотя HTTRack имеет массу всяческих настроек - и твой вариант наверняка можно реализовать, но проще всего именно то, что тебе надо, вроде бы, реализовано в расширении FlashGot (или Scrapbook - ?) к Файрфоксу, - ещё также где-то неоднократно что-то подобное встречалось, просто не вспомню сейчас, так как не пользовался этой возможностью за ненадобностью.

ioppp
Наиболее близкие к задаче: SpyGet , WebSnatcher
Но у них мелкие глюки

Остановился на: полностью удовлетворяет.
WebSite Extractor

SFC
Рад за тебя.
Вот только я совсем упустил из виду, что в Гетрайт 6а Про имеется замечательный GetRight Browser, который делает именно то, что ты хочешь, а если немного его поднастроить под свои требования - то и так, как ты хочешь :
Цитата:

Что хочется:
Загрузить не столько полностью сайт полностью, сколько перечень конкретных линков с глубиной 0,
Т.е. только страница со своими картинками.
Для чего - набрал стопку линков станицы - пошел в клуб, закачал все, а дома читай.
И чтобы запускалась с флешки - без установки.

Вот посмотри:

Линки можно сразу не закачивать, а отложить на потом или импортировать их куда-нибудь, ну и т.д. и т.п.

ioppp
Спасибо, посмотрел, но она по-мойму не работает с флешки.
Я решил остановиться на WebSite Extractor. Он просто и ритейл версия не требует всяких реестровых дополнений, работает с флешки и адекватен
Спасибо за наводку

Цитата:

Наверняка что-то подобное есть, просто это наверное врядли полноценный offline browser

Мы думаем над тем, чтобы это сделать в Offline Explorer. Насколько я понимаю, желательно, чтобы и настройки и скачанные файлы кидались в эту-же флешку - где и установлена программа.

OlegChernavin

Цитата:

чтобы и настройки и скачанные файлы кидались в эту-же флешку

Да, вы правильно поняли.
Также я, при тестировании вышеуказанных программ, сталкнулся с тем, что не все программы правильно "локализируют ссылки на скачанные картинки" и не все показывают (восстанавливают) структуру сайта.
У WebSite Extractor'ра также есть недостаток - он иногда "пропускает" некоторые картинки скачать. Зато они появляются в структуре сайта.
Но основное требование - это режим: только страница + плюс ее картинки, где бы они не были по дереву сайта

Один из вариантов бесплатной ненапряжной закачки - Mozilla Firefox + [extention] ScrapBook http://amb.vis.ne.jp/mozilla/scrapbook/

Касательно ОЕ:
так и не понял, для чего в установщике выбор русского языка? руссификация установщика?

Скачал сайт - внутри русская абракадабра!
Оказалось - в ошибка в кодировке: ОЕ вместо windows-1251 поставил в шапке koi8-r.
Пришлось писать програмку на Perl для исправления шапки в html-файлах

Скомпиленный CHM (как, впрочем, и просто закачанные странички) то и дело просится в сеть из-за наличия на странице счетчиков, но как-то не вяжется это с концепцией Оффлайнового сайтопросмотра - я не говорю о вырезании из скачанных страниц кодов, ответственных за баннеры и счетчики (хотя ой как думаю!), но запрет на попытки коннекта из CHM и MHT был бы кстати, хотя бы в виде галочки в окошке экспорта

Также была бы полезна возможность измененять код html с целью принудительного отключения открывания в новом окне, а то из CHM по каждой ссылке в IE выскакивать - зачем тогда CHM?! (но это надо скорее оборвать руки создателям таких сайтов, пример - flower.nn.ru)

Цитата:

Касательно ОЕ:
так и не понял, для чего в установщике выбор русского языка? руссификация установщика?

Сорри, упустил. Сейчас буду исправлять.


Цитата:

Скачал сайт - внутри русская абракадабра!
Оказалось - в ошибка в кодировке: ОЕ вместо windows-1251 поставил в шапке koi8-r.
Пришлось писать програмку на Perl для исправления шапки в html-файлах

А на каком сайте это было? Какую кодировку ОЕ прописал в страницах?
Цитата:

Скомпиленный CHM (как, впрочем, и просто закачанные странички) то и дело просится в сеть из-за наличия на странице счетчиков, но как-то не вяжется это с концепцией Оффлайнового сайтопросмотра - я не говорю о вырезании из скачанных страниц кодов, ответственных за баннеры и счетчики (хотя ой как думаю!), но запрет на попытки коннекта из CHM и MHT был бы кстати, хотя бы в виде галочки в окошке экспорта

Также была бы полезна возможность измененять код html с целью принудительного отключения открывания в новом окне, а то из CHM по каждой ссылке в IE выскакивать - зачем тогда CHM?! (но это надо скорее оборвать руки создателям таких сайтов, пример - flower.nn.ru)

ОК. Посмотрю на этом сайте, что можно сделать.

весь день потратил, испробовал все что можно
так и не нашел нормального даунлоадера

проблема такая, что сайт генерирует ссылки на несущетвующие страницы, и если у апача логах проскакивает ошибка 404, то доступ с этого IP на некоторое время закрывается..

урлы генерируются следующим образом:

http://www.com/directory/227273
http://www.com/directory/29084
http://www.com/directory/923
http://www.com/directory/2272734

то есть в фиктивной ссылке всегда существует адрес http://www.com/directory/

ни один даунлоадер не поддерживает выражения для исключения загрузок под тип
http://www.com/directory/[0-9]*
или
http://www.com/directory/1*
http://www.com/directory/2*
http://www.com/directory/3*
http://www.com/directory/4*

единственно кто умеет делать, так Teleport Pro, да и у того косяк

если ссылка href="http://www.com/test"
то по идее это все равно что href="http://www.com/test/index.***" если нет такого файла в директории, а телепорт про не сохраняет такие страницы

Ну это как раз Offline Explorer Pro может - как раз такие маски:
http://www.com/directory/[0-9]*

http://www.metaproducts.com/download/opsetup.exe

И ссылки типа /test, где test это не файл, а каталог нормально грузит и сохраняет.

А вот любители Телепорта с немецким/американским качеством могут вот это объяснить > http://forum.ru-board.com/topic.cgi?forum=5&topic=0749&start=260#17 ? И как вообще у программы с таким "кач-вом" и такой ценой, нет проверки - скачал ты файл или нет??? Можно его хоть 1000 раз потом запускать, если он отметил себе, что скачал, а на диске этого файла нет, то он его больше и не будет скачивать.

В Offline Explorer другая логика - если присутствует файл на диске, то значит он был скачан. Если его нет (напр. стерли руками), то будет качать заново.

OlegChernavin

А это самая правильная логика, другого и быть не может. Либо должна быть опция выбора. Ответил в той теме, также.

Долго тут не появлялся. Проблему удалось решить?

Готовлюсь выпустить еще одну редакцию Offline Explorer, которую можно устанавливать на флешки и запускать с любого компьютера. Решили назвать ее по другому - Portable Offline Browser. Хотя внутри это тот-же ОЕ с небольшой специализацией.

Кому интересно, можно потестить:

http://www.metaproducts.com/download/pobsetup.exe

Поможите чем можите

А нет ли такой програмки, чтобы, ммм, как бы объяснить, короче есть сайт с галереями картинок, каждая галерея имеет свое название (в виде ссылки), тыкнув на название галереи, переходим на страничку thumbnails и далее кликая на 1 из предкартинок попадаем на страничку с самой картинкой, так вот в чем проблема: картинки из нескольких галерей могут храниться в одной папке на сервере, и при сохранении картинок, они сваливаются все в одну кучу (создается папка с таким же названием как та, что на сервере) (цель именно картинки, сами страницы ни к чему), проделывал все в офлайн эксплорере, так вот нужно, чтобы картинки сохранялись в папку, с именем как название галереи, можно ли как-нить научить этому офлайн эксплорер или мб есть программы умеющие это?

сайтик например: http://www.imgloading.com/content.php (но тут еще одна хрень, там 2 ссылки на одну галерею, 1 - порядковый номер галереи; 2 - название галереи...хотелось бы чтобы создавал папку из названия галереи)

OlegChernavin
> проблему удалось решить
Для того что мне надо было (есть набор ссылок, и все их надо скачать на глубину 0 с картинками, чтобы потом прочитать. Программа должна работать с флешки и записать их все на флешку) оказалось что лучший вариант это все-таки BookBuilder (от CyberArticle).
Преимущества: работает с флешки со своего же каталога, сразу готовый результат помещает в книгу CyberArticle – пропуская промежуточную стадию нахождения документов на диске, отражает ссылку откуда было скачано, довольно просто и быстро – создал файл со своими ссылками, импортировал файл в ВВ, указал место внутри книги СА и все.
Недостатки: для глубины 0 их нет. (Для глубины 1 работает с небольшими глюками – лучше пользоваться спец. программой закачки сайтов – но мне глубина 1 не нужна)

> Portable Offline Browser
Тогда уж лучше Offline Browser Portable – именно в таком порядке идут де-факто (из-за возникших проблем де-юре) все Portable Applications. http://portableapps.com/ Хотя в данном случае вы автор и копирайт ваш, вам и решать. Сам факт появления такой программы – это уже шаг вперед, приятно иметь программу, которая не мусорит в Windows и все свое держит при себе.

Цитата:

сайтик например: http://www.imgloading.com/content.php (но тут еще одна хрень, там 2 ссылки на одну галерею, 1 - порядковый номер галереи; 2 - название галереи...хотелось бы чтобы создавал папку из названия галереи)

Я боюсь, что это пока невозможно. Есть фича "замена адресов", но она работает только с адресом самого файла, но не берет данные со страницы, которая привела к файлу.


Цитата:

> Portable Offline Browser
Тогда уж лучше Offline Browser Portable – именно в таком порядке идут де-факто (из-за возникших проблем де-юре) все Portable Applications. http://portableapps.com/ Хотя в данном случае вы автор и копирайт ваш, вам и решать. Сам факт появления такой программы – это уже шаг вперед, приятно иметь программу, которая не мусорит в Windows и все свое держит при себе.

Спасибо!

Обновил таблицу сравнения, добавив туда Portable Offline Browser:

http://www.metaproducts.com/mp/chart.asp?chart_id=1&lng=2&id=2&links=1

Друзья, подскажите пожалуйста, в котором из перечисленных бразуеров имеется возможность ограничения количества загружаемых страниц в 1 минуту? В таблице сравнения такую информацию не нашел.

Дело в том, что я пытаюсь рипнуть онлайн-книгу по кардиохирургии, a сайт выдает вот какую ошибку:


Цитата:

Access to this site from IP address **.***.***.** has been temporarily blocked
The most likely reason for a block is too-frequent requests for a resource. "Offline browsers" can create too-frequent requests, especially if they haven't been configured properly.

If you are using one of the popular "offline browsers" that allow you to download content from a site and read it later, be aware that we impose one restriction on their use.
In order for us to provide reliable, continuous, and timely access to this site for all readers, we require that you configure your offline browser to request no more than one page per minute.

//Благодарю Zakkazak и OlegChernavin за ценные советы.

OfflineExplorer сможет решить эту задачу. Достаточно в поле URL проекта прописать эти параметры:

Channels=1
Delay=60

Или в окне настроек. Причем можно в поле задержки ставить диапазон, например, 20-40 - получится от 20 до 40 секунд будет проходить между загрузками, случайным образом, имитируя поведение обычного пользователя, который грузит страницу, читает, а потом кликает по следующей ссылке.

А кто знает, где реализована возможность закачки ТОЛЬКО ссылок.

Хочу скачать вот эту ветку (80 листов):
http://law.vl.ru/forum/viewtopic.php?t=36&postdays=0&postorder=asc&start=1

Короче перепробовал все, начинает сволочь скачивать весь PHPBB форум.
Что бы такое простенькое поставить, чтобы она скачала эту страницу и все страницы с нее, которые начинаются на http://law.vl.ru/forum/viewtopic.php?t=36&postdays=0&postorder=asc&start= ???

И больше ничего, разве что еще картинки с этих страниц???

Пробовал WinHTTTrack, WebZip, Teleport - все качает сайт целиком... со страшной силой!

VadimNext
http://www.dubna.ru/~chikalov/wgrabber/

fixin
Проще простого. В Offline Explorer е создаещь проект с этой маской
http://law.vl.ru/forum/viewtopic.php?t=36&postdays=0&postorder=asc&start={:0..1335|15}

Далее в настройках ограничеваешь закачку :
уровень=0
загружаешь только Текст и css-файлы.

Всё! Проект готов к запуску!

Цитата:

fixin
Проще простого. В Offline Explorer е создаещь проект с этой маской
http://law.vl.ru/forum/viewtopic.php?t=36&postdays=0&postorder=asc&start={:0..1335|15}

Далее в настройках ограничеваешь закачку :
уровень=0
загружаешь только Текст и css-файлы.

Всё! Проект готов к запуску!

Не фига, с такими настройками скачивает только первую страницу ветки ... ;-(

Добавлено:

Цитата:

VadimNext
http://www.dubna.ru/~chikalov/wgrabber/

Да нет, тоже много левого качает, например ссылки типа следующая/предыдущая на странице, качает как отдельные страницы...
Мне бы что нибудь чтобы задать диапазон в start и приращение, чтобы скачало только эти страницы, все...

fixin

Цитата:

Не фига, с такими настройками скачивает только первую страницу ветки ... ;-(

Добавь такую фигню в Замену адресов (ветка Дополнительно) и радуйся жизни
http://*viewtopic.php?t=*& &sid=*

доброго времени суток!!! Если вам не сложно, обьясните мне пожалуйста, как реализовать вот такую вещь. Есть форум, на котором большенство фоток выставлены в виде превью с сайта Foto.radikal.ru. Щелкаешь на надпись под превью отррывается новое окно с сайта радикал, в котором грузится эта фотография в полном размере.
Со всего форума мне нужно скачать именно эти полноразмерные фотки, которые выложены на радикале. Скажите, как это можно сделать используя вашу программу.

Цитата:

Есть форум, на котором большенство фоток выставлены в виде превью

Цитата:

мне нужно скачать именно эти полноразмерные фотки

Offline Explorer умеет заменять линки на лету. Можно настроить так, что линки на превьюшки будут менятся на полноразмерные:
http://*radikal.ru/ .ru/**/*x.jpg .ru/**/*.jpg