» Рекурсивная загрузка веб-сайтов; оффлайн-браузеры (OfflineExplorer, TeleportPro, HTTrack)

Все нужно либо пробовать, либо сравнивать с помощью таблиц в шапке вверху. Зачастую, кому какой нравится интерфейс - тоже немаловажно. Для простых сайтов подойдет почти любой оффлайн браузер. Для более сложных и современных - уже далеко не все.

del

Чем можно скачать журналы от сюда?
http://www.zr.ru/archive/
чето они там намудрили... а хочется сохранить на винте. Teleport Pro не смог ничего скачать, может я неправильно чего настроил?

Друзья, нужно скачать ТОЛЬКО и ВСЮ ветку Photoshop форума http://demiart.ru/forum/index.php
Проблема в том, что имена топиков не имеют иерархии. Качаю Оффлайн Эксплорером и, походу, на весь форум места на винте не хватит Как быть?

надо срочно купить еще один винт под форум

Чем можно сохранять темы с rutracker.org?
Раньше пользовался Offlime Explorer, но на сайте чего-то поменяли (скрипты изменили что-ли) и он уже не понимает спойлеры с картинками и информацией.
Какая альтернатива?

Подскажите пожалуйста, есть сайт на который пускает по логину - паролю. Как скачать его полностью? Пробовал разные программы но ни одна корректно не обрабатывает ввод пароля. Что делать?

Как скатать этот сайт http://www.investopedia.com ?
Проблема в том, что Virtual directory terms не доступна, а отдельные элементы открываются из контекстного меню. Часть ссылок из Virtual directory university также доступна из контекстного меню. В результате такие ссылки Teleport Pro взял частично, хотя если открыть напрямую (напр. http://www.investopedia.com/university/accounting/), то можно добраться ко всем статьям подраздела. Я бы не стал возиться со скачкой сайта, но задолбала контекстная реклама, которую можно вырубить, отключив Java Script. Однако после отключения через 3-4 стр. возникают проблемы с открытием следующих страниц, которая решается повторным включением скриптов. Даже после неполного скачивания сайта при открытии любой страницы, сохраненной Teleport Pro или HttTrack, вылезает окно, в котором указано, что он чего-то не находит. Вполне естественно, что это рекламные ролики, подключенные через Microsoft AJAX в ASP.NET. Более того, основное меню выглядит искаженным, т.к.. ASP.NET controls не корректно преобразуются в стандартный HTML скрипт.

P.S. Попробовал Offline Explorer. Меню выдает некорректно. Если задаешь несколько серверов, и один из них висит, то вся программа висит, пока не вылетает. После 3-6 часов работы опции проекта становятся недоступны, а затем программа виснет и перестает качать. Я сомневаюсь, что это проблема кигена, т.к. ни один (!!!) из пробованных мной сайтокачалок (HTTrack, Wysigot, WebCopier) не мог взять этот сайт. Teleport Pro взял свои 65000 и остановился. Меню же правильно показывает только вариант, недокачанный Teleport Pro, да и то в FireFox. По правде говоря, я бы и не стал заниматься скачиванием сайта, если бы не контекстная реклама. Сейчас пытаюсь скачать через Teleport VLX, оставил на ночь, а сегодня там дюжина run time errors, после которых программа закрывается….

Уважаемые господа!

Подскажите как скачать сайт, использующий PHP для локального просмотра.

Offline Explorer скачивает файлы, но они имеют вид
index.php@option=com_content&task=view&id=21&Itemid=20
и в браузере не открываются.
Смена вида трансляции ничего не решает.
Пробовал во множестве разных версий, в т.ч. в триальных вариантах.

WebCopier сохраняет страницы в html, которые работают нормально при блокировке активного содержимого (при определенном уровне безопасности). Если же разрешить блокировку - закаченный проект загружается очень долго.

Вопрос:
1. Можно ли в Offline Explorer загрузить нормально PHP (с конвертацией в HTML или как-то иначе)? Насколько я понимаю - это очень популярная программа, поэтому предполагаю, что можно как-то настроить.
2. Можно ли как-то устранить проблемы с загрузкой страниц в WebCopier?
3. Если программы, которые сохраняют PHP корректно (т.е. чтобы можно было смотреть и не ждать загрузки)?

Спасибо.

подскажите пожалуйста, можно ли как-то скачать страничку со встроенными youtube роликами чтобы потом всё оно работало оффлайн?

Nikolai2004

Цитата:

подскажите пожалуйста, можно ли как-то скачать страничку со встроенными youtube роликами чтобы потом всё оно работало оффлайн?

Ссылку типа http://www.youtube.com/watch?v=xxxxxxxxxxx меняешь на http://www.ssyoutube.com/watch?v=xxxxxxxxxxx
Открываешь. Ждёшь, когда на открывшейся странице появятся прямые ссылки на *.flv, *.mp4 и пр. файлы. Скачиваешь и смотришь локально.
Или на той же странице http://en.savefrom.net/ вбиваешь урл с роликами

Только это вопрос не для этой темы

Smitis
я не спрашиваю как сохранять отдельно ролики с youtube, я сам могу назвать тебе десяток методов.

я спрашиваю как сохранить HTML-страницу (например обзор телефона), на которой есть пара встроенных youtube роликов, чтобы они потом на сохранённой странице игрались без интернета? неужели оффлайн-браузеры не умеют это делать? дарю идею безвозмездно

и это вопрос как раз для этой темы. даже не знаю как задать его понятнее

Прочитал в новостях про
Added Additional=ConvertWebArchive URLs field command
А как это используется?и - о каком WebArchive тут речь?том что Internet WayBack Machine?

Подскажите, чем можно скачивать только изображения, только с определенным разрешением (1280x1024)?
Например нужны обои с сайта skins.be только в разрешении 1280x1024.

John13friday
В общем случае никак. Разрешение (в отличие от размера) в HTTP-заголовках никогда не передается.

Добавлено:
А в случае с этим skins.be напротив не вижу никакой проблемы — там разрешение указано прямо в имени файла.

Добавлено:
Если вам, к примеру все обои с сайта нужны (сколько же это вы скачивать то будете), то примерно так:
$ httrack -* +www.skins.be/page/* +wallpaper.skins.be/*1280x1024* +*1280x1024*.jpg
http://www.skins.be

Скажите а как можно с сайта www.myzuka.ru выкачать мр3 Прбовал разные способы менял настройки offline explorer сохраняются только страницы причем если глянуть код то при скачке браузером идет переадресация на ссылку http://dl6.myzuka.ru... (как я понял скрипт каждый раз создает новый код) Если получится решить проблему готов поделится музыкой (выложу на любой файлообменик) Спасибо

shveicar
На первый взгляд никаких проблем вообще не может быть. На второй тоже.
Например:

$ httrack -* +www.myzuka.ru/Song/* +dl*.myzuka.ru/FastDownload.aspx* http://www.myzuka.ru/Artist/49407/Ludivine-Sagnier

> выложу на любой файлообменик
Чтоб создать проблемы?

Спасибо за быстрый ответ.
Хотелось бы уточнить (у меня Offline Explorer Enterprise 5.9 Service Release 1)
данная команда используется в - свойства проекта/обработка/замена адресов или в- проект/имя проекта - адреса URL или в фильтрах? (может мой вопрос звучит глупо но я несколько раз пытался использовать команды макросов - как приводилось в примерах справки, но у меня не ничего не получалось) Если можно дайте ссылочку на информацию по настройкам или дополнительным командам(во всяком случае значения которые вы указали отсутствуют в справке вообще)
хотелось бы разобраться подробней с заменой адресов и т.д.
По поводу (готов выложить файлы на любой файлообменик) - ну это я наверно погорячился - кто разбирается я думаю и сам может скачать что ему нужно.
P.S Дублировать топики больше не буду. Просто не ожидал что все темы внимательно отслеживаются.
Заранее благодарен.

shveicar
А я разве что-то сказал про какой-то Офлайн-эксплорер?
В примере я привел перечень правил для httrack'а (знак доллара здесь — приглашение оболочки).
Однако они настолько бесхитростны, что, я думаю, вы их легко приведете к виду, понятному вашему любимому инструменту, если захотите. :)

> кто разбирается я думаю и сам может скачать что ему нужно
Ну выложить на торрент-трэкер, например, имело бы смысл. А на баблообменник... ради чего?

Пардон- разобрался - речь совсем о другой программе, но про доп команды будет интересно узнать.

shveicar
Какие «доп. команды»?

ну например что обозначает команда (httrack - ) из доступной мне информации во многих случаях в качестве адреса url рекомендуют просто указывать -например(http://www.*.ru)
с командами включения и исключения я разобрался (+*.png* и тд) но конкретнов моем случае при нажатии в браузере на надпись скачать ссылка выглядит как (http://dl6.myzuka.ru/FastDownload.aspx?link=... ) а в вашем примере рекомендуется добавить к адресу (+dl*.myzuka.ru/FastDownload.aspx*)- тогда что означает параметр (dl6 или dl имеет ли значение цифра) смотрел английский help но к сожалению информация там не подробная, на русском как я понял в нете ничего нет. Сегодня протестировал прогу в сравнении с offline explorerom и что интерестно в некоторых случаях связка offline и handy кеш (флеш галереи) работает лучше чем WinHTTrack. но в отдельных вариантах (например со skins.be) программа WinHTTrack идеальна. Поэтому меня и интересуют доп команды так как в большинстве случаев от их настроек зависит успех проекта. Можно конечно как дятел действовать методом тыка проверяя все подряд но это не по мне.
P.S Извеняюсь за многословие. Заранее благодарен.


Добавлено:
Да и еще интересно можно ли выкачать не альбом одного исполнителя а сразу все по жанру (http://www.myzuka.ru/Genre/Electronic- например)

Сегодня уже немного разобрался команда лучше работает так
($ httrack -* +www.myzuka.ru/Song/* +dl*.myzuka.ru/FastDownload.aspx* плюс пример http://www.myzuka.ru/Album/206265) все файлы альбома имеют расширение .aspx - конечно total comander с этой проблемой прекрасно справляется. Но почему то не работает опция (Загрузить отдельные файлы) - в настройках проекта. На сколько я понял нужно добавить
($ httrack -* +www.myzuka.ru/Song/* +dl*.myzuka.ru/FastDownload.aspx* +*aspx*+*mp3* http://www.myzuka.ru/Album/206265) или нет? Но опять же речь идет только об одном альбоме, а возможно ли все-же расширить командные опции до жанров?
Спасибо.

shveicar
> dl6 или dl имеет ли значение цифра
Не знаю, но предположил, что эта цифра может быть и не шесть.

> что обозначает команда (httrack - )
Именно в таком виде ($ httrack -) — ничего не означает.

> в качестве адреса url рекомендуют просто указывать -например(http://www.*.ru)
Не понял.

> в настройках проекта
Где?

> а сразу все по жанру
Нетрудно догадаться, что надо пройтись еще и по страницам исполнителей, и по страницам списка исполнителей.

$ httrack -* +www.myzuka.ru/Genre/Electronic/Page* +www.myzuka.ru/Artist/* +www.myzuka.ru/Song/* +dl*.myzuka.ru/FastDownload.aspx* http://www.myzuka.ru/Genre/Electronic


> Извеняюсь за многословие.
Извиняться надо не за многословие, а за бессвязность изложения и плохое знание русского языка. А лучше не извиняться, а писать понятно и грамотно — помогать вам будет проще и приятней.

Спасибо за ответ -нашел английский help с описаниями команд сейчас изучаю.

Чем лучше всего делать зеркала сайтов на харде ?
Телепорт не понравился тем, что криво делает ссылки на другие сайты.
При открытии сайта выдает такое предупреждение:



Пришлось в каждом html-е править http:// на ./

YURETS777
> Чем лучше всего делать зеркала сайтов на харде?
Не понял. Поясните на примере.

P.S. Не надо ничего заливать на Радикал, он не у всех всегда открывается. ;)

Блин, загнал сайт в Offline Explorer Enterprise 5.4 SR1 и в визарде указал цифру 2.
Так он сутки колбасил, в итоге в реквесте около Миллион файлов, а закачано только 160 тыщ и уже 5.6 гигов.
Посмотрел в каталог и ужаснулся, он что, весь интернет мне залить хочет, как им управлять, можно ли выбрать глубину вложенности, можно ли выбрать сайты, качать с них или нет ?

Во первых лучше пользоваться версией offline 5.9 sp1или 2 (по выбору) Во вторых надо внимательно смотреть настройки (чтобы ограничить закачку от <всего интернета>) самая простая настройка - проект - свойства- фильтры url - сервер- поставить галочку загружать только с начального сервера. В остальных свойствах а именно типы файлов -указать для нужных типов - загружать с начального сервера (ну а вообще для более тонкой настройки нужно задать пропуск url - более подробная информация есть в русской справке и на форуме) например - forum.ru-board.com/topic.cgi?forum=5&topic=34346&start=120

Тысячу лет не пользовался подобными программами, посоветуйте, какую качнуть. Задача странная, но нужная - качнуть Лурк )) .