» MetaProducts Offline Explorer / Offline Browser (Часть 3)

OlegChernavin

Спасибо, Олег. Отправил в личку адрес.

Всех приветствую!
Подскажите, пожалуйста, никто не пробовал выкачивать каталоги автодаты?
Вроде качает, но при просмотре, что бы не выбирал, на странице, из информативного только надпись:
Kindly enable Javascript on your browser to utilize our service.
Thank you.
ставил в настройках и глубину разную и обработку скриптов и исследование, в общем, много чего, к желаемому результату пока не пришел.

dim0n

А что за сайт, адрес страницы?

Добавлено:
Stealthzzz

ОК, и это тоже поправил. Спасибо!

OlegChernavin
https://workshop.autodata-group.com
Но просто так не зайдет, надо заказывать пробный доступ
https://autodata-rus.ru/form/avtodata-onlayn-besplatnyy-dostup
Пробник на неделю дается. на одну почту, один раз. Лицензия 50+тыр/год..(((
Уже с трех или четырех почт заказывал, а к выкачиванию все никак не поддается(((

dim0n
экспортируй скачанное с сохранением структуры каталогов, заархивируй этот экспорт и выложи куда-нибудь.

ЗЫ.
При реге на том сайте телефон/компанию/адрес левые давал?

unreal666
компанию, ип катит, любые фио, не проверяют, адрес левый, телефон, два раза левый, не звонили, а на последние, прислали отказ, типа связаться не смогли свой написал. звонила девушка, говорит, е-мейл уточнить.
но ничего мудреного. телефон тоже не проверяют, два раза свой писал.
учет по адресу почты. два раза на один майл не прокатит.

Добавлено:
unreal666
В ручную, это не серьезно, очень большая база... а программа, на скриптах, видимо, спотыкается, перейти не может, на нужный каталог

Цитата:

В ручную, это не серьезно, очень большая база

что это значит?
Если по поводу экспорта, то в проге есть экспорт.

dim0n

Лучше выберите проект, затем Сервис - Резервная копия. И выложите файл для скачивания.

В смысле с тем, что подгрузилось?

dim0n

Ну просто нужны точные детали и описание, что загрузилось, что нет, что должно быть и т.д.

MetaProducts Offline Explorer 7.0.4407 Released 18.12.2015

Цитата:

Improved files cleanup when deleting Projects
Improved progress display when deleting Project downloads
Improved parsing scripts
Improved Welcome pages in the Internal Browser
Improved handling redirects
Improved user interface localization
Improved removing session IDs from URLs
Improved option to convert non-www to www. links
Bug Fix: Fixed disabling File Filters sections
Bug Fix: Fixed showing some very long filenames in the Project Map
Bug Fix: Fixed exploring all HTML forms when Passwords - HTML forms was enabled
Bug Fix: Fixed bug when deleting some Projects
Bug Fix: Fixed Export - Calculate Size button in unregistered version

dim0n

Да, ничего не понятно с этим сайтом. А если попробовать его загрузить в 7й версии - с помощью новой настройки проекта - сохранять через браузер?

Цитата:

dim0n
 
Да, ничего не понятно с этим сайтом. А если попробовать его загрузить в 7й версии - с помощью новой настройки проекта - сохранять через браузер?  

Не знаю.. Вариантов, в принципе, других, пока никто не предложил, надо, видимо пробовать.

7-ая, это которая последняя?

dim0n

Да. В ней добавлен новый режим загрузки (выбирается в настройках проекта), чтобы страница открывалась во встроенном браузере и уже оттуда сохранялась на диск. Работает несколько медленнее, но для некоторых сайтов со сложными скриптами этот подход очень хорош.

Подскажите, как скачать из конкретного дневника в livejournal.com все посты по заданному тегу в хронологической последовательности (от старых к новым) вместе с картинками? Желательно создать файл оглавления со ссылками, ведущими в подпапку, где хранились бы сами посты вместе с сопутствующими файлами.

popkov

Нужно создать проект с начальным адресом страницы с этим тегом, например:

http://truepenny.livejournal.com/tag/digging%20my%20own%20grave

Уровень отключить (бесконечный). В Фильтрах URL - Имена файлов разрешить только:

digging%20my%20own%20grave
^[0-9]*.html

OlegChernavin
Так сделал, но скачивается очень большое количество файлов (уже более 7000 и продолжает расти), включая отдельные цепочки комментариев. Интуитивно кажется, что их должно быть меньше (разворачивание комментариев на данном этапе мне не нужно). И как сделать оглавление (нужно включить только отфильтрованные по тегу посты в хронологической последовательности)?

popkov

Посмотрите в Очереди загрузки, может там что-то левое скачивается. Хотя, скорее всего, просто куча картинок и скриптов.

Оглавление - это нужно уже делать верстку HTML документа со всеми ссылками. Offline Explorer только воспроизводит скачанные страницы оффлайн.

Не могу скачать тему с форума 4pda для планшета.Разделы форума скачались а когда перешел на устройства планшеты Престижио ни одну ветку из темы Престижио не скачивает.Что то качается файлы набегают а в браузере нот фаунд .В самом Офлайн Эксплоре ставил на автосохранение так там в браузере показываются ромбики с вопросами.

invalid3

Можно точный адрес начала скачивания?

OlegChernavin

Вот http://4pda.ru/forum/index.php?showtopic=634122

invalid3

Там проблема с одним скриптом, его надо просто найти и удалить после скачивания.

Нажмите кнопку Поиск Содержимого, в строке поиска - pages/go

Отметьте Внутри HTML Тегов и снимите галку Только в Текстовых Файлах. Один из последних будет .js файл - его выберите и удалите прямо в этом окне. После этого ссылки на переход по страницам будет работать.

Спасибо за прекрасную программу! Пользуюсь годами. В связке с TextPipe и голосовыми движками переслушал много форумов и сделал много зеркал справочных сайтов в формате .chm

Есть вопрос:
Как сделать так, чтобы из https://archive.org/web/ ссылки с разными месяцами/годами считались как идентичные и больше не тянулись. В проэкте ставлю ограничения по году - тянет весь год по каждому снимку сайта за все месяцы/дни указанного года.

Я ознакомился с темой, где про работу с вебархивом Вы уже рассказывали:
http://forum.metaproducts.com/post.aspx?id=5774

Пробовал делать переименования из раздела Parsing и ставил галку "Reconstruct from webarchive". Качать-качает, но в итоге приходится в десятки раз больше качать, чем нужно, т.к. программа понимает ссылки с разными датами как разные, а не одну. Пробовал через Parsing заменять даты, но все равно сайт подсовывают свою, ближайшую дату, которую OE пониамает как новую ссылку и с чистой совестью закачивает.

В скачанных с https://archive.org/web/ сайтов есть рекурсивные директории по типу
folвer/index.shtml/folder/index.shtml и так очень глубоко. Из-за чего, я так и не разобрался.

Спасибо заранее за ответ.

muhaha

Попробуйте взять адрес конкретного сайта, например:

http://web.archive.org/web/20160111204757/http://page.org/

И его использовать в качестве начального адреса загрузки. "Reconstruct from web.archive.org" должно в таких случаях отсекать дублирующие даты, потому что файлы уже на диске.

Вдобавок выберите Не загружать существующие файлы.

Напишите, как и что получится. Если будут проблемы, постараюсь быстро поправить.

Спасибо, попробую. Скорее всего была виновата галка Don't download existing files.

Еще вопрос.
Почему символы в имени файла по типу %20 (пробел) на диске начинаются на _25 (%) и заканчиваются на даный код (20), галка Unicode не спасает. Возможно путь длинный (пробовал качать в корень диска) или на сайте с кодировкой намудрили? Почему через браузер тогда все нормально работает?

Пример:
https://www.epicwar.com/maps/14066/
Через браузер закачивается файл
World of Fantasy, chapter 5, v1.4.w3x
через OE
World of Fantasy_252C chapter 5_252C v1.4.w3x

muhaha

Исправил. Если надо обновленную версию, напишите, какую именно редакцию.

Спасибо огромное! Версия Pro.

А так и задумано, что в экспортируемых файлах, даже когда указывать No Link Conversion и Preserve Online Links, ссылки изменяются (например ? заменяется на @)? Нетронутыми остаются только файлы в папке загрузки, при экспорте ссылки меняются.

muhaha

Вот обновленная версия:

http://www.metaproducts.com/download/betas/opsetup.exe


Цитата:

А так и задумано, что в экспортируемых файлах, даже когда указывать No Link Conversion и Preserve Online Links, ссылки изменяются (например ? заменяется на @)? Нетронутыми остаются только файлы в папке загрузки, при экспорте ссылки меняются.

Да, пока что так. Вы бы не смогли описать, зачем нужен экспорт, если ссылки не меняются? Ведь смысл его именно в подготовке имен файлов и ссылок для оффлайн просмотра без Offline Explorer.

Цитата:

Вы бы не смогли описать, зачем нужен экспорт, если ссылки не меняются?

Для Data Mining-a: извлечения данных из сайтов.

Например:
Из данных онлайн магазина создается Excel файл с характеристиками товаров (наименование, цена, размер, длина и т.п.) Отдельным столбцом идет ссылка на скачивание сопутствующей доументации (сертификаты качества, заключения минздрава и т.п), ссылка на фото товара, ссылка на подробное описание на сайте производителя, ссылка на виртуальную примерочную.

OE все нужные ссылки преобразует, и требуется дополнительный скрипт, который эти ссылки "выпрямляет".

Пункт Preserve Online Links ввел меня в заблуждение. Я думал, благодаря ему программа не трогает ссылки, которые не были загружены.
Это не критично, можно всегда использовать файлы из папки загрузки и не пользоваться экспортом.

Спасибо за каждодневный труд! Пусть у вас не прекращается поток новых покупателей!