Ru-Board.club
← Вернуться в раздел «Программы»

» MetaProducts Offline Explorer / Portable Offline Browser

Автор: shveicar
Дата сообщения: 01.03.2012 00:20
OlegChernavin
Здравствуйте, Я рад, что Вы не потеряли интерес к мнению пользователей (видимо все дело в свободном времени). Вначале, хочу попросить Вас, иногда проверять личную почту, если не возражаете, Я буду периодически, туда скидывать “контент” для проверки. (чтобы не перегружать форум лишней информацией). Я думаю, многие заинтересованы в том, чтобы Ваша - программа, была более совершенна, а текст написанный Angela123a скорее всего, был набран в порыве гнева, поскольку, программирование – дело не простое, тем более что у Вас есть опыт, и все исходники программы.
Теперь по теме: ссылка на главную страницу сайта http://www.fxyz.ru/ если Вы откроете её с помощью приложения Fire bug- для браузера firfox (там есть кнопка анализировать фрагмент страницы) или любого аналогичного приложения позволяющего детально её исследовать, то увидите информацию, которая отображена на картинке, несколькими постами выше. Теперь если сохранить данную страницу- приложением scrapbook - для браузера firfox, то можно заметить различие между копией полученной таким способом, и той копией которая образуется при скачивании всего сайта Вашей программой (например Enterprise последняя версия 6.1.3734). Про сохранение выпадающего сверху меню, Я ничего не могу сказать, поскольку - там задействованы скрипты, которые требуют более детального анализа (конечно неприятен сам Unicod, но проанализировать структуру сайта возможно). Я не идеалист, и понимаю что полное зеркалирование любого сайта, с помощью всего одной программы – задача практически неосуществимая, особенно если он сильно заскриптован, тем немение, попробуем попытаться улучшить программу, что бы приблизить её к идеалу.
Вам наверняка известна, уже неоднократно, – упоминаемая программа - HTTrack Website Copier (далее сокращаю до Copier) . Я понимаю, что у неё немного другой принцип работы, и изначально, она создавалась под linux, да и “движок” у неё, отличается от offline explorer (далее сокращенно offline) - ( пока не особо разбираюсь в программировании, – сужу по методике обработки ссылок), но у неё можно попробовать, кое-что позаимствовать, благо она бесплатна и думаю для программиста, не составит труда её “разобрать” Так вот, - одна из немаловажных (на мой взгляд) опций у неё, в параметрах – структура , -выбор способа сохранения сайта. Там перечислено достаточно большое количество вариантов сохранения, но главное – дана возможность пользователю самому выбрать заданную структуру, - если она конечно адекватна (пример %h%p/%n.%t), то все имена файлов будут иметь “человеческие” имена.
К сожалению, в Вашей программе такой возможности нет (не рассматриваю, по понятным причинам, опцию экспорт файлов), хотя для простого пользователя это было бы удобно, опять же в Copier достаточно широкий выбор вариантов задания имен (хорошо, что в новой версии offline можно сохранять имена в unicod), присутствует опция сохранение в стандарте DOS и ISO – опять –же было бы неплохо добавить данную возможность в offline. (не рассматриваю опцию экспорт файлов в dos , это сильно меняет вид сайта и отображение графики).
Также, Я уже упоминал отсутствие offline возможности подхватывать cookies из текстового файла например от firefox (на днях столкнулся с проблемой авторизации, на одном сайте), причем Copier это делает прекрасно. Если хотите, ссылку потом скину в личный ящик.
Конечно и у Copier имеются свои минусы, но здесь, Я их упоминать не буду, чтобы не перегружать текст.
Еще одной важной (на мой взгляд) деталью, было- бы добавление в Вашу программу полноценного Кэша, например созданного под offline - аналога известной программы Handy cache (далее Handy), (естественно без всяких подборов правил замены адресов, фильтров, списков и других ненужных, в данном случае, моментов). Хочу сразу пояснить, что неоднократно сталкивался с ситуацией, когда многие скрипты графика, иконки оседали в кэше в оригинальном виде, а offline их видоизменял, причем некоторые файлы – он просто пропускал мимо. Использование простой связки этих двух программ добавляют также дополнительную возможность для маскировки авторизации, при закачки с некоторых защищенных сервисов (удобно, если данная связка будет задействована отдельной кнопкой). Против связки оригинального Handy и offline – скажу, что к сожалению, не всегда удается получить хороший результат, иногда Handy выдает restart, а offline про это не ведает и продолжает качать, бывает и несовместимость кэша по некоторым “большим файлам” Также, по непонятным мне причинам, некоторые файлы с некоторых сайтов, грузит на половину а затем дает client disconnected, благо Автор Handy, в том числе, по моей просьбе, добавил возможность копировать в мониторе все пропущенные адреса, для повторной загрузки, но это отдельный разговор.
В перспективе, если уж затрагивать маскировку, можно рассмотреть и дополнительную опцию применения Tor например как это выглядит в варианте Tor Browser, подробнее бесплатном и довольно функциональном инструменте. Можно конечно попробовать прикрутить к offline непосредственно AdvOR, http://forum.ru-board.com/topic.cgi?forum=5&topic=34633&start=440 но это уже на Ваше усмотрение. Выгода от этой связки очевидна,- при использовании простой связки из двух программ бывают “глюки” Проще говоря, из за того, что одна -программа, - не понимает другую. А пользователю иногда приходиться заходить на сайт анонимно, или из определенной страны, ради примера,- случай, когда файло-обменники резали скорость пользователем из России до неприличного значения. (AdvOR её конечно тоже гасит, но максимальная скорость, часто доходит до 1мб.с).
Также касаемо потокового видео, Я заметил значительные улучшения в новой версии, при загрузке потокового видео, но по прежнему на многих сайтах требуют установить то adobe flesh pleer, то quik time -нельзя ли прикрутить их к оболочке – offline и обновлять, если нужно с новыми версиями (размер конечно сильно увеличится, но и стоимость версии Enterprise не маленькая) -Неоднократно сталкивался с тем, что в момент закачки файлов по центру offline выскакивало окно с предложением quik time обновиться, при этом закачка наглухо зависала (не помогали разные утилиты и классический ctrl +alt+del в самом quik в настройках, стояло не проверять обновление) Часто, для видео формата RTSP и MMS приходится отдельно пользоваться Net Transport, а иногда Hidownload. (можно наверно, у них тоже что-нибудь позаимствовать…).
В общем, здесь, Я постарался привести самые основные моменты, на которые можно обратить внимание.
Касаемо интерфейса offline – это отдельный разговор, и дабы не перегружать текст, предлагаю продолжить разговор в отдельном посте.
P.s Заранее извиняюсь перед модератором, если текст слишком громоздкий, в будущем постараюсь быть более кратким, и по возможности использовать для переписки личный ящик. Спасибо

Автор: shveicar
Дата сообщения: 01.03.2012 11:41
Забыл упомянуть еще один важный шаг,- нельзя ли добавить в меню offline пункт (профессиональный режим) который подразумевает:
1. предварительное сканирование всего проекта:
а) настройка метода сканирования пауза между запросами, скорость,
б) глубина сканирования заданного адреса с опциями: без ограничения, с определенной глубиной, и опция загружать до (число) ссылок с других адресов (с регулируемой глубиной)на наличие всех доступных адресов, -для возможного анализа на ненужные адреса, битые ссылки, и просто ссылки которые стоит, или не стоит добавить в загружаемый проект
с)опция сохранения результата в текстовой файл с указанием (отдельно) ошибочные запросы, несуществующие Ареса, недоступные к загрузке ссылки.
д) возможность создания в отдельной папке мини скриншотов всех внешних адресов (которые потенциально могут войти в будущий, загружаемый проект) с сокращенными именами web адресов без www (например ru-board.png), для более быстрого, детального анализа проекта, перед его загрузкой.
Такой фишки, кстати, - пока ни у одной качалки нет.
В качестве примера примитивного сканера (только одной страницы) могу предложить вариант утилиты EasyURLSpy в приложении coojah, упомянутой мной в предыдущих постах.

Косаемо изменения меню: здесь выложил небольшой скриншот подробнее с добавлеными кнопками. (в качестве основы использую старое меню, - на мой взгляд оно удобнее) предлагаю следущие варианты
кнопка1 - объединяет в себе функции экспорта и импорта карты проекта (с возможностью сохранения в текстовой файл выделенных проектов) также опция резервного копирования (архивирование файла webdown.dat конечно при условии его последующего восстановления, после установки новой версии)
кнопка2 - к примеру может нести функции быстрого выделения загружаемых адресов по маске с возможностью записи в историю различных значений (например .jpg, file.vmw и д.р) а также возможностью копирования всех url очереди,- в текстовой файл ( кстати как насчет возможности выделения по маске всех потенциальных каталогов? (типа /*\)),кнопка удобнее чем выделение через меню, особенно когда идет проверка загруженных адресов,- часто невозможно поймать нужный файл, а если проект большой, то и вовсе процесс зависает, а потом все время висит окно с выделением (оно конечно сворачивается но уже не закрывается до перезапуска offline). Можно также, создать подпункт добавления ссылок в очередь из текстового файла.- очень часто такой возможности не хватает.
Остальные кнопки пока не определены -(все зависит от возможных новых опций, которые Я упоминал выше)
p.s Если у кого, есть свои предложения по нзначениям новых кнопок - присоединяйтесь к обсуждению. Спасибо.
Автор: OlegChernavin
Дата сообщения: 01.03.2012 14:41
alexey980

Мне бы кусок HTML кода с этой ссылкой, а лучше - ссылка на страницу, чтобы проверить и отладить код. Возможно ли это?

shveicar

Я в любом случае благодарен за критику, тем более, что она объективна!

Я открыл сайт в IE и FireFox, посмотрел исходный код страницы, но даже слова "promolink" я там не нашел, равно как и такого типа ссылок в стилях.

Может это на какой-то конкретной странице?

Выпадающие меню - тут задействована технология AJAX, которую пока не удается скачивать адекватно. Даже нет идей, как это сделать.

С именами файлов есть проблема. Дело в том, что Offline Explorer изначально создавался для повторения адресов в файловой системе. И эти имена файлов нужны при обновлении сайта - из них реконструируется оригинальный URL для загрузки. Если делать имена файлов в другой структуре, то потеряется возможность докачки и обновления.

Возможно, я в будущем переведу этот код на базу данных, но это большее потребление памяти и времени на обработку. В любом случае, сложно будет сделать такую переделку в ближайшее время. Именно поэтому и существует экспорт, который можно дорабатывать, чтобы улучшать просмотр экспортированного сайта.

Cookie из текстового файла можно взять. Достаточно добавить в поле адресов проекта строку:

Cookie={:file=c:\dir\file.txt}

RTSP и MMS - полностью поддерживаются Offline Explorer Pro. Если ссылки не работают, дайте их мне, я постараюсь разобраться.

Flash Player - я не уверен насчет этого, т.к. установка сторонних программ может не понравиться пользователям. Можно рекомендовать им это, приложив ссылки на страницы (где будут самые свежие версии).

Насчет нового интерфейса - такая фича сейчас разрабатывается - полная база данных всех запросов, где можно просмотреть все ошибки, страницы, с которых они идут, подсветку соответствующих ссылок в HTML коде страниц и т.д.

Добавлено:
Я сделал тестовый HTML файл с такой ссылкой, на самом деле неправильно извлекается путь к картинке из
<A class="promolink" style="BACKGROUND: url(&quot;/data/img/promos/math-complex-num.png&quot;) no-repeat scroll left top transparent">Facebook</A>

Исправил.
Автор: shveicar
Дата сообщения: 01.03.2012 15:05

Цитата:
Я открыл сайт в IE и FireFox, посмотрел исходный код страницы, но даже слова "promolink" я там не нашел

вопрос снят.
И если у Вас есть время, как там с проблемной авторизацией (по информации отправленной в личный ящик)?
Автор: OlegChernavin
Дата сообщения: 01.03.2012 18:18
Да, я исправил обработку этих тегов. Насчет авторизации написал в личку.
Автор: alexey980
Дата сообщения: 01.03.2012 18:18
OlegChernavin

Цитата:
Мне бы кусок HTML кода с этой ссылкой, а лучше - ссылка на страницу, чтобы проверить и отладить код

я подготовил архив с полученной offline страницей, на которой не отображается изображение.
там в readme.txt подробное описание проблемы


Автор: OlegChernavin
Дата сообщения: 01.03.2012 20:14
alexey980

Спасибо! Исправил. Какой редакцией Offline Explorer пользуетесь?
Автор: alexey980
Дата сообщения: 01.03.2012 22:47
OlegChernavin

Enterprise 6.1.3698
Автор: OlegChernavin
Дата сообщения: 02.03.2012 17:59
Вот новая версия:

http://www.metaproducts.com/download/betas/OEE3739.zip
Автор: D1D1D1D
Дата сообщения: 03.03.2012 15:38
Столкнулся с проблемой.
После запуска программы весь список проектов исчез - кроме значка пустой раскрытой папки ничего нет. Надо сказать, что перед этим, прямо во время работы программы, компьютер был перезагружен.
Что можно сделать?

AppData программы занимает около 900 мег - может дело в этом?
Автор: OlegChernavin
Дата сообщения: 03.03.2012 19:22
Файл проектов несложно восстановить - в папке AppData\Roaming\Offline Explorer есть файл webdown.dat - он содержит все проекты. Есть и много его резервных копий - webdown.* - из них выберите самый большой и свежий и переименуйте в webdown.dat, после этого запустите Offline Explorer.
Автор: D1D1D1D
Дата сообщения: 03.03.2012 23:42
Получилось, спасибо!
Автор: nsvser
Дата сообщения: 04.03.2012 08:43
может кто подскажет как скачать сайт http://www.multimania.tv (желательно без форума)
Teleport качает а Offline Explorer скачивает несколько мегабайт и все
Автор: OlegChernavin
Дата сообщения: 05.03.2012 18:58
nsvser

Я боюсь, это невозможно. Весь сайт сделан на технологии AJAX (одна страница и блоки содержимого подгружаются скриптом).

А Teleport создает работоспособную версию сайта оффлайн?
Автор: nsvser
Дата сообщения: 07.03.2012 11:57

Цитата:
А Teleport создает работоспособную версию сайта оффлайн?

не могу сказать, скачал 2 гига и надоело, все стер
Автор: Donatello
Дата сообщения: 07.03.2012 19:44
OlegChernavin

После установки Offline Explorer Enterprise 6.2.3734 перестал нормально функционировать сайт вКонтакте (vk.com)... Это конечно для меня не так страшно, но это уже как-то слишком... Перестает загружать музыку и фото и отказывается переходить по некоторым ссылкам, например из Мои Сообщения в Мои Аудиозаписи. Ошибки в строке состояния есть, но я думаю ты сам можешь воспроизвести. Браузер IE8, в Google Chrome всё нормально работает.

Это я установил после 4 версии - посмотреть... Ну если не вдаваться, то... инсталл - выбор Russian, после установки English, я в натуре 5 минут потом там лазил по этим "ряшечкам", аля Промт - искал где язык изменить... Мелочь, а... Ну, а углубляться в экспорт и другое... не буду =) Мы когда-то уже разговаривали о скорости, ну сейчас тоже понадобилось усиленно урлы почекать (миллионы) на ноуте - применил патч на полуоткрытые соединения (сначала забыл, что его здесь нет), потом задержку убрал, скорость повысилась конечно сильно, но выставляя 300 или 500 соединений, я постоянно по netstat видел около 130 (причём ровно обычно, что странно как-то), также он зависает намертво практически (оболочка программная, но не сама работа), когда скорость исходящая поднимается до 150-200+ Кб/сек.(сайт отвечает хорошо), но систему не вешает... Загрузка проц. под 100%, но висит его оболочка, а система ещё откликается. Если скорость спадает (интенсивность), то начинает опять реагировать. Это ограничение его или упирается в производительность системы? Систему ведь не вешает он и работа продолжается, а что загрузка проц. под 100%, так и брут у меня также давал на 700-1000 потоках, только системе хоть бы что было (но конечно, по сравнению с брутом, есть некоторые отличия).
Автор: shveicar
Дата сообщения: 08.03.2012 00:31
Здравствуйте.
Подскажите возможно-ли объединить несколько файлов webdown.dat от разных версий offline explorera (5.9 и 6.1) в один, и как правильно это сделать. Опс -вроде получилось с помощью блокнота (возможно начальные строки с версией копировать не нужно) но если можно по другому поправьте... Спасибо.
Автор: JHeavy
Дата сообщения: 09.03.2012 14:29
Здравствуйте, подскажите пожалуйста, обязательно ли авторизироваться на форуме во встроенном браузере OE каждый раз, просто при обновлении проекта я каждый раз "не на сайте", хотя куки разрешены или ещё где нибудь настроить надо и ещё как можно (хотя сомневаюсь что можно) указать скачивать новые файлы с веток форума, чтобы не лезть на сайт раз в неделю и смотреть сколько страниц добавилось в ветку...Вопрос уже задавался, но никто не ответил...Знатоки помогите...спасибо
Автор: Artem_Butenko
Дата сообщения: 09.03.2012 18:03
Ребята, пожалуйста подскажите, как настроить данную программу на закачку конкретного топика нашего форума?
В прошлых ветках встречал "конструкцию":
http://forum.ru-board.com/topic.cgi?forum=5&bm=1&topic=1455&start={:0..1800|20}
Однако, в таком варианте, не закачивается содеримое скрытое под тегами, например Подробнее.... Как реализовать закачку всего содержимого страниц топика? Буду Вам очень признателен за помощь!
Автор: OlegChernavin
Дата сообщения: 11.03.2012 15:40
Donatello

Да, как-то странно - из Сообщений в Аудиозаписи сначала не переходил. Только после нескольких переходов в другие меню, стало работать. Даже не знаю, как это могло повлиять - используется ведь обычный установленный IE.

Соединения - да, есть еще несколько узких мест, из-за которых интерфейс тормозит при скоростной закачке. Работаю над этим.

shveicar

Да, блокнотом вполне нормальный способ.

JHeavy

Можно при авторизации нажать кнопки Ctrl+Alt - должен создасться проект с этим паролем. Он и будет авторизоваться автоматически при скачивании.

Artem_Butenko

Копирование ссылки работает на скачанных страницах, а вот предпросмотр при наведении - нет - это AJAX технология, к сожалению. Можно только с помощью автосохранения ее докачать.
Автор: Donatello
Дата сообщения: 11.03.2012 16:17
OlegChernavin

Ну... там же не только это (Мои сообщения>>>Мои Аудиозаписи). Там он начинает "топтаться" на одном месте и помогает только заход на главную страницу. Ну, а самое то главное... =) Он перестает загружать музыку и фото. Навскидку, я помню там была ошибка об отклонении разрешения - al_audio.php, upload.js (могу точнее посмотреть). Что это его "заслуга" - это 100%, т.к. удаляешь его - начинает работать, устанавливаешь - прекращает. Это если в подробности не вдаваться, почему легко и быстро был пойман виновник неудобств =) Могу лишь предположить, что он коцает ява-скрипт...
Автор: OlegChernavin
Дата сообщения: 11.03.2012 16:19
Так, это проблема в загруженных страницах оффлайн?
Автор: Donatello
Дата сообщения: 11.03.2012 16:32
OlegChernavin

Цитата:
Так, это проблема в загруженных страницах оффлайн?


Это кому адресуется-то? Если мне (а кому ещё...), то нет, зачем и куда музыку загружать в оффлайн... =) Я вообще им не загружал vk.com и говорю я не про средство просмотра, встроенное в OE, которое использует "обычный IE" =) А под загрузкой, имеется ввиду - на сайт (Upload)

Про "Он" я имел ввиду браузер IE8:


Цитата:
Ну... там же не только это (Мои сообщения>>>Мои Аудиозаписи). Там он начинает "топтаться" на одном месте и помогает только заход на главную страницу. Ну, а самое то главное... =) Он перестает загружать музыку и фото. Навскидку, я помню там была ошибка об отклонении разрешения - al_audio.php, upload.js (могу точнее посмотреть).

Вторая часть, написанного выше, естественно уже относится к OE.
Автор: OlegChernavin
Дата сообщения: 12.03.2012 17:37
Donatello

Попробую воспроизвести это на других компьютерах. Но Offline Explorer не может влиять на поведение IE, там такого кода совсем нет.
Автор: Donatello
Дата сообщения: 13.03.2012 01:43
OlegChernavin

Ну может - не может, а... первого марта понадобилось загрузить несколько композиций вКонтакт - загрузил. Третьего установил OE, а четвертого числа, когда понадобилось загрузить ещё, прилетела птица "обломинго" =)) Так как с 1 по 4 число я ничего больше не устанавливал, то особо долго думать не пришлось. Попытка - не пытка и он был удален (даже установлен был с пом. унисталлера, как по заказу )) и о чудо, всё сразу же заработало! Через несколько минут он опять был установлен и всё опять прекратило работать (даже до регистрации его ещё). Как это...? Может он на ментальном уровне воздействует...? )))
Автор: OlegChernavin
Дата сообщения: 13.03.2012 14:18
Donatello

Попробуйте отключить интеграцию с MS IE в Настройках - Интеграция.
Автор: Donatello
Дата сообщения: 13.03.2012 15:27
OlegChernavin

Отключал, не помогает это =) Я не программист, но там связано с XMLHttpRequest и если например залезть в "Мои сообщения", то из них уже кликами по ссылкам не вылезти - в статусной строке будет ошибка - разрешение отклонено и указаны *.php в зависимости от желаемого перехода. Отснифить я могу, но там х... поймешь чего ему не нравится. Отправляет он в конце POST-запрос (для загрузки аудио), ну и на этом всё заканчивается. Есть человек на "Ты" с ajax-ом? Может он посмотрел бы - определил бы...
Автор: OlegChernavin
Дата сообщения: 13.03.2012 16:24
Увы, я тоже в AJAX не силен совсем....
Автор: Donatello
Дата сообщения: 13.03.2012 17:01
OlegChernavin

Ну так... а у вас, что не воспроизводится? Ну разные системы... ну в любом случае он же вносит какие-то изменения значит, пускай одна система реагирует так, другая по другому... Ну IE 8 один, ну могут быть какие-то заплатки разные и т.п., конечно. Ну вот опять я его удалил и сразу всё заработало, даже перезагрузка не понадобилась! Смотрел Лог изменений Унисталлера, которые он вносит, ну классы там тёмный лес конечно, а что связано c IE вроде ничего криминального. Не может он например вносить путаницу своими обозначениями - OE, то есть IE начинает воспринимать это как опред. команды (в каких-то случаях)?



Всё сам, всё сам... =)

Вот эту хрень в реестр он вносит:
[HKEY_USERS\S-1-5-21-608837248-2022450015-2875982858-1005\Software\Microsoft\Windows\CurrentVersion\Internet Settings\User Agent\Post Platform]
"Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1) "=""

После этого, строка User Agent начинает выглядить так:
User-Agent: Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0; Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1) ; .NET CLR 2.0.50727; .NET CLR 3.0.4506.2152; .NET CLR 3.5.30729; .NET4.0C; .NET4.0E)

А если удалить, то всё нормализуется и строка опять начинает выглядить нормально:
User-Agent: Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0; .NET CLR 2.0.50727; .NET CLR 3.0.4506.2152; .NET CLR 3.5.30729; .NET4.0C; .NET4.0E)
Автор: featdetect
Дата сообщения: 14.03.2012 10:09
Всем привет. Как работает Offline Explorer? Он может работать как кэширующий прокси? Метапродуктовский даунлоадер поддерживает предпросмотр и выборочную закачку из rar-архивов, Offline Explorer это поддерживает?

Страницы: 123456789101112

Предыдущая тема: PHP RapidGet Pro VI


Форум Ru-Board.club — поднят 15-09-2016 числа. Цель - сохранить наследие старого Ru-Board, истории становления российского интернета. Сделано для людей.