» Offline Explorer

Цитата:

Еще вопрос по трансляции ссылок. Если выбрать первый вариант "трансляция для локального просмотра", то все ссылки на внешние сайты портятся по типу
file:///C:/download/www.drugoy_sait.ru/index.htm и в браузере соответственно показывается "не могу отобразить страницу". При втором варианте, "онлайн-трансляция" все такие ссылки остаются неизменными и соответственно при клике на них браузер молча лезет в интернет. А можно в ОЕ настроить режим как в телепорте, где выдается сообщение типа "этой страницы нет в локальной копии, так как она находится за пределами данного домена. Вы хотите загрузить ее с сервера?". Просто так меньше вероятность при просмотре локальной копии случайно незаметно для себя отправиться на просторы интернета

Это есть если смотреть сайт прямо в ОЕ - будет и страница и ссылка в онлайн и возможность сразу загрузить и добавить в проект. Есть еще и Автосохранение, в котором гуляешь по недозагруженному сайту в оффлайне, а ОЕ все это докачивает, добавляет в проект и сразу показывает в оффлайне.


Цитата:

Да, и еще. Попробовал сделать "автозапускаемый CD", файл oe_open.exe не сработал,

Это на всех системах? Или на одной конкретной?


Цитата:

Начинаю скачивать сайт, на котором выложено большое количество файлов *.exe, *.bin, *.rom, архивов и т.д., т.е. что-то наподобие файлового архива. Offline Explorer все эти файлы видит и даже их сохраняет, но все файлы оказываются битыми - по 4 кб.

Скорее всего, это странички со ссылками на сами файлы. Надо посмотреть, куда именно ведут эти ссылки - возможно, надо настроить проект, чтобы их закачивать.


Цитата:

Оффлайн-браузерами не пользовался, т.к. сижу на модеме. Возникла задача - получить список ссылок на файлы с сайта lib.aldebaran.ru, удовлетворяющих маске *.rtf.zip Примерно так:
lib.aldebaran.ru/author/king_stiven/king_stiven_mobilnik/king_stiven_mobilnik.rtf.zip
Таких файлов на сайте ~20000. Возможно ли это?

В принципе, да. Сделать проект для закачки страниц с такими ссылками, но не разрешать zip архивы. Закачать. Затем разрешить ZIP, использовать Ctrl+F5 на проекте и затем нажать F9. В Очереди будет список всех этих файлов.

OlegChernavin

Цитата:

Это есть если смотреть сайт прямо в ОЕ

Так в том-то и дело, что не будет у людей никакого ОЕ на компьютере, а будет только выкачанный сайт, записанный на CD.
Вы предлагаете по сути, как программу на Visual Basic запускать прямо внутри самой среды разработки, а хочется полностью автономный проект с "заглушками" на нужных местах (в них-то вся и суть), абсолютно независимый от конкретного компьютера и наличия или отсутствия на нем ОЕ.
Ну ладно, я понял, что нет такого режима пока, пусть будет в виде пожелания на будущее, что ли. Посмотрите, как в телепорте это сделано, ведь удобно же. Там, правда, тоже есть недостаток, что показывается всплывающее диалоговое окно, и оно не покажется, если у пользователя по причине паранойи прибиты ява-скрипты в браузере.


Цитата:

Это на всех системах? Или на одной конкретной?

Это на одном конкретном компьютере, на том, где создавался этот диск с WinXP SP2 как я указывал выше. На следующей неделе могу попробовать проверить запуск еще на паре-тройке других машин.

Требуется скачать все файлы вида http://aaa.aaa/*.*, при том, что список этих файлов неизвестен и через веб-интерфейс не посмотреть. Возможно ли такое с помощью Offline Explorer? Если нет, то может быть какая-то другая прога это позволяет?

Если веб-сервер не хочет вам показывать и отдовать файлы, то как вы сможете их у него отнять. Вопрос имхо не по части ОЕ.

OlegChernavin

Цитата:

Скорее всего, это странички со ссылками на сами файлы. Надо посмотреть, куда именно ведут эти ссылки - возможно, надо настроить проект, чтобы их закачивать.

для примера:
http://kuriaki.myftp.org:8245/Archives/BIOS/ - сам сайт
http://kuriaki.myftp.org:8245/Archives/BIOS/0-A/2THEMAX/3ETM/3etm1a04.bin - пример файла для сохранения.

Как видишь требуемый файл лежит в пределах данного сайта, а скачивается битым.

Zakkazak
Он хочет отдавать, если указать адреса файлов, но они неизвестны, а какой-либо страницы страницы со ссылками на эти файлы нет. Файлы вида http://aaa.aaa/*.* скачиваются без проблем, если указать их названия. Но названий нет (точнее, есть, но не все известны), а страница http://aaa.aaa/ - не открывается (Error и комментарий на ней : "Directory Listing Denied. This Virtual Directory does not allow contents to be listed.") ОЕ пытается найти ссылки на этой странице и выдает ошибку. Есть выход из данной ситуации? Кроме угадывания названий файлов. Надеюсь, не запутал.

Цитата:

Но названий нет (точнее, есть, но не все известны)

Если сможете угадать по какому принципу именуются файлы то можно использовать один из макросов

например для
http://aaa.aaa/abcde000.jpg, http://aaa.aaa/abcde002.jpg ... http://aaa.aaa/abcde098.jpg, http://aaa.aaa/abcde100.jpg
это макрос
http://aaa.aaa/abcde{:000..100|2}.jpg

Добавлено:
Maz

Цитата:

http://kuriaki.myftp.org:8245/Archives/BIOS/0-A/2THEMAX/3ETM/3etm1a04.bin - пример файла для сохранения.

Как видишь требуемый файл лежит в пределах данного сайта, а скачивается битым.

У меня без проблем закачался, размер 512 KB (524 288 bytes)
Настройки проекта обычные, в свойствах проекта разрешил только текстовые файлы. В дополнительно ничего не указал. В урл фильтрах тоже ничего не указал.

Цитата:

Если сможете угадать по какому принципу именуются файлы

В случае именования по такому принципу скачать такие файлы можно было и с помощью, например, регета. Но увы, никаких сведений об именах файлов нет, максимум - их расширения. Так что
Цитата:

Кроме угадывания названий файлов

.

Цитата:

В случае именования по такому принципу скачать такие файлы можно было и с

А по какому принципу именуются, разве нет сходства в названиях. Как нашли названия, если не секрет.

Я всего лишь один пример макроса привёл. На самом деле набор макросов гораздо больше и на разнообразные случаи. Регет в отношении макросов жалкое сравнение.
В регете всего лишь один макрос нумерации, даже шаг в нём невозможно задавать, если не ошибаюсь.

Цитата:

разве нет сходства в названиях

Нет, только в расширениях.
Цитата:

Как нашли названия, если не секрет

Реальный пример такой задачи. Прямые ссылки для загрузки полной версии IE6sp1ru для всех платформ с сервера Microsoft имеют вид http://download.microsoft.com/download/ie6sp1/finrel/6_sp1/W98NT42KMeXP/RU/*.*. В основном там cab-файлы. Названия всех файлов заранее неизвестны, требуется их скачать. Подойдет ли ОЕ для такого типа задач?
Цитата:

Регет в отношении макросов жалкое сравнение

Безусловно, потому он и был приведен в качестве примера крайности.

В Offline Explorer Enterprise 4.2.2372 было загружено много сайтов. Запускаю сегодня его и всё пусто, программа их все потеряла. В папке куда они были загружены всё цело, но программа их не видит.
Как их можно восстановить, сайтов было много и загружать их заново очень долго.

А как можно уменьшить время обновления проекта? Допустим есть проект, раньше я его скачивал/обновлял Телепортом, сайт обновляется раз в неделю - появляется несколько новых страниц, несколько изменяются и появляется около 80-100 графических файлов. То есть маленький "децл". Телепорт тратил на обновление 10-15 мин. от силы. Сейчас запустил Offline Explorer и засёк время... результат впечатлил. =) 1.30 часа на обновление этого же самого сайта, который я скачал 7 дней назад. В настройках стоит - скачивать новые и измененные файлы.

Также хотел чтобы он не замещал старые файлы (графические), а переименовывал - поставил, так вот ни одного графического, зато 7708 файлов *.htm, в основном 95% каталоги типа такого:

@S=A(1)
@M=D(1)
@N=A(1)
@S=D(1)

И настройки в режиме реального времени не обновляются? Или нужно остановить/поставить на паузу? Добавил расширение исключаемое из скачивания в настройках, а он как скачивал так и продолжил.

readme
Закачка из из сайтов Микрософта сплошная головная боль. На предыдущих страницах должны быть какие-то решения, но не знаю подойдут ли они для вашего случая.

Подскажите, пожалуйста, как сделать. Необходимо отфильтровать все файлы в закачке по маске comment_all.php@id=*&action=1. Если я ввожу эту маску в запрещенные файлы, то она не срабатывает Я что-то неправильно указал, или это нельзя в принципе? Если нельзя, то есть ли оффлайн-браузер, который нормально такое отфильтровывает? Также не получается отфильтровывать country.php@country* и многие подобные. Пытаюсь закачать http://www.world-art.ru/animation/

Xavier Teodonius

Цитата:

comment_all.php@id=*&action=1

Вместо знака @ должен быть знак вопроса (?)
Не забудьте выбрать Загружать соответственно УРЛ Фильтрам в ветке Типы Файлов. Если не выберите эту опцию все ваши маски будут игнорироватся.

Vania
Закройте ОЕ. Зайдите в \Documents and Settings\..\Application Data\Offline Explorer. Выберите самую свежую резервную копию дерева WebDown.bw, только не самую маленькую по размеру. Измените её расширение на .dat, предварительно удалив WebDown.dat.

Добавлено:
Donatello

Цитата:

появляется несколько новых страниц, несколько изменяются и появляется около 80-100 графических файлов.

Конкретно указали бы сайт, как глубоко надо закачать, какие урл - было бы легче дать совет. Неправильно настраиваите проект, наверное.

Цитата:

Также хотел чтобы он не замещал старые файлы (графические), а переименовывал

В Свойствах Проекта|Дополнительно есть ветка Копии Файлов. Там можно задать сколько копий сохранять(56 например, одна копия на неделю) и формат имени. Копии можно смотреть через карту.

Zakkazak, да у меня стоит "Загружать соответственно УРЛ Фильтрам ". Не помогает. Пример: стоит фильтр "country*country=", пример файла : "country.php@country=_25D1_25D1_25D1_25D0&_25CF_25EE_25F1_25EC_25EE_25F2_25F0_25E5_25F2_25FC=" - Offline Explorer его пропускает, и все ему подобные тоже (

Zakkazak

Цитата:

Конкретно указали бы сайт, как глубоко надо закачать, какие урл - было бы легче дать совет. Неправильно настраиваите проект, наверное.

Указал бы, если бы это что-нибудь дало. Сайт платный. Сайт я весь скачиваю, вопрос стоял о времени обновления, по сравнению с тем же Телепортом. Неправильно - это как? Если я вижу, то, что он скачивает и меня это устраивает, а не пол-интернета.


Цитата:

В Свойствах Проекта|Дополнительно есть ветка Копии Файлов. Там можно задать сколько копий сохранять(56 например, одна копия на неделю) и формат имени. Копии можно смотреть через карту.

...А я разве спрашивал где можно задать и как задать копии файлов? Я там и поставил - вроде понятно должно быть, а также понятно, что эти копии создались в первый раз, судя по названиям файлов (см. выше). Вопрос опять совсем в другом. Я хочу чтобы он создавал копии только для графических файлов. Ибо как показала практика - 7708 (каталогов) *.htm - копий, мне это не нужно, да и вопрос о физ. обновлении этих файлов - тоже спорный. Для меня получается эта опция неприменима.

Zakkazak
Спасибо!!! Всё заработало.

Vania
рад был помочь

Xavier Teodonius
У себя проверил работают, почему у вас не работают не знаю. Если можете экспортировать проекты выложите куда-нибудь посмотрю в чём проблема.
comment_all.php?id=*&action=1
country*country=(для "country.php?country=_25D1_25D1_25D1_25D0&_25CF_25EE_25F1_25EC_25EE_25F2_25F0_25E5_25F2_25FC=")

Можете также пойти другим путём. Укажите линки которые надо Включить и тогда отпадёт необходимость исключать что-либо, напр.
/animation/animation.php?id=*
people*.php?id=*
news.php?id=*
Программа закачает только и только, то что разрешено В Масках Включения Имён Файлов.

Цитата:

Так в том-то и дело, что не будет у людей никакого ОЕ на компьютере, а будет только выкачанный сайт, записанный на CD.
Вы предлагаете по сути, как программу на Visual Basic запускать прямо внутри самой среды разработки, а хочется полностью автономный проект с "заглушками" на нужных местах (в них-то вся и суть), абсолютно независимый от конкретного компьютера и наличия или отсутствия на нем ОЕ.
Ну ладно, я понял, что нет такого режима пока, пусть будет в виде пожелания на будущее, что ли. Посмотрите, как в телепорте это сделано, ведь удобно же. Там, правда, тоже есть недостаток, что показывается всплывающее диалоговое окно, и оно не покажется, если у пользователя по причине паранойи прибиты ява-скрипты в браузере.

Можно экспортировать в EXE файл и там будут эти ссылки в онлайн.

Просто создание кучи файлов для всех отсутсвующих ссылок будет занимать кучу места, поэтому я пошел другим путем.



Добавлено:

Цитата:

В Offline Explorer Enterprise 4.2.2372 было загружено много сайтов. Запускаю сегодня его и всё пусто, программа их все потеряла. В папке куда они были загружены всё цело, но программа их не видит.
Как их можно восстановить, сайтов было много и загружать их заново очень долго.

Без проблем - найти файл webdown.dat - в этой же папке будут другие файлы webdown с разными расширениями - резервные копии. Надо заменить webdown.dat самой свежей и большой копией. И потом запустить Offline Explorer.

Упс. На это уже ответили, ну и ладно.

Donatello

Тут без подробностей вряд-ли смогу помочь. Лучше всего, запретить скачивание этих
Цитата:

@S=A(1)
@M=D(1)
@N=A(1)
@S=D(1)

. А графические файлы скорее всего, не изменились, поэтому и копии не были созданы.

Donatello

Цитата:

Я хочу чтобы он создавал копии только для графических файлов

Рисунки со страницы какого уровня (0-го, 1-го или на всех уровнях)? До какого уровня хотите качать сайт? Опишите файлы которые хотите качать, не только которые хотите фильтровать.
Цитата:

Неправильно - это как? Если я вижу, то, что он скачивает и меня это устраивает, а не пол-интернета.

По подробней напишите об проекте, структуре сайта или выложите проект затерев доменные имена.
Цитата:

...А я разве спрашивал где можно задать и как задать копии файлов? Я там и поставил - вроде понятно должно быть, а также понятно, что эти копии создались в первый раз,

сорри предложение немного непонятное было

Zakkazak, спасибо за совет. Тут дело видимо не в проблемах с фильтром. Если посомтреть, то на вышеуказанном мной сайте в разделе http://www.world-art.ru/animation/ нет файлов вроде "country.php@country=_25D1_25D1_25D1_25D0&_25CF_25EE_25F1_25EC_25EE_25F2_25F0_25E5_25F2_25FC=" По крайней мере, не видно невооруженным взглядом Есть только страничка "http://www.world-art.ru/animation/country.php" и через нее идет выбор страны с последующим отображением информации. После выбора страны страничка остается все той же : "http://www.world-art.ru/animation/country.php" Но вот Offline Explorer пытается выкачать тьму файлов наподобие того, что я привел выше (с огромной длины названиями). Ворпос, это так и должно быть? То есть, он пытается скачать несуществующие файлы? Не понимаю... Пока я его не тормознул, он скачал ~500 таких файлов и все они были одинаковы И тормознуть через фильтр "country*country=" не получилось, только "country".

И еще вопрос. На этом сайте есть система поиска. Можно ли как-нибудь выкачать сайт так, чтобы поиск работал? Если не сложно, посмотрите, пожалуйста. Прямая ссылка на нее - http://www.world-art.ru/search.php Сам поиск в верхнем правом углу

OlegChernavin

Цитата:

. А графические файлы скорее всего, не изменились, поэтому и копии не были созданы.

Ну... это понятно. =) Вопрос в том, чтобы сделать только содание копий для графических файлов, т.к. htm мне не нужны - копии. Или это нельзя так сделать? Также вопрос спорности обновления тех же 7708 - Index за неделю. Проверить я конечно проверю, но сдаётся мне он всегда будет их обновлять. Вообще ведь они не нужны для визуального отображения сайта локального? Ведь фактически это даже не htm (html), а 95% файлы Index или без этого не обойтись? Телепорт тоже скачивал такие штуки, но очень мало. И ессно. их не обновлял (или обновлял несколько штук), в чём здесь загвоздка-то?

Zakkazak

Ну какие настройки... В основном по дефолту, настройки там не хитрые.

Проект

Адреса (URL): http://www.сайт.com/members/
Проверка изменений файлов/Загружать только изменённые и новые файлы

Типы файлов

Всё стоит по умолчанию, за исключением того, что с архивов снята галка и в Пользовательские добавлено расширение - sit и с него снята галка.

Протокол

Загружать все протоколы

Сервер

Загружать файлы с начального сервера

Каталог

Загружать файлы со всех каталогов

Имя файла

Загружать все имена файлов

Дополнительно

Проверять целостность файлов
Все возможные каталоги
Игнорировать ошибки на сайтах

Вот и все почти настройки, всё в основном по дефолту.

Zakkazak
Цитата:

Закачка из из сайтов Микрософта сплошная головная боль

Это был пример, который Вы так хотели услышать, причем тут их сайты?
Цитата:

На предыдущих страницах должны быть какие-то решения, но не знаю подойдут ли они для вашего случая

Спасибо, но вроде нет на предыдущих.

Xavier Teodonius
Адреса (URL):
http://www.world-art.ru/animation/list.php
http://www.world-art.ru/animation/
http://www.world-art.ru/animation/review.php
http://www.world-art.ru/search.php
Уровень = 2
Не загружать существующие файлы

В Дополнительно на первой странице надо убрать все галочки кроме Игнорировать ошибки на сайтах и урл типа country.php?country=_25D1_25D1_25D1_25D0&_25CF_25EE_25F1_25EC_25EE_25F2_25F0_25E5_25F2_25FC= не будут загружаться.

Типы файлов
Включить только
текстовые файлы и изображения соответственно Фильтрам URL и Пользовательские - отовсюду

Фильтры URL
[list]Протокол, Сервер, Каталог - только с начального
Имя файла - Произвольная конфигурация - Маски включения:
list_*_name.php?name=
^animation.php?id=
^news.php?id=
/animation/img/3000/*/*.jpg

задача -- скачать все найденные поисковиком по запросу страницы, при этом с самого сайта пооисковика скачивать ничего не нужно
Если поставить глубину закачки 1 скачаются результаты только с 1й страницы, если 2 -- будут качаться страницы, на которые есть ссылки на страницах из 1й страницы результатов поиска. Поставить "на другой сервер глубина=1" -- невозможно запретить скачку страниц с самого поисковика (которых вельми много -- речь идёт о spam_detected) и вообще использовать кустом конфигурэйшн. Можно ли всё-таки как то так настроить, чтобы выполнить задачу?

Donatello

Цитата:

Дополнительно
Все возможные каталоги

Убрать галочку надо
Цитата:

Имя файла
Загружать все имена файлов

Здесь более точнее по каким маскам закачивать. Желательно графические файлы тоже соответственно УРЛ Фильтрам закачивать.
Цитата:

Типы файлов
Всё стоит по умолчанию, за исключением того, что с архивов снята галка и в Пользовательские добавлено расширение - sit и с него снята галка.

Возможно Другие причина лишних файлов. Я не пользуюсь шаблоном по дефолту, удалил его точно не знаю что в "Другие" установленно

Добавлено:
kselur

Цитата:

Можно ли всё-таки как то так настроить, чтобы выполнить задачу?

Вполне выполнимая задача. У меня есть готовые проекты для Гугла и Яндекса. Часто пользуюсь ими. Всё зависит от того для какого поисковика нужно создать проект.


Добавлено:
readme

Цитата:

Это был пример, который Вы так хотели услышать, причем тут их сайты?

Ну уж не обессуддте хотел помочь, но не вышло. Вот поюзайте вы немного ОЕ и поймёте, что ваш первый пост звучит примернно так: Пойди туда не знаю куда принеси то не знаю что.

Цитата:

Требуется скачать все файлы вида http://aaa.aaa/*.*, при том, что список этих файлов неизвестен и через веб-интерфейс не посмотреть. Возможно ли такое с помощью Offline Explorer? Если нет, то может быть какая-то другая прога это позволяет?

Вот поэтому и нужны бывают примеры.

kselur

Вот тебе пример для твоего поисковика spam_detected.
Например ищет фразу мама родная.
Набираем в этом поисковике эту фразу. Получаем ссылку вида
http://spam_detected/index.php?q=%EC%E0%EC%E0+%F0%EE%E4%ED%E0%FF&0=1&1=1&2=1&3=1&4=1&5=1&6=1&7=1

Плюем на нее Смотрим внизу страницы кол-во страниц для этого поиска. Смотрим ссылку на последнюю страницу (и ее номер - на всякий случай).
Ссылка на эту последнюю страницу для нашего поиска получилась такая:
http://spam_detected/index.php?action=show_results&ses_id=a4deaa83c43bf76fe1d6fcfcca85d9fa&request_str=%EC%E0%EC%E0+%F0%EE%E4%ED%E0%FF&search_id=1|1|1|1|1|1|1|1&cur_page=400

Выкидываем из нее кусок с &ses_id=... и создаем URL для OE.
http://spam_detected/index.php?action=show_results&request_str=%EC%E0%EC%E0+%F0%EE%E4%ED%E0%FF&search_id=1|1|1|1|1|1|1|1&cur_page={:0.. 400|20}

В свойствах проекта ставим:
Уровень - 1
Фильтры URL -> Сервер -> Произвольная конфигурация -> Маски исключения серверов -> Добавляешь spam_detected .

Все. Можешь создать из твоего проекта шаблон.

Zakkazak

Цитата:

Убрать галочку надо

А, что это должно дать-то? В справке написано: http://www.server.com/dir1/dir2/file.htm Что когда находит ссылку, будет пытаться запросить содержимое dir1 и dir1 таким образом скачает больше файлов. Или это лишнее...


Цитата:

Возможно Другие причина лишних файлов. Я не пользуюсь шаблоном по дефолту, удалил его точно не знаю что в "Другие" установленно

Ну каких лишних файлов-то? Я ж вижу, что он закачивает. Ничего там не установлено, просто стоит - Загружать согласно фильтрам URL

Сайт маленький относительно, после удаления всех файлов Index и изначального не скачивания архивов - zip и sit, папка весит около 500 Мб. Что там есть дубликаты я и так знаю, но их немного. Связано с тем, что контент одинаковый - весь в платной зоне и децл в бесплатной. Весь сайт в основном состоит из рисунков - *.gif, *.jpg, немного *.png и *.htm (*.html), а также архивов *.zip и *.sit Поэтому чего там исключать? Я не думаю, что это даст существенный прирост в скорости при обновлении с 1.30 до 15 мин. хотя бы. Телепорт очевидно проверял на обновление только htm (html) и может смотрел файлы Index поэтому у него сразу при обновлении кол-во URL показывалось 1800 примерно. Здесь сразу больше 20000. Я помню я как-то у Телепорта включал - обновлять Внедренные файлы, так тогда тоже около 20000 было и долго очень.

Никто мне не ответил на мой вопрос. Делаю вывод, что OE для меня не подходит. Так?

Или может у кого-нибудь получится?

http://www.statrus.info/common/check.jsp?enc=rus

Нажать кнопку "Тест". Скачать все доступные в тестовом режиме документы.

Синопсис. У меня скачивалось все нормально. Но в реальности под ссылками на разные документы оказывался один и тот-же.