» Рекурсивная загрузка веб-сайтов; оффлайн-браузеры (OfflineExplorer, TeleportPro, HTTrack)

jason32
Боитесь, что он повторит судьбу Драматики? :)
Имейте в виду, там наверняка ограничения по юзер-агентам, да и вообще по массовым запросам.

А так, пользуйтесь тем, что вам привычней.
Если хотите иметь возможность посоветоваться конкретно со мной, то берите httrack. ;)

подскажите а какая из прог может сравнить копии и выделить изменения


Добавлено:
люди аууууууууууууу

sveta svetik
Website Watcher.

Offline Explorer и httrack пробовал - не могут взять внешний js. Какие-то проги могут?

Страничка с кликабельными превьюшками http://www.ms77.ru/articles/biblioteka/50176/ . Большие картинки не качаются.

Каталог http://www.ms77.ru/show.image.up/ включал в правила закачки . "Вычислять выражения в скриптах" включил. Уровень 1.

Страничка содержит такой код:

<a rel="nofollow" href="#" id="100723074431_big.jpg" onclick="OpenImageUp(this.id); return false;"><img src="../../../images/100723074431_small.jpg" /></a>

OpenImageUp - функция из http://www.ms77.ru/manager/img/common.js . Скрипт в проекте закачался. Вот функция:

function OpenImageUp(fn){
    w = 600;
    h = 400;
    size="height="+h+",width="+w+", status=no, toolbar=no, menubar=no, scrollbars=1'";
    //
    if (parseInt(navigator.appVersion)>3)
        size+=",left="+(screen.width -w)/2+",top="+parseInt((screen.height -h)/2);
    //
    url = "/show.image.up/"+fn+"/";
    open(url, 'image_win', size);
}

Помогите подобрать программу или решить одну задачу.
Требуется найти текст на сайте и ссылки.

Nikolay777
(в продолжение вот этого нашего разговора)
А какие тут могут быть варианты?
Рекурсивно грузите на локальную машину все страницы, а затем рекурсивно ищите в них то, что вам нужно.

Пример:

$ wget -mE http://example.org
$ grep -f patterns -R example.org

, где patterns — файл со списком поисковых шаблонов (чего ищем), разделенных переводом строки.

и куда этот код пехать?

Nikolay777
Пехать? :)
Это не код, это команды. См. «Зачатки FAQ'а».

Ладно, зря я наверное зря спросил.... не в ту тему зашёл. А нельзя это без линукса решить? С помощью например софта по windows?

Nikolay777
> А нельзя это без линукса решить?
Можно, конечно.
Во-первых, я это в качестве работающего примера привел, софта с подобных функционалом завались.
А во-вторых, причем тут вообще линукс (я про него ничего не говорил). И GNU Wget, и GNU Grep — программы кроссплатформенные, пожалуйста, используйте и под Виндой (даже без Цигвина). Вот тут бинарники: http://gnuwin32.sourceforge.net

наверное я ещё не дорос до таких вещей... Спасибо за помощь.

> наверное я ещё не дорос до таких вещей...
В каком смысле «не дорос»? :-)
Чего здесь сложного? Вы спрашивайте, не стесняйтесь, я попробую объяснить.

P.S. А! Вы, может быть, совсем не понимаете по-английски?

Нет, я его определённо знаю, но вот гуглтранслейт почему то знает его лучше)
Единственно, что я понял, так это то что мне нужна сборка данной программы с графической оболочкой.

Nikolay777
> знаю, но вот гуглтранслейт почему то знает его лучше
Хорошее определение, надо запомнить. ;-)

> что я понял, так это то что мне нужна сборка данной программы с графической оболочкой
ГУЙ для Вэ-гета и Грепа? О_о Нафига? Вам же автоматизация была нужна. Да и нету их.

Значит так, я бы на вашем месте все-таки установил Цигвин. Он здесь совершенно не нужен, но может когда-нибудь потребоваться в будущем, плюс у него просто подружелюбней инсталлятор.
Итак: http://cygwin.com/setup.exe
Когда дойдете до выбора пакетов (кои ставим), убедитесь, что wget и grep отмечены для установки (хотя, по-моему, они в дефолтной поставке, но на всякий случай).

Как с этим пунктом справитесь — напишите.

поставил цигвин раза с 5го))

Nikolay777
> поставил цигвин раза с пятого
В одиночку ставили? Мне казалось, с пятого одному не справиться, тут помощник нужен.

Ладно. Теперь запускайте командную оболочку («Cygwin Bash Shell») и, если еще не начали, ставьте на рекурсивную загрузку сайтек:
$ wget -mE http://example.org
; и составляйте список шаблонов, по которым искать будете.

nye

Если вам не нужна замена ссылок между страницами на относительные, то проще всего именно что составить файлик со всеми ссылками к загрузке
$ awk 'BEGIN { for (i=1; i<=547657; i++) print "http://12345.com/post/show/"i }' > url.list # или как вам это удобнее будет сделать

, а потом согласно нему загрузить
$ wget -pE -i url.list
.

Если нужна, то придется таки по ссылкам ходить, что, безусловно, дольше. Например, HTTRack'ом:
$ httrack -* +http://12345.com/post/show/* http://12345.com/post/show/1 # дословно то, о чем вы говорили

---

Цитата:

http://12345.com/post/show/1
http://12345.com/post/show/2
http://12345.com/post/show/3
http://12345.com/post/show/4
...
http://12345.com/post/show/547657

И как задать такой диапазон адресов, если нет общей страницы со ссылками на них, но точно известны адреса всех нужных к скачиванию страниц (адреса к примеру выше)

Цитата:

Страница http://12345.com/post/show/N может ссылаться на следующую страницу http://12345.com/post/show/N+ и так ддалее. То есть, страницы могут образовывать цепочку ссылок. И чтобы добраться до страницы http://12345.com/post/show/547000 неоходимо указывать уровень....

А хотелось бы в качестве стартовой страницы указать маску http://12345.com/post/show/*

Подскажите, как скачать целиком форум, на котором некоторые разделы становятся видны только после логина. Пробовал Teleport Pro, Free Download Manager и wget. В первых двух при создании проекта есть галка "требуется авторизация" с полями для логина и пароля, но это не спасает. Как не спасает и предварительный логин на форум через IE с сохранением cookies.

Vasily90
> Пробовал Teleport Pro, Free Download Manager и wget
У Вэ-гета есть ключ --load-cookies.

Цитата:

--load-cookies file
Load cookies from file before the first HTTP retrieval. file is a textual file in the format originally used by Netscape's cookies.txt file.

У Файрфокса куки в требуемом виде можно получить, воспользовавшись расширением «Export Cookies»; у Хрома — «Cookie.txt export».

ПОдскажите, в какой из оффлайн бразуеров можно настроить так, чтобы он выкачивал только по определенным маскам юрлов не суясь в ненужные разделы сайта? Как ни странно тот же Оффлайн Эксплрер такого не может!

Emisdee
HTTrack точно можно. Wget с некоторыми ограничениями. Да и, извините, но полагаю, что Офлайн-эксплорер тоже можно — это же самый базовый функционал.

ASE_DAG
Но как?

По идее должнен быть функционал, который бы позволил скачивать зааднные паттерны и НЕ СКАЧИВАТЬ все остальное! В оффлайн експлорере самый богатый набор функций но там нужно проиписывать вручную все кейворды которые не должны попасть в зеркало. Вот как задать такое условие - скачивать www.site.com/pattern*** но не скачивать www.site.com/* т.е. все остальное.

Emisdee
> Вот как задать такое условие - скачивать www.site.com/pattern*** но не скачивать www.site.com/* т.е. все остальное.
$ httrack '-* +example.org/path*' 'http://example.org/path/index.html'

Такой же вопрос:

Цитата:

ПОдскажите, в какой из оффлайн бразуеров можно настроить так, чтобы он выкачивал только по определенным маскам юрлов не суясь в ненужные разделы сайта?

Например, архив газеты в pdf, ссылки на которые на сайте, или по таким ссылкам.

Только мне бы что-нибудь попроще, чем можно пользоваться без специализированных знаний. С интуитивно понятным интерфесом или fan-made аддоном.

ни как не получается сграбить этот сайт http://base.lol-game.ru/champions/

всё что скачивается это одна строчка (© 2010 Riot Games Inc. All rights reserved. | © 2010-2011 Gorby | Language: ru | ) , и всё
Это сайт конструктор и хотелось бы пользоваться им оффлайн.
Помогите разобраться с проблемой
Может какие нибудь настройки нужно ввести?

использую WinHTTrack.exe , настроил запустил для пробы загрузил Х файлов - в папке проекта они появились как .temp - вроде все нормально.
поставил на паузу, закрыл программу - при закрытии все эти файлы удалились!

в чем тут дело?

Люди добрые, подскажите, существует ли в природе софт, который умеет скачивать сайты, и при этом на лету производить замену участков html-кода (например, как прога Text Replacer)?

Спасибо.

andreyyyy
Не припомню.
А что за задача стоит? И «на лету» — это как? Не после всех операций по загрузке — понятно, а между какими точками алгоритма именно? Если можно до всех операций, что выполняют рекурсивные качалки, то и используйте что-нибудь типа Privoxy.

Цитата:

А что за задача стоит? И «на лету» — это как? Не после всех операций по загрузке — понятно, а между какими точками алгоритма именно? Если можно до всех операций, что выполняют рекурсивные качалки, то и используйте что-нибудь типа Privoxy.

Задача стоит - делать зеркало сайта, но некоторые фрагменты кода, ссылки - заменять на свои.

Гляну Privoxy.

andreyyyy
> делать зеркало сайта, но некоторые фрагменты кода, ссылки - заменять на свои
В данной формулировке не вижу ничего, что бы мешало провести замену после окончания загрузки.