Ru-Board.club
← Вернуться в раздел «UNIX»

» Скачивание определённых страниц по расписанию

Автор: gruslava
Дата сообщения: 04.10.2011 18:39
Ищу возможность скриптом c моего сайта раз в сутки скачивать с нескольких сайтов их главную страницу и сохранять куда-то на диск вместе со всеми картинками так, чтобы рядом могли лежать без проблем версии одной и той же страницы за разные даты.
Обычные windows программы не подходят по причине того, что компьютер включен не каждый день.
Кто-то встречал такое?
Нашёл только PHP WebCopier от 2003 года, но заставить его работать не получилось.
Автор: ASE_DAG
Дата сообщения: 04.10.2011 18:52
gruslava
Так что на сервере исполнять-то можно? И доступ по SSH есть ли?
Автор: gruslava
Дата сообщения: 04.10.2011 19:09
На сервере можно выполнять perl, php скрипты, доступ по ssh есть, но не рутовый. Настравить cron тоже можно.
Автор: ASE_DAG
Дата сообщения: 05.10.2011 08:23
gruslava
> доступ по ssh есть
Отлично. Так может быть и wget есть?
$ wget -pEk http://example.org
Автор: gruslava
Дата сообщения: 05.10.2011 20:36
Да, работает, спасибо!
Я добавил опцию -P <dir> для сохранения в определённый каталог. Но я в линуксовом синтаксе не силён, можете подсказать, как после скачивания заархивировать полученную папку и файлу архива дать имя типа site_YYYYMMDD (то есть год, месяц и день)?
Автор: ASE_DAG
Дата сообщения: 05.10.2011 21:43
gruslava
$ tar -cf "site_$(date +%Y%m%d).tar" "$DIR/"

можете еще и сжать, если хотите:
$ tar -cjf "site_$(date +%Y%m%d).tar.bz2" "$DIR/"


Цитата:
Cheery (05-10-2011 21:54): Перемещено в форум "UNIX"

Ну вот! Раз уж тов. Чири нас выгнал сюда, сообщу, что есть замечательная тема «UNIX Shell: sh, bash, zsh; Coreutils и ко.; sed, awk, perl;». Если будут еще подобные вопросы, прошу туда.

> я в линуксовом синтаксе не силён
Каким боком тут Линукс?


P.S. Будете оформлять скриптик для запуска по Крону — не забывайте, Крон PATH не наследует, что значит, что пути к исполняемым файлам надо прописывать полные.

Страницы: 1

Предыдущая тема: решено.Падает UDPXY на сервере FreeBSD.


Форум Ru-Board.club — поднят 15-09-2016 числа. Цель - сохранить наследие старого Ru-Board, истории становления российского интернета. Сделано для людей.