» Offline Explorer

Цитата:

У меня выходило только скачивать все эти маленькие картиночки (200x150) по самой первой ссылке. А необходимо выкачать те большие картинки (1024x768) ссылка на которые рядом с дискеткой. Как это сделать?

- А вариант ограничения арзмера фоты не подходит?
Меню свойства проекта - картинки - минимальный размер - ставишь где-нить 10кил (не встречал тумбинайла, который бы больше весил, и полноэкранной фоты, которая бы меньше), сливать со всех сайтов, а для страниц - наоборот, ограничение стартовым сервом, папкой, в исключаемые имена файлов вкинь сторонние и рекламные, ну и в картинках же можно ограничить сливание только жопегами, чтоб гифами (анимированные баннеры могут весить поболе 10кил) не грузило тебя.

taurman

Ты не правильно посчитал, там 35 страниц, в которых 312 фоток

Попробой эти настройки, закачает все 312 больших, лишние маленькие не закачает


http://rapidshare.de/files/29639488/Jesika.txt.html

Скопируй содержимое файла затем вставь в оффлайне.

Добавлено:
taurman

0-ой уровень
http://infostore.org/info/300529?refer=372759&rs=3&s=3&p={:0..34}

1-ый уровень
?refer=300529&rs=3$

2-ой уровень (большие фотки)
*.jpg$


К сожалению задать ссылки на картинки на прямую , при помощи макроса невозможно, поэтому без текстовых файлов не обошлось

А я 4.4 версии вчера выпустил. Немного поздновато, но это лето, вы уж меня простите.

OlegChernavin

Меня интересует такой вопрос, прошу ответить однозначно. Есть ли предел совершенствования всеми любимой программы Offline Explorer?

Чую подвох, но не пойму в чем?

Пределы есть - я сам (моя работоспособность). А так, пока буду дальше работать и улучшать.

А, я понял, там:
http://infostore.org/info/300529?refer=372759&rs=3&s=3&p=0
действительно только 312 фот

Вообщето ссылки на те два тумбнайла (thumbnail) о которых я говорил выглядят следующим образом:
http://infostore.org/info/313740/2323333333333333.jpg?s=200&r=0 - ограничение размера исходной картинки 200 пикселями по ширине.
http://infostore.org/info/313740/2323333333333333.jpg?s=760&r=0 - ограничение размера исходной картинки 760 пикселями по ширине.
А ссылка на исходную картинку:
http://infostore.org/info/313740/2323333333333333.jpg - такой же адрес как и у тумбнайлов только без последней части:
?s=200&r=0 или ?s=760&r=0

Тоесть ссылки на исходные картинки можно было б получить даже на Уровне 0, пробежав по этим 312 страницам и вырезав из ссылок вида:
http://infostore.org/info/313740/2323333333333333.jpg?s=200&r=0
последний кусок: ?s=200&r=0
Как бы это организовать?

bredonosec
Цитата:

- А вариант ограничения размера фоты не подходит?

Да, хорошая идея. Только ограничивать по ширине, чтоб качались фоты с шириной больше 760, так как тот второй большой тумбнайл ограничен по ширине именно 760 пикселями.

Zakkazak
Цитата:

Ты не правильно посчитал, там 35 страниц, в которых 312 фоток

Да, ты прав, ошибочка )
Цитата:

Попробуй эти настройки, закачает все 312 больших, лишние маленькие не закачает

http://rapidshare.de/files/29639488/Jesika.txt.html

Скопируй содержимое файла затем вставь в оффлайне.

Я так понимаю можно както импортировать чужие настройки проэкта?
Но как это сделать? Чтото я не нашел. Стоит OE 4.1
Цитата:

0-ой уровень
http://infostore.org/info/300529?refer=372759&rs=3&s=3&p={:0..34}

1-ый уровень
?refer=300529&rs=3$

2-ой уровень (большие фотки)
*.jpg$

Что означает, 0-ой, 1-ый, 2-ой уровень? И куда их значения прописывать?

Скопировать - вставить - через Блокнот - открыть в нем текстовый файл, выделить все содержимое и копировать в буфер обмена. Затем в ОЕ - Правка - Вставить.

Насчет отрезания частей адреса картинок - это просто - в Свойствах проекта - Дополнительно - Замена адресов. Надо добавить правило:

URL:
*
Заменить:
.jpg?s=*
На:
.jpg

И все.

Цитата:

Только ограничивать по ширине,

- ОЕ работает с весом файла, а не разершением картинок Для того, чтоб выяснить разрешение, надо сначала скачать, а размер(вес) отдается сервом еще до начала сливания.

Ура, получилось.
Скачал все ровно 312-ть фотографии.

В итоге реализовал свою задумку с отрезанием ?s=200&r=0 из ссылок у первых тумбнэйлов.
Спасибо OlegChernavin'у за подсказку (:

В итоге получились такие настройки:
Адреса (URL): http://infostore.org/info/300529?refer=372759&rs=3&s=3&p={:0..34}
Уровень: 0
Типы файлов: только Изображения - Загружать отовсюду. Размеры изображений не ограничивал.
В Дополнительно выставил настройки как советовал OlegChernavin:
URL: *
Заменить: .jpg?s=*
На: .jpg

OlegChernavin

Цитата:

Скопировать - вставить - через Блокнот - открыть в нем текстовый файл, выделить все содержимое и копировать в буфер обмена. Затем в ОЕ - Правка - Вставить.

Благодарю, получилось.

bredonosec

Цитата:

Цитата: Только ограничивать по ширине,

- ОЕ работает с весом файла, а не разершением картинок..

bredonosec:


Цитата:

Цитата:Только ограничивать по ширине,
- ОЕ работает с весом файла, а не разершением картинок Для того, чтоб выяснить разрешение, надо сначала скачать, а размер(вес) отдается сервом еще до начала сливания.

ОЕ как раз работает и как с весом файла, так и с разрешением картинок. Для определения разрешения картинки нет необходимости грузить ее всю, достаточно самого начала.

Цитата:

Для того, чтоб выяснить разрешение, надо сначала скачать, а размер(вес) отдается сервом еще до начала сливания.

Можно и с разрешением картинок - там есть настройки в Фильтрах Файлов - Картинки. Причем для этого надо выкачать неск. десятков байт сначала файла, так что не сильно хуже по эффективности получается.


Цитата:

Спасибо OlegChernavin'у за подсказку (:

Всегда рад помочь!

да действительно решение Олега лучше. Лишних 312 файлов незагружает да и загруженный материал для броузинга лучше получается. Очень просто и гениально.

taurman

Цитата:

Типы файлов: только Изображения - Загружать отовсюду.

С этой опцией будь по осторожней очень много лишних файлов можешь загрузить

Цитата:

С этой опцией будь по осторожней очень много лишних файлов можешь загрузить

Только картинки, ничего другого не закачается. Можно даже там разотметить все расширения, кроме .jpg.

Цитата:

для этого надо выкачать неск. десятков байт сначала файла,

- Что настройка есть - и сам знаю, но что для этого не требуется сливать файл целиком, а достаточно заголовка - эт что-то новое Сеньки.
Правда, вероятно, это не сработает в случае, когда метаданные удалены. Напр, вот на таких: пример (крупные даже не отображаются в броузере, в заголовках мусор)

Цитата:

- Что настройка есть - и сам знаю, но что для этого не требуется сливать файл целиком, а достаточно заголовка - эт что-то новое

Не только заголовок, скачивается еще и начало файла, не очень много. Если по началу файла программа определяет, что разрешение картинки не подходит, закачка обрывается. На совр. каналах это почти то-же, что и определение чисто по заголовку ответа сервера.

Цитата:

скачивается еще и начало файла, не очень много. Если по началу файла программа определяет, что разрешение картинки не подходит, закачка обрывается.

хитрО! еще раз сеньки за просвещение.

Кто-нибудь пробовал выкачать книжку выложенную в электронном виде на http://www.netlibrary.com/? Руками очень нудобно: для запроса следующей страницы надо нажимать "Next", который обращается к .aspx на сервере, который высылает pdf файл только этой страницы. 540 страниц. Можно ли автоматизировать с помощью Offline Explorer?

irych
И как вообще этот сайт юзать? Там же кажется логин и пароль нужен.

irych

примеры ссылок нужны, для того чтобы что-нибудь сообразить.

irych
Да, можно.
[more]Вначале нужно настроить параметры закачки:
Options->Internet->Connection:
N. of connections = 1
Delay between downloads = 5-10 (!!!)

Заходите в библиотеку из браузера OEE, открываете книгу. Записываете ID книги (в ее свойствах), диапазон страниц с нумерацией римскими цифрами, страниц с арабскими цифрами.
После этого создаете проект, в котором в поле адреса прописываете следующие строки (на примере одной книги):
.http://www.netlibrary.com/nlreader/nlReader.dll?BookID=130317&FileName=cover.pdf
.http://www.netlibrary.com/nlreader/nlReader.dll?BookID=130317&FileName=Page_{:roman:i..xvi}.pdf
.http://www.netlibrary.com/nlreader/nlReader.dll?BookID=130317&FileName=Page_{:1..605}.pdf
Здесь 130317 - ID книги, все остальное, думаю, понятно.

В этом же окне ставите level limit = 0 (галочку не снимаем).

В свойствах проекта найдите закладку "Advanced". Здесь поставьте галочку "Stop loading a WebSite if its total size exceeds" и введите значение 48000. Это важно сделать, иначе сами не проконтролируете и потеряете аккаунт!

Для того, чтобы закачка началась в браузере OEE должна быть открыта именно та книга, которую нужно загрузить.
Вроде, все, можно жать "Start" [/more]

Добавлено:
А подскажите, пожалуйста, как бы картинки вот такого вида забрать с сервака в их оригинальном разрешении:
.http://images.questia.com/?fif=b203096/b203096m0028c.fpx&obj=iip,1.0&wid=300&rgn=0.0,0.0,1.00000000,1.00000000&lng=en_US&vtrx=1&cvt=jpeg

Здесь wid=300 - ширина картинки. Если этот параметр убрать, ничего не забирается
Спасибо.

ghosty


Цитата:

Здесь wid=300 - ширина картинки. Если этот параметр убрать, ничего не забирается

У меня получилось убрать этот парамеир, но все равно пользы нет. Сервер возврашяет, то что хочет.


//images.questia.com/?fif=b203096/b203096m0028c.fpx&obj=uv,1.0

Добавлено:
или же другой пример:

//images.questia.com/fif=zoom.fpx&obj=uv,1.0

Имеется ли возможность скачивать видео с этого ресурса
http://www.corbina.tv/private_channels/channels-shnur.php#nul
Конкретно ссылка Оле-оле

Zakkazak
В обоих случаях он пересылает сообщение
Error/71:2 1 U n s u p p o r t e d p r o t o c o l e n c o u n t e r e d .

Неужели никак не обмануть его?

Цитата:

В обоих случаях он пересылает сообщение
Error/71:2 1 U n s u p p o r t e d p r o t o c o l e n c o u n t e r e d .

Я не совсем понял, в каких обоих случаях? Рисунки совсем не закачиваются?

Оригинальный размер файла можно узнать закачав эту ссылку Оффлайном
ttp://images.questia.com/?fif=b203096/b203096m0028c.fpx&obj=iip,1.0

Закачается файл следующего содержания:

IIP-server:1.65.(2043XE)
Colorspace,0,0:1 0 1 1 0
Colorspace,1,0:1 0 1 1 0
Colorspace,2,0:1 0 1 1 0
Colorspace,3,0:1 0 1 1 0
Error/19:3 3 Filtering-value
Error/15:3 3 Color-twist
Error/19:3 3 Contrast-adjust
Error/7:3 3 ROI
Error/20:3 3 Affine-transform
Error/16:3 3 Aspect-ratio
Max-size:280 243
Resolution-number:4
IIP:1.0

Или же другой пример:
ttp://images.questia.com/fif=zoom.fpx&obj=iip,1.0
IIP-server:1.65.(2043XE)
Colorspace,0,0:0 0 3 3 0 1 2
Colorspace,1,0:0 0 3 3 0 1 2
Colorspace,2,0:0 0 3 3 0 1 2
Colorspace,3,0:0 0 3 3 0 1 2
Colorspace,4,0:0 0 3 3 0 1 2
Colorspace,5,0:0 0 3 3 0 1 2
Colorspace,6,0:0 0 3 3 0 1 2
Error/19:3 3 Filtering-value
Error/15:3 3 Color-twist
Error/19:3 3 Contrast-adjust
Error/7:3 3 ROI
Error/20:3 3 Affine-transform
Error/16:3 3 Aspect-ratio
Max-size:3652 2415
Resolution-number:7
IIP:1.0
Не смотря на максимальную ширину (wid) 3652 оригинала, сервер разрешает просмотр этого рисунка шириной 1200 пиксел.

Вам в массовом порядке надо закачивать?

Internet Imaging Protocol (IIP)

Цитата:

Имеется ли возможность скачивать видео с этого ресурса
http://www.corbina.tv/private_channels/channels-shnur.php#nul
Конкретно ссылка Оле-оле

Очень странно. Зашел на сайт, посмотрел несколько ссылок и во всех был один и тот же линк на mms://video.corbina.tv/usecorbinatv/CookiesDisabled.wmv - хотя Cookies у меня разрешены.

Zakkazak

Цитата:

Оригинальный размер файла можно узнать закачав эту ссылку Оффлайном
ttp://images.questia.com/?fif=b203096/b203096m0028c.fpx&obj=iip,1.0

А, теперь понятнее, это уже что-то, спасибо. Не очень понятно только, как полученную инф-ю скормить OEE, чтобы он скачивал картинку именно с таким разрешением.


Цитата:

Вам в массовом порядке надо закачивать?

Именно. Я скачиваю для людей книги из библиотеки Questia. И пока не могу решить проблему с картинками, которые на страницах представлены ссылками на Java-скрипт, показывающий эти картинки в отдельном окне.
Задача на данный момент - попробовать вернуть эти картинки обратно на страницы

OlegChernavin
Вот в том и фишка. mms://video.corbina.tv/usecorbinatv/CookiesDisabled.wmv - файл говорящия о том, что у вас нет куки. Это их защита срабатывает.
Смотреть оттуда можно, а как скачать? Пробовал разные варианты, разные прграммы для скачивания потокового видео. Безрезультатно.

Боюсь, что и у меня пока не будет решения. Если только попробовать в плеере когда видео уже идет, попробовать в свойствах найти реальный адрес видео и его скачать.

OlegChernavin
Там тоже облом. Ну да ладно. Наука двигается вперёд. Может найдётся какой способ...

А в плеере какой адрес?