» HandyCache ( Часть 4 )

popkov
MFT вообще не сжимается. Тем более в свойствах раздела можно поставить сжатие, а для нужных папок и файлов это сжатие убрать.

popkov

Цитата:

Насколько я понимаю, файл при открытии распаковывается в оперативную память, при этом на диске он остаётся тем же.

в памяти не весь файл (они ведь большими бывают), а только 16 кластеров, отсюда одинаково быстрый доступ к разным частям файла

V0lt

Цитата:

графика (jpeg, gif, png) как правило не сжимается. Если страницы запакованы в gzip, они тоже не ужмутся. При таком раскладе выйгрыш по размеру будет небольшой => производительность может даже пострадать.

Я надеюсь, в общем-то, только на увеличение эффективности использования дискового пространства, которая в стандарных условиях обратно пропорциональна размеру файлов и их количеству. По сути дела, я надеюсь, что пустоты в неполностью заполненных кластерах будут ликвидированы при сжатии. Именно за счёт уплотнения папки на диске и должен уменьшаться её размер (причём и скорость чтения, как я надеюсь, тоже должна возрасти, что экспериментально подтвердил casm82 22:47 01-10-2006). Причём в нашем случае экономия должна быть эаметной. поскольку файлов громадное количество, и все они очень маленькие (РАЗМЕР ЗАЧАСТУЮ ДАЖЕ МЕНЬШЕ РАЗМЕРА ОДНОГО КЛАСТЕРА, и обычно сопоставим с ним). Поэтому данные unreal666

Цитата:

Общий размер - 900 Мб
Размер на диске - 676 Мб.
Т.е. у меня экономия 25%

вполне правдоподобны (для очень большой директории).

Добавлено:
V0lt

Цитата:

в памяти не весь файл (они ведь большими бывают), а только 16 кластеров, отсюда одинаково быстрый доступ к разным частям файла

Но из этого всё равно не следует, что он на диске распаковывается! Он частично распаковывается только при загрузке в оперативную память! Насколько я себе представляю, алгоритмы упаковки настолько примитивны, что для распаковки части не требуется распаковывать весь файл. Это не WinRAR! В книге "Внутреннее устройство Microsoft Windows 2000 написано, что главный метод упаковки - ликвидация последовательностей нулевых кластеров (т.е. кластеров, целиком заполненных нулями).

popkov

Цитата:

Причём в нашем случае экономия должна быть эаметной. поскольку файлов громадное количество, и все они очень маленькие (РАЗМЕР ЗАЧАСТУЮ ДАЖЕ МЕНЬШЕ РАЗМЕРА ОДНОГО КЛАСТЕРА, и обычно сопоставим с ним).

В этом случае сжатие тебе не даст абсолютно ничего. Как был занят один кластер - так и останется. Или используй программы сжатия, у которых файлы хранятся в одном большом сжатом файле. А сжатие средствами NTFS никак не сделает тебе из одного незаполненного кластера "полкластера". Плюс не забывай про 16 кластеров в блоке: из одного незаполненного кластера ты получишь тот же самый кластер + 15 виртуальных - беды в этом особой нет, но и пользы совершенно никакой.
Ты совершенно верно говоришь, что "файлов громадное количество, и все они очень маленькие" - в этом случае смотреть нужно не в сторону сжатия тома, а на уменьшение размера кластера со стандартных 4К до 512B. Это увеличивает время работы с большими файлами, но дает выигрыш при работе с мелкими - т.е. то, что и нужно в случае кэша НС.
Имхо.

ниасилил 300 страниц читать
поэтому спрошу тут,
-какая на сегодняшний момент последняя версия программы?
-есть ли уникальный черный список для сети? в том смысле что к-во правил как я понял ограничено? есть ли какие-нибудь дополнения или обновления в плане усовершенствования этих списков? если да где его можно скачать?
-будет ли в будущем поддержка черного списка не по правилам а по ключевым словам и\или ИП? как это сделано в модуле аутпоста-реклама?

Спасибо.

evilone666

Цитата:

ниасилил 300 страниц читать

Прочитай хотя бы шапку.

forever

Цитата:

В этом случае сжатие тебе не даст абсолютно ничего. Как был занят один кластер - так и останется.

Ты это точно знаешь? Грустно...

Цитата:

а на уменьшение размера кластера со стандартных 4К до 512B

А как это сделать, кстати, не подскажешь?

popkov

Цитата:

А как это сделать, кстати, не подскажешь?

Самое простое: отформатировать раздел указав размер кластера 512B
Если раздел с данными, то можно конвертировать - например с помощью Partition Magic (Resizes NTFS system clusters to the most effective size). Форматировать разумеется быстрее.

popkov

Цитата:

Причём в нашем случае экономия должна быть эаметной. поскольку файлов громадное количество, и все они очень маленькие (РАЗМЕР ЗАЧАСТУЮ ДАЖЕ МЕНЬШЕ РАЗМЕРА ОДНОГО КЛАСТЕРА, и обычно сопоставим с ним).

Сверхмалые файлы хранятся прямо в MFT в пределах одной записи (1 кБ), который вообще не сжимается!

evilone666

Цитата:

в том смысле что к-во правил как я понял ограничено?

Не ограничено. Пару вариантов готовых списков есть в шапке. Использовать их или писать свой - тебе решать.

Цитата:

будет ли в будущем поддержка черного списка не по правилам а по ключевым словам и\или ИП?

По ключевым словам и сейчас можно, например так: +*banner*
А что такое ИП?

DenZzz

Цитата:

Сверхмалые файлы хранятся прямо в MFT в пределах одной записи (1 кБ)

Знаю, что так должно быть, но вот как/чем это увидеть своими глазами? Создаю файл в 3 байта и смотрю свойства: "на диске" вместо ожидаемых 3-х байт - размер кластера.


Цитата:

А что такое ИП?

IP

DenZzz
Другой вопрос: а можно ли сделать исключение для Offline-режима? Создал Белое правило, отменяющее работу правил Только из кэша. Однако в Offline-режиме всё равно не загружается соответствующий сайт (он находится в Локальной сети, и не требует установления соединения с Интернет). Ясное дело, можно соединиться с Инетом или отключить Offline-режим, но если я не хочу сейчас использовать Инет, а только работать с сайтом локальной сети? Причём мне нравится пускать работу с этим сайтом именно через HandyCache, чтобы иметь возможность контроля, что загружается (это локальный WSUS-сервер обновлений для Windows)?

forever

Цитата:

Знаю, что так должно быть, но вот как/чем это увидеть своими глазами? Создаю файл в 3 байта и смотрю свойства: "на диске" вместо ожидаемого нуля - размер кластера.

Не верь глазам своим! Просто окно "Свойства файла" видимо считает, что размер файла не может быть меньше кластера.

Сейчас провел простой эксперимент: выписал из "Свойств диска" размер в байтах свободной/занятой части диска D. Скопировал на D:\ файл размером несколько байт - соотношение "свободно/занято" не изменилось. Стал понемногу увеличивать размер файла - примерно до 800 байт ничего не менялось. Потом бац - скачек на размер кластера (у меня 4 кбайта).
В итоге пришел к выводу, что файлы до 800 байт легко умещаются в MFT...

---

popkov

Цитата:

Другой вопрос: а можно ли сделать исключение для Offline-режима?

Можно через список "Только из кэша". Создай в нем правило: .* , а в исключения к нему добавь нужные тебе сайты через "|".

"Белый список" в Off-line не действует на правило .* в "Только из кэша". Даже не знаю, баг это или фича...

DenZzz
Про структуру записей MFT подробно и доходчиво здесь (если интересно конечно). См. "Область данных атрибута $DATA"


Цитата:

Можно через список "Только из кэша". Создай в нем правило: .* , а в исключения к нему добавь нужные тебе сайты через "|".

В автономном режиме не происходит никаких обращений в сеть. На то он и автономный режим.


Цитата:

"Белый список" в Off-line не действует на правило .* в "Только из кэша". Даже не знаю, баг это или фича...

Поскольку в автономном режиме кэш единственный источник данных, то разумеется все "только из кэша".

Цитата:

Можно через список "Только из кэша". Создай в нем правило: .* , а в исключения к нему добавь нужные тебе сайты через "|".

Спасибо! Работает! А я уж почти не надеялся!

Цитата:

Даже не знаю, баг это или фича...

Наверное, всё-таки баг: списки должны быть универсальным инструментом управления программой!

popkov

Цитата:

Однако в Offline-режиме всё равно не загружается соответствующий сайт (он находится в Локальной сети, и не требует установления соединения с Интернет).

Отключи автономный режим (я так понимаю ты автономку называешь оффлайн-режимом?) и без соединения с интернет сколько угодно пользуй сервер в локалке.

evilone666

Цитата:

и\или ИП? как это сделано в модуле аутпоста-реклама?

Только если IP прямо указан в загружаемом URL.
Предложение связывать URL c IP через DNS-кэш уже здесь звучало...

forever

Цитата:

В автономном режиме не происходит никаких обращений в сеть. На то он и автономный режим.

И всё-таки тем, кто работает с локальной сетью и Интернетом через VPN, надо иметь возможность делать исключения для Offline-режима для локальных сайтов. Можно, конечно, пускать их вообще не через HandyCache, но из принципа: иметь полный контроль и информацию за деятельностью своего компьютера, это неприемлемо!

Цитата:

Спасибо! Работает! А я уж почти не надеялся!

Эвона. Выходит я ошибался и в автономном режиме можно лезть в сеть? :-о

Добавлено:
popkov

Цитата:

Можно, конечно, пускать их вообще не через HandyCache, но из принципа: иметь полный контроль и информацию за деятельностью своего компьютера, это неприемлемо!

Кому как. Для меня НС в первую очередь кэширующий прокси, для контроля firewall. А пускать локальный трафик через НС смысла не вижу. Кстати, тогда, наверное тебе понадобится и запись в кэш отключить для локального трафика?

forever

Цитата:

В автономном режиме не происходит никаких обращений в сеть. На то он и автономный режим.

Для автономного режима можно создать исключения! Проверь мой способ...

Цитата:

Поскольку в автономном режиме кэш единственный источник данных, то разумеется все "только из кэша".

Не очевидно! См. выше...

mai62
DenZzz

Цитата:

Другой вопрос: а можно ли сделать исключение для Offline-режима?

Цитата:

Можно через список "Только из кэша". Создай в нем правило: .* , а в исключения к нему добавь нужные тебе сайты через "|".
"Белый список" в Off-line не действует на правило .* в "Только из кэша". Даже не знаю, баг это или фича...

Блин, я поспешил: РАБОТАЕТ, НО КРИВО! ЭТО УЖЕ БАГ! Если вручную перевести в Автономный режим, всё работает идеально. А если HandyCache сама переходит в Offline-режим благодаря опции "Проверять Dial-Up доступ", то галочка в списке "Только из кэша" не проставляется, соответственно исключение не работает! А нужно, чтобы оно именно автоматически срабатывало, поскольку у меня обноления загружаются с локального WSUS-сервера черех HandyCache, чтобы можно было видеть, что происходит!

Добавлено:
forever

Цитата:

Кстати, тогда, наверное тебе понадобится и запись в кэш отключить для локального трафика?

Ну это уж моё дело: хочу-отключу, хочу-сохраню, чтобы обновления можно было установить на другом компьютере. Правда, текущая версия HC вообще не кэширует траффик со WSUS-сервера, как верно заметил C0USIN 14:05 02-11-2006 и 17:54 02-11-2006. Но есть небольшая надежда, что в следующих версиях это всё-таки исправят. А пока довольствуюсь полным контролем за деятельностью Windows в сети!

popkov

Цитата:

А пока довольствуюсь полным контролем за деятельностью Windows в сети!

С помощью НС?! Ты погорячился.

DenZzz
Цитата:

По ключевым словам и сейчас можно, например так: +*banner*

Имелись в виду слова в теле страницы а не в URL.

Добавлено:
forever
Если не отключать прокси в IE и еще настроить WinHTTP на HC то система будет должна в сеть только через HandyCache.

popkov

Цитата:

Но из этого всё равно не следует, что он на диске распаковывается!

Я этого не говорил. Я имел в виду, для того чтобы считать любой байт с такого файла требуется прочитаить не более 16 кластеров, в отличии от архивов, где приходиться читать файл с самого начала


Цитата:

В книге "Внутреннее устройство Microsoft Windows 2000 написано, что главный метод упаковки - ликвидация последовательностей нулевых кластеров (т.е. кластеров, целиком заполненных нулями).

серьезно? похоже на бред. мне всегда казалось, что там быстрый алгоритм, типа LZW

Не корректно отображается страница http://www.cn.ru/
Мож кто знает как исправить?

Добавлено:
Есль убрать через прокси все нормально

voros
Что там некорректно? Я не увидел разницы.

Добавлено:

Цитата:

для того чтобы считать любой байт с такого файла требуется прочитаить не более 16 кластеров, в отличии от архивов, где приходиться читать файл с самого начала

Была в свое время такая программа - ZipMagic. Превращала zip-архивы в папки. Так она каждый файл, при чтении, распаковывала в оперативку полностью. Если в архиве попадался крупный файл - то доступ к нему не всегда получался. Памяти не хватало.

V0lt

Цитата:

серьезно? похоже на бред. мне всегда казалось, что там быстрый алгоритм, типа LZW

Это относится к т.н. Sparse-файлам (разреженным файлам). Разреженные файлы - это ещё один механизм сжатия, который предоставляет NTFS (в основном предназначен для быстрого удаления ненужных частей файла, которые просто помечаются как пустые). Просто у Руссиновича на него сделан упор, а про обычное сжатие сказано мало. Видимо, всё-таки используется более сложный алгоритм, посколько ступень сжатия текстовых файлов может достигать более 20%, как написано в книге
Цитата:

Хелен Кастер. Основы Windows NT и NTFS/Пер. с англ. - М:"Русская редакция", 1996

Вот [more=ещё выдержка из этой книги]Хелен Кастер. Основы Windows NT и NTFS/Пер. с англ. - М:"Русская редакция", 1996

Если отрезок содержит упакованные данные, то NTFS распаковывает их во временный буфер и затем копирует в буфер вызывающей программы. Кроме того, NTFS помещает распакованные данные в кэш, поэтому последующее чтение из этого отрезка выполняется так же быстро, как обычное чтение кэша. Все обновления файла NTFS записывает в кэш, позволяя средству отложенной записи сжимать изменённые данные и записывать на диск асинхронно. Таким образом гарантируется, что запись в упакованный файл вызывает не большую задержку, чем запись в неупакованный.
NTFS размещает упакованный файл на диске в смежных областях, насколько это возможно. <...> Если два или более отрезка расположены последовательно, NTFS выполняет опережающее считывание с диска, как и с данными в обычных файлах.
<...>
NTFS спроектирована таким образом, что код, упаковывающий файлы, - механизм сжатия (compression engine) - представляет собой заменяемый модуль. Это позволит NTFS со временем применить новые технологии упаковки данных, а также сжимать файлы разных типов разными алгоритмами.
<...>
Что касается скорости, разработка средств сжатияданных в NTFS ещё не закончена. Использование неоптимизированной C-версии механизма сжатия практически не замедляет файловый ввод-вывод в NTFS.
NTSF выполняет упаковку только пользовательских данных, но не данных FS. В последующих версиях ситуация может измениться.[/more].

C0USIN
evilone666

Цитата:

Имелись в виду слова в теле страницы а не в URL.

Уже как-то обсуждали... Напомните, в каких случаях это может пригодиться?

Явные ограничения этого метода:
1. Для анализа контента страницы, ее надо будет сначала скачать, т.е. экономии трафика и ускорения загрузки не получится. Тогда зачем это HC ?
2. Видимо, ключевые слова нужно искать только в TEXT/HTML и т.п. ...? В картинки, бинарники и т.п. лезть не стоит, а для этого нужно определять тип контента через анализ заголовков, которого пока нет...
3. Как быть с разными кодировками и написанием букв в виде кодов? Конвертировать "на лету"? Очевидные "тормоза" и нагрузка на систему не смущают?

---

voros

Цитата:

Не корректно отображается страница http://www.cn.ru/

У меня все О.К.! Какие правила HC срабатывают? Добавь исключения или в Белый список.

DenZzz
Ты еще одно ограничение забыл:
4. gzip надо будет распаковывать перед анализом.

C0USIN

Цитата:

Если не отключать прокси в IE и еще настроить WinHTTP на HC то система будет должна в сеть только через HandyCache.

Не смешно. "Деятельность Windows в сети" - это не только http(s) и не только WinUpdate. Само желание иметь "полный контроль за Windows в сети" с помощью НС неосуществимо в принципе.

popkov

Цитата:

Это относится к т.н. Sparse-файлам (разреженным файлам). Разреженные файлы - это ещё один механизм сжатия, который предоставляет NTFS (в основном предназначен для быстрого удаления ненужных частей файла, которые просто помечаются как пустые).

Это не "еще один механизм" - это одно и то же. Картинка. Упс, сорри, 403-я. Тогда смотри 3-ю ссылку вчерась тебе даденную.

Еще вопрос касательно черного списка.
Можно как-то приспособить список в формате аутпоста (реклама-модуль) к НС?
Может как-то автоматически в виде скрипта какого-то?
Вот ссылка на список и его формат: www.evilone3.narod.ru\blist.rar
Как его нужно изменить чтобы можно было вставить в список для НС?

Было бы очень удобно.
И еще в будущем возможно ли сделать поддержку автоматической проверки кеша (получаемого в процесе просмотра страничек через НС) на вирусы скажем в виде плагина к Др.Веб\АВП\НОД? это было бы большим плюсом программы, поскольку сами мониторы этих програм сканируют как правило всю информацию, не только из интернета чем существенно снижают производительность
Спасибо.