» Сжатие трафика

Serg_Ivanov
На форуме используется сжатие gzip'ом, похоже вся экономия заключается в кэшировании css, js и картинок...

arsvrn
Да я обратил уже внимание, что % сжатия исходящего трафика выше и соответственно входящего очень низок и если не трудно пояснить

Цитата:

ру-боард отдает уже сжатые гзипом страницы.

Добавлено:
S0ldier

Цитата:

На форуме используется сжатие gzip'ом,

Спасибо. Всё стало ясно. Как я смогу узнать, где ещё используется gzip на сайтах и форумах. Данные программ по сжатию или на страницах форумов. Хотя на странице ruboarda не указано.

Serg_Ivanov

Цитата:

Спасибо. Всё стало ясно. Как я смогу узнать, где ещё  используется gzip на сайтах и форумах. Данные программ по сжатию или на страницах форумов. Хотя на странице ruboarda не указано.

Можно в логе Proxomitron'а посмотреть.

S0ldier

Цитата:

На форуме используется сжатие gzip'ом, похоже вся экономия заключается в кэшировании css, js и картинок...

не нужно недооценивать размер и количество HTTP-заголовков, которые gzip не жмет...

я вот проверил главную страницу форума toonel (http://ru.toonel.net/index.php) - она без рекламы и гзипная. если первый раз заходишь (т.е. кеш чистый), 17% сжатие (картинки в оригинале). Т.к. картинки уже пожаты и содержимое тоже, получается что эти 17% как раз за счет заголовков. там нет js, css есть, размер 354 байт..

а вот если в кеше кто-то есть, тогда все намного сложнее - все зависит от броузера... вон в опере вообще можно выставить "не проверять новую версию, всегда брать из кеша"... я попробовал - сжатие сразу до 5% свалилось.

правда тут есть куча ньансов. вот один - напр. на PHP форумах часто показывается ICQ-статус пользователя, онлайн или офлайн, понятно что в таком случае кеш не должен работать - кого интересует вчерашний статус? вот тогда веселуха - чтобы получить статус тратится на заголовках 1766 байт, а сама картинка размером 199 байт из кеша берется..

а вот если в IE жамкнуть по "Обновить страницу", он столько заголовков шлет сразу, просто жуть, 17К, при том что собственно гзипнутая страничка 6К... т.е. на заголовки потратилось почти в 3(!) раза больше чем собственно на содержимое.

так что все не так просто с гзипом...

вот если вебварпером пользоваться, тогда да, на гзипных сайтах он не поможет, бо заголовки не жмет.
вернее, он может немного помочь, бо пытается JS и CSS тоже пожать, только толку от этого почти нет, все равно JS в кеше лежит обычно, а CSS размером очень маленькие в большинстве своем...

Serg_Ivanov

Цитата:

Как я смогу узнать, где ещё используется gzip на сайтах и форумах. Данные программ по сжатию или на страницах форумов.

Ну, а чтобы не лазить в лог Проксомитрона, можно поставить фильтр отображения наличия gzip'а.

fnfn
Но ведь в большинстве своём на форумах основной трафик кушают как раз картинки.


Цитата:

а вот если в IE жамкнуть по "Обновить страницу", он столько заголовков шлет сразу, просто жуть, 17К, при том что собственно гзипнутая страничка 6К... т.е. на заголовки потратилось почти в 3(!) раза больше чем собственно на содержимое.

И как он (IE) так делает?

S0ldier


Цитата:

Но ведь в большинстве своём на форумах основной трафик кушают как раз картинки.

да не все так однозначно... если ты первый раз заходишь на форум, тогда да, картинки пожрут, аватары те же...
а вот когда второй раз заходишь - там уже включается в работу кеш (у броузера или у кеш-прокси). и что тут начинает происходить - сказать однозначно нельзя, т.к. у броузеров/прокси свои настройки могут быть, я вот пример с оперой привел - "всегда брать из кеша".

в оригинале, в HTTP протоколе, заложено, что каждый ресурс в кеше когда-то "померает". броузер должен смотреть в кеш, если ресурс "протух", спросить у веб сервера, "а нет ли посвежее че-нить?", веб-сервер или ответит "нету, жри что есть", либо отдаст более свежую версию.

вот, скажем, твоя аватара, при обновлении странички броузер послал запрос

Цитата:

GET /avatars/private/S0ldier.gif HTTP/1.1
Accept: */*
Referer: http://forum.ru-board.com/topic.cgi?forum=5&topic=13033&start=240
Accept-Language: en-us
Accept-Encoding: gzip, deflate
If-Modified-Since: Tue, 01 Nov 2005 19:47:49 GMT
User-Agent: Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; FDM; .NET CLR 1.1.4322; .NET CLR 1.0.3705; .NET CLR 2.0.50727)
Host: i.ru-board.com
Connection: Keep-Alive

это значит что у меня в кеше твоя картинка валяется и броузер запрашивает более новую версию, указывая дату последней модификации твоей аватары.

сервер ответил

Цитата:

HTTP/1.1 304 Not Modified
Server: nginx/0.3.15
Date: Thu, 16 Nov 2006 02:37:32 GMT
Last-Modified: Tue, 01 Nov 2005 19:47:49 GMT
Connection: close
Expires: Sat, 16 Dec 2006 02:37:32 GMT
Cache-Control: max-age=2592000

значит, у него лежит такая же версия, что и у меня в кеше, говорит брать картинку из моего кеша и указывает, что 16 декабря нужно будет проверить, а не появилась ли более новая версия S0ldier.gif.

HTTP-запрос занял 418 байт, HTTP-ответ занял 255 байт. это только на одну картинку, на другие с этой же страницы тоже были посланы HTTP-заголовки. И эти заголовки не жмутся даже если включен gzip на сервере.

теперь, если я закрою IE и открою его заново и опять пойду на эту страничку, то запрос на эту картинку посылаться не будет пока
а) не случится Sat, 16 Dec 2006 02:37:32 GMT
б) я не почищу кеш у броузера
в) я не нажму "Обновить" в броузере на этой страничке.

теперь смотри какая фигня получается - как долго не "протухать" ресурсу указываешь не ты, а веб-мастер сервера, вплоть до того, что на какие-то ресурсы может быть выставлено "всегда протухший". это нормальная ситуация, напр. при запросе собственно этой html-странички сервер говорит "не использовать кеш"


Цитата:

Pragma: no-cache
Cache-control: no-cache, must-revalidate, no-store, post-check=0, pre-check=0

что понятно, страничка могла поменяться, кто-то мог добавить новое сообщение. короткое значение времени "жизни" обычно еще выставляют на js & css, на тот случай, если веб-програмер поменяет код. понятно что счетчики, реклама, новостные сайты, тот же ICQ-Status выставляют минимальное время жизни.

суть сводится к тому, что заголовки есть всегда, и это не зависит от gzip'ная страничка или нет, их может быть много, они могут быть большие (напр. из-за кукисов), они хорошо жмутся программами (ну, обычно программы их жмут, хотя встречаются и такие, которые не жмут, напр. ETraffic, TOptimizer. почему? для меня загадка, они в таком случае ничем не лучше того же вебварпер, а TOptimizer так и вообще исходящий трафик увеличивает).

причем чем чаще ты жамкаешь по "обновить", тем больше http-заголовков получаешь. это касается и оперы тоже, она точно также как и IE шлет кучу http-заголовков, если на "обновить" щелкнуть, хоть и выставлено "всегда брать из кеша".

fnfn
Цитата:

как долго не "протухать" ресурсу указываешь не ты, а веб-мастер сервера, вплоть до того, что на какие-то ресурсы может быть выставлено "всегда протухший". это нормальная ситуация, напр. при запросе собственно этой html-странички сервер говорит "не использовать кеш"

HandyCache исправляет эту проблему. Отменяет Pragma: no-cache.
И время жизни объектов тоже настраивается. Вплоть до полного игнорирования запросов на обновление картинок.

fnfn
Не знаю, как в других кеширующих прокси, но HandyCache можно (и нужно ) настроить так, что НИЧЕГО кроме кода страницы обновляться НИКОГДА не будет.

S0ldier

Цитата:

Можно в логе Proxomitron'а посмотреть.

Переодически просматриваю.
arsvrn

Цитата:

Ну, а чтобы не лазить в лог Проксомитрона, можно поставить фильтр отображения наличия gzip'а.

Сделаю когда пропадёт инет и тогда время для корректировки и претворения.
В связке Opera - HandyCache - Proxomitron - Cproxy(Tonel) помоему три програмы имеют свой кэш Opera,HandyCache,Cproxy, и у HandyCache он полнее и лучше, его удобней просматривать, тогда кэш остальных программ можно отключить и не повлияет ли это на качество работы этой связки по сжатию и экономии трафика.

Serg_Ivanov
Не стоит отключать. В Опере это выльется в то, что перестанет работать режим Только кэшированные рисунки и скорость упадет. В CProxy есть глюк, когда при отключенном кэше он заново скачивает неизменившиеся данные даже когда его об этом не просят.

C0USIN

Цитата:

Не стоит отключать. В Опере это выльется в то, что перестанет работать режим Только кэшированные рисунки и скорость упадет. В CProxy есть глюк, когда при отключенном кэше он заново скачивает неизменившиеся данные даже когда его об этом не просят.

То есть должно работать кэширование во всех программах.

По сжатию: Эффективно ли использование Cproxy(Tonel) при закачивании ReGet, FlashGet, DM и другими программами- rar, zip, exe? файлов и не будет ли оно - отрицательным. Или закачки этих файлов силами Opera.

Serg_Ivanov
Закачки лучше напрямую направлять. Сжатие будет нулевое. Скорость ниже. И рискуешь получить битые файлы.

C0USIN
arsvrn

господа, я же четко написал


Цитата:

...в оригинале, в HTTP протоколе....

Цитата:

...сказать однозначно нельзя, т.к. у броузеров/прокси свои настройки могут быть...

насколько отступать от HTTP стандарта - дело лично каждого, нужно только понимать, что за все приходится платить, так или иначе...


Добавлено:
C0USIN

Цитата:

HandyCache исправляет эту проблему. Отменяет Pragma: no-cache.

и что происходит, когда ты открываешь напр. эту страничку? загружается старая копия из кеша? как ты свежую копию получаешь?

fnfn
Цитата:

и что происходит, когда ты открываешь напр. эту страничку? загружается старая копия из кеша? как ты свежую копию получаешь?

Свежая, разумеется

arsvrn

Цитата:

Не знаю, как в других кеширующих прокси, но HandyCache можно (и нужно ) настроить так, что НИЧЕГО кроме кода страницы обновляться НИКОГДА не будет.

расскажи мне, как тогда показывается тот ICQ-Status, который я в примере привел? вчерашний? а курс валют? а если вебмастер скрипт обновит?


как по мне, так делать нужно как броузеры делают, и как в стандарте прописано. есть в кеше - забрать из кеша. нажал "обновить" - проверить, есть ли более новая версия на сервере, если есть, то загрузить, если нет - опять же забрать из кеша.

вариации - никогда не обновлять картинки, с этим еще можно согласиться, с некоторыми исключениями, конечно, типа картинка, которая показывает курс валют в течении дня, напр.

но это лично мои предпочтения, у кого-то они наверняка другие, кто-то может менее комфортно броузить, зато больше экономить на трафике. вопрос только в соотношении этой экономии к комфорту. у меня планка ближе к последнему.

Добавлено:
C0USIN

Цитата:

Свежая, разумеется

ну раз свежая, я не вижу смысла в
Цитата:

Отменяет Pragma: no-cache.

что так, что эдак - http запрос на получение страницы, http ответ из заголовка + тела... те же яйца, вид сбоку...

fnfn

Цитата:

расскажи мне, как тогда показывается тот ICQ-Status, который я в примере привел? вчерашний? а курс валют? а если вебмастер скрипт обновит?

Насчет ICQ я не понял - еще ни разу не встречал, чтобы аську через кеш-прокси запускали. А курс валют мне абсолютно не интересен. Бывает, что скрипт обновляют - это обычно выражается в косяках на странице. Тогда можно и ручками обновить скрипты.
Мое предпочтение в смысле просмотра страниц - только необходимая информация (в основном текст) + только необходимые для понимания картинки (их я подгружаю ручками).

fnfn
Цитата:

как тогда показывается тот ICQ-Status, который я в примере привел?

Я пропустил наверное. Где пример?
Да и через Web уже давно нельзя статус посмотреть.

Цитата:

а курс валют?

Добавлю в белый список и будут всегда свежие курсы.

Цитата:

если вебмастер скрипт обновит?

Временно отключу список Не обновлять и нажму F5.
Скрипты редко обновляются и можно съэкономить на проверке их обновлений.

fnfn
Ну это понятно, меня вот что интересует: есть ли разница в объеме входящего/искодящего трафика при использовании различных браузеров? По идее различаться не должно, ведь стандарт один...

S0ldier

незначительная может быть, хотя бы потому что оперу можно настроить "плевать на стандарты".
ну и http-заголовки у оперы чуть-чуть меньше, чем у IE.. но это уже такая мелочь ...

fnfn

Цитата:

незначительная может быть, хотя бы потому что оперу можно настроить "плевать на стандарты".

К примеру?

S0ldier


Цитата:

К примеру?

я уже три раза писал.

из других - установление количества коннектов к серверу регламентируется стандартом, а не пользовательскими настройками, как в опере.

fnfn

Цитата:

установление количества коннектов к серверу регламентируется стандартом

ты забыл указать ссылку на стандарт, запрещающий программе самой решать сколько соединений с сервером ей устанавливать.
Даже в IE это настраивается, но через реестр.

fnfn

Цитата:

я уже три раза писал.

Это ты про использование кэша?

C0USIN

Цитата:

ты забыл указать ссылку на стандарт, запрещающий программе самой решать сколько соединений с сервером ей устанавливать.
Даже в IE это настраивается, но через реестр.

а что, гугл больше не работает, что ли????

RFC 2068 :

Цитата:

Clients that use persistent connections SHOULD limit the number of
simultaneous connections that they maintain to a given server. A
single-user client SHOULD maintain AT MOST 2 connections with any
server or proxy. [...] These guidelines are intended to improve HTTP response times
and avoid congestion of the Internet or other networks.

опера дает любому пользователю установить вплоть до 128(!) соединений к серверу. как ты думаешь, сколько пользователей оперы вообще понимают, что такое "соединение" в HTTP ?

MS делает более грамотно - если ты продвинутый пользователь, можешь увеличить число соединений, через регистр, но при этом честно предупреждает, что это нарушение стандартов.
http://support.microsoft.com/default.aspx?scid=kb%3bEN-US%3bq183110

fnfn Спасибо, просвятил.

Цитата:

Клиентам, использующим постоянные соединения, СЛЕДУЕТ ограничить число одновременных соединений, которые они устанавливают с данным сервером. Однопользовательскому клиенту СЛЕДУЕТ устанавливать максимум 2 соединения с любым сервером или прокси-сервером. [...] Эти руководящие принципы предназначены для уменьшения времени HTTP ответа и избежания чрезмерной загрузки Интернета или других сетей.

Только мне одно непонятно. Что в IE считается клиентом. Каждое открытое окно? Или количество соединений ограничивается для всех запущенных экземпляров вместе?

И какое отношение все выше сказанное имеет к теме "Сжатие трафика"?

Здравствуйте!

Кто-нибудь может подсказать прокси-сервер, который позволяет сжимать веб-странички, резать или уменьшать картинки, и т.п.?
Суть в том, что я хочу организовать прокси, постоянно висящий в инете на безлимитке, и подключаться с сотового через него, чтобы экономить трафик. так же могу желающим раздать ео адрес и логины. Осталось дело за малым - найти достойную программу прокси-сервер...

Кто поможет? Я искать буду долго, а тут может у кого-нибудь есть необходимая горячая инфа, или может что-то как раз на уме имеется?

Заранее огромное спасибо

Keiichi
Насчет выбора из достойных - это ты хорошо сказал
Только его (выбора) то нет. Мне известна одна только. Здесь же, этом топике.

Keiichi
Если бесплатный - то навряд ли...