» WinRAR (часть 2)

ItsJustMe

Цитата:

Просто еще раз, в ProgramData\WinRAR, папку данных компьютера, а не пользователя, было бы красивее. ИМХО.

Один ключ на всех пользователей компьютера? Логика в этом есть. Но дело в том, что решение в пользу %appdata%\winrar принималось, когда еще была в наличии опция authenticity verification. И с учетом этого возможность иметь различные ключи для различных пользователей одного компьютера была полезной. Сейчас AV нет, но теперь менять местоположение ключа сложнее. Надо и документацию переделывать, и пользователей переучивать. Не факт, что оно того стоит.

Кроме того, в %appdata%\winrar хранятся темы, settings.reg, rar.log, которые может быть удобнее для каждого пользователя иметь свои. И выносить только rarreg.key в другой каталог это усложнять структуру WinRAR'овских каталогов ради одного файла. А лишний каталог это лишняя возможность забыть о нем при переносе всех настроек на другой компьютер.

Цитата:

Да, код Lzma менялся.

Судя по lzma-history.txt, только упаковщик, не распаковщик.

EugeneRoshal

Да, формат контейнера после 9.30 Alpha не менялся. Вот коли бы он сменился тогда мне бы пришлось повозится с обновлением p7zip на UNIX машинах. А так на нескольких машинах в лаборатории он у меня до сих пор версии 9.20.1_2 стоит - никак руки не дойдут обновить его там до текущей версии 9.38.1, да и мне это не особо надо т.к в QNX под которой стоят испытательные установки его версия ещё древнее - 9.13. Работает, приборы своё дело делают? Ну и ладно, после метрологи при поверке софт оптом обновят.

Имеется папка размером около 200 Гб (да, именно Гб, а не Мб), в которой лежат дофига мелких файлов JPEG - несколько миллионов. Хочу эту папку немного сжать, чтобы размер был поменьше и решил ее заархивировать винраром. Процесс идет около 5 минут а потом выходит ошибка мол недостаточно памяти, хотя, я задал местоположение архива на другой терабайтный диск. А потом выяснил, что ошибка возникает из-за оперативки, мол, ее не хватает. И вправду, оперативка сжирается постепенно и потом заканчивается. Не знаю, может с файлом подкачки что-то сделать или программой какой-нибудь воспользоваться. ОС вин 10 х64, озу 4 Гб. Словарь выставил на самое минимум а сжатие поставил на максиму - не помогает.
Заранее спасибо.

ItsJustMe
Игорь Павлов по email мне посоветовал все-таки обновить 7zxa.dll, так как некоторые изменения за последний год коснулись и распаковки. Так что я сейчас выложил новую сборку с новой dll.

Kies
WinRAR сканирует каталоги перед упаковкой и хранит информацию о всех файлах, подлежащих упаковке, в памяти. Это и Unicode имя, и прочая информация. При длинных путях может быть несколько сотен байтов на файл. При миллионах файлов это может быть существенно.

EugeneRoshal
То есть эти файлы никак не упаковать?

Kies
попробуйте переместить папку с этими файлами в корень диска.

Kies
Частями в разные архивы. Или действительно попробовать переместить папку в корень. Или памяти добавить.

EugeneRoshal
Интересно, а есть ли смысл сживать эти файлы? Будет ли архив меньше чем эта папка с картинками и намного ли?

Kies

Можно иначе поступить - использовать встроенные средства сжатия файловой системы NTFS. Поставьте в любом файл-менеджере для этого каталога (не сжимая корневой раздел диска! - сожмёте и скорость записи устремиться к нулю, а чтения в бесконечность! сжимаются все каталоги от уровня ./) и его файлов атрибут COMPRESSED. Штука весьма эффективная - среднее сжатие для файлов каталога ОС WinXP составляет 1:1,41 и главное что диск работает на полной скорости. Кого физически не сжать NTFS сама пропустит, а кто жмётся - сожмёт. И новые файлы записанные в такой каталог автоматически сжимаются.

Victor_VG
А насколько сжимается папка при применении такого способа?

Kies

От файлов зависит. ОС использует алгоритм LZNT1 (версия LZ77) "для сжатия данных без потерь и кластеры по 4096 байт для хранения данных. Система сжимает выходные данные блоками по 16 кластеров с шагом 64 кбайт. Если система не может сжать выходные данные из 16 кластеров в меньший размер, NTFS оставляет их неизменными. Если алгоритм LZNT1 может сжать блок данных 64 кбайт в 60 кбайт или меньше, освобождая при этом хотя бы один кластер, этот освобождённый кластер рассматривается как "разреженный" файл. NTFS игнорирует те части файла, которые не содержат информации или имеют объём 0 байт. Следовательно сжатый файл может состоять из сжатых и несжатых кластеров, а также из "разреженных" кластеров." (подобен используемому в ZIP). Сжатие/декомпрессия происходит в дисковом кэше ОС, потому скорость операций выше чем если бы они происходили на диске, а на/с него пишутся/читаются уже сжатые данные что и ускоряет операции обмена за счёт снижения объёма передаваемых данных. Я этим приёмом пользуюсь ещё с момента его появления в WinNT 3.51 (Daitona) и потери данных по его вине у меня никогда не происходило.

Kies

Цитата:

Интересно, а есть ли смысл сживать эти файлы? Будет ли архив меньше чем эта папка с картинками и намного ли?

Зависит от среднего размера файла. jpg жмутся плохо, но маленькие лучше больших за счет сжатия заголовка. Как правило, архивировать jpg имеет смысл для более удобной передачи множества файлов, но не ради сжатия. Для более определенной оценки попробуйте упаковать несколько сотен файлов и сами увидите результат.

Ну что вы стесняетесь! Признайте, что сабж не умеет сжимать джипеги.

Inoz2000

Цитата:

Ну что вы стесняетесь! Признайте, что сабж не умеет сжимать джипеги.

А что там есть что дожимать после того, как алгоритм JPEG выкидывает до 90% - 98% исходной информации? JPEG это же не PNG в котором используется алгоритм кодирования без потерь (lossles), у него исходно заложены значительные потери входной информации, а та и сама по сравнению с аналоговой имеет потери от 50% из-за оцифровки (теорема Котельникова) даже при скважности синхросигнала выборки Q=2.

Inoz2000

Цитата:

Ну что вы стесняетесь! Признайте, что сабж не умеет сжимать джипеги.

Я где-то утверждал обратное? "... jpg жмутся плохо".

Victor_VG
Есть алгоритмы, позволяющие пожать jpg процентов на 15 - 20. Они частично распаковывают хранящиеся в jpg данные и жмут их чем-нибудь более эффективным. Но то что я видел - было крайне медленно, особенно при распаковке. В десятки раз медленнее, чем для jpg в обычном rar или zip. Я считаю, эти 15-20% сжатия не стоят таких потерь времени.

EugeneRoshal

Согласен, да и толку от этого с учётом потерь самого алгоритма? Как пример его недостатков можно привести масштабирование - более чем 2:1 - 3:1 лучше не ставить т.к. увидим визуальные артефакты связанные с особенностями его развёртки. Я бы и с сотового, несмотря на не плохую камеру (Expres Flash, камера 8 Mpx - 3264х2448) предпочёл бы видеть кадры большего размера, а главное не сжатые JPEG, например в TIFF. Их обрабатывать лучше. Вот пример (снимал летом, кучка чуток повыше полутора метров будет, а от неё шли четыре дорожки сантиметров по сорок поток крупных чёрных мурашей. Я их метров на сто от их кучи проследил):



в TIFF с ним что угодно можно сделать, а в JPEG руки связаны.

Только что обновил winrar 5.30x64 на тихо обновленную бету 5 с офф-сайта (www.rarlab.com). NIS2015 (22.5.4.24) последний грохает все архивы в формате *.exe только пыль столбом (Win10x64). Я понимаю, что срабатывание судя по всему ложное, но это очень большой геморрой... Чуть половину архивов не потерял своих
Вопрос - когда этот очень мягко говоря ДОСАДНЫЙ НЕДОСТАТОК ПОПРАВЯТ?!?

bsvlabs

В Симантек. Их пинайте но сумлеваюсь что сильно поможет ибо им на подобные жалобы наплевать - отвечают отписками типа поправим, ждите, сейчас мол нет на это времени. Они мне исходники ядра и порты FreeBSD UNIX несколько лет грохали мотивируя это тем, что это мол у меня лежит переименованный Win95.cih в разных обличьях и габаритов. В итоге я сию мухобойку (на работе стоял Symantec Antivirus Corporate Edition) вынес к лешему - это надо иметь один микроционер (1 ционер - мера интеллекта равная уму одной дубовой табуретки которая будучи сброшенной с 60-го этажа Физфака МГУ о бетон не разбивается) мозгов дабы ELF не опознавать (тем более что иные пакеджи раз в триста более сей заразы, да и формат бинарника у UNIX как-то говорят совсем иной чем у винды), а в исходниках ядра где кроме текста и нет ничего исполняемый код увидеть!

bsvlabs

Цитата:

ДОСАДНЫЙ НЕДОСТАТОК ПОПРАВЯТ?!?

Кричите громче, а то так, боюсь, до Mountain View вам не докричаться, все таки 20 000 километров.
А вообще, все антивирусы имеют папку Карантин, куда перемещают все "вылеченные" ими файлы. Ну, при нормальной настройке.

Добавлено:
Victor_VG

Цитата:

которая будучи сброшенной с 60-го этажа Физфака МГУ

А давно там так высоту здания увеличили? Хотя, это же физфак, не удивительно, что этажи с 6 по 60 не видны. Видимо, провели какой-то физический эксперимент.

bsvlabs ошиблись веткой. Ложное срабытывание ведь не EugeneRoshal добавил. Так что свои жалобы пишите в ветке своего антивируса. А ещё лучше отправляйте в их саппорт, может тогда эффект будет, а так попусту тратите время.

ItsJustMe

А общага рядом на что? Я там в начале 90-х на кафедре м.н.с. работал (кстати тогда и Касперский рядом на ВМК преподавал и мы с ним по работе общались) У нас в МИРЭиА свои приколы были, не менее весёлые, типа крокодила Гены питавшегося нехорошими преподавателями. А куда деваться вечернику? Кто с работы, а кто из части на лекции, а в 22:30 или домой или в казармы. Ну ладно, пирожки с котятами бабки к метро исправно таскали.

Ну во первых в предыдущих версиях не ругался. А во вторых веткой я не ошибся. На мой взгляд чем до америкосов достукиваться (не факт, что не специально сделали подлянку!), проще попросить нашего родного разработчика поправить код...
P.S. Пример из жизни. У CyberLink PowerDirector-а в определенной версии были конфликты с дровами NVidia, о чем кричал весь офф-форум, причем англоязычный. NVidia запустила дурочку - типа куры передохли, присылайте новый телескоп. Ну CyberLink тоже с характером, но через пару месяцев в очередном патче глюк признала и устранила. А тут наши родные программисты, да оставят меня страдать! Или я чего такой один во вселенной? Предыдущие страницы читал. Там не только с Symantec траблы. Там куча антивирей периодически выступают с протестами. Ну если код такой "своеобразный" в модуле sfx, так причем тут америкосы Кого просить надо по логике вещей ?!? Нет господа - это послание и просьба для ЭТОЙ ВЕТКИ и персонально для EugeneRoshal ... пожалуйста говорить не забываем естественно!

bsvlabs в коде нет ничего такого (в теме уже обсуждалось). И соотсвественно править его каждый раз когда кто-то из антивирусов по ошибке его начнёт его детектить не будут. Это не малвара, чтобы разработчик сбивал детекты. 20:19 18-10-2015
Цитата:

Там не только с Symantec траблы.

значит невнимательно читали. Остальные уже признали свою ошибку, принесли извинения (пользователям пославшим им файл с пометкой фолс) и убрали ложное срабатывание.

Посмотрите пожалуйста, кто в курсе:

"C:\Program Files\WinRAR\Rar.exe" a -agYYYY-MM-DD-HHMMSS -ep -ma -m5 -rr -k -y -ilogD:\BACK\log.log D:\BACK\se.rar C:\SES\se.txt

Нужно архивировать 1 файл, время создания, без путей, RAR 5, сжатие максимум, инфа для восстановления, заблокировать, "да" на всё, в случае ошибки лог в ту-же папку где архивы.

Всё правильно?

Ещё вопрос. Буду запускать с планировщика, посоветуйте как будет правильней - с ярлыка RARа или с .cmd ?

regist123
Я сейчас откатился на предыдущую стабильную версию, коей кстати являюсь легальным пользователем. Там срабатывания НЕТ! Буду ждать развития ситуации, однако максимально корректно и тактично все же хотел бы предостеречь Вас от высказываний за ВСЕ антивирусы и ВСЕХ разработчиков. Хотел бы также подчеркнуть что все это не просто игра школьников в придуманный ими мод для контры. Это много-миллионный бизнес, у обоих обозначенных мной компаний миллионы пользователей и народ особенно не будет разбираться в кодах, когда понесет назад купленные им коробочные версии, так как многие заявленные возможности продукта оказывается недоступны или, конечно условно говоря, но тем не менее - "заражены", потому что кто-то не считает нужным что-то поправить и т.д.
P.S. Очень бы хотелось прочитать ОФИЦИАЛЬНУЮ позицию, так как автор/координатор (руководитель) группы разработки сюда весьма часто заходит. ЗАРАНЕЕ СПАСИБО ЗА ОТВЕТ!

bsvlabs

Когда госконтора где стоял Symantec купленный по контракту на 25 серверов и 4200 рабочих мест обратилась в Symantec с официальным письмом за подписью генерального директора которое трижды проигнорировали, но после его поддержали аналогичными письмами министерство и руководство КБ Сухого контракт с которым срывала указанная "IT контора", то нам дали ответ "Для проверки сообщения о наличии ложного срабатывания AV защиты наши специалисты должны провести аудит IT безопасности вашей организации. До его завершения рассмотрение вашей заявки отложено." и как положено, число, подпись, печать. Догадываетесь что нам в соответствующих структурах посоветовали?

И при чём тут ваши слова что Евгений должен что-то править учитывая что не официально в их российском представительстве нам прямо сказали - "Специалист Микрософт говорит что это вирус и нам этого достаточно. Мы добавили его в базы и проверять его оценку не собираемся!" я к примеру не понял. Вы видимо адресок спутали - вам в корпорацию Symantec, а за беспричинное дёрганье разработчика можно и неприятности словить. Причём вполне реальные.

bsvlabs

Цитата:

проще попросить нашего родного разработчика поправить код.

Я не знаю, что именно нужно исправить в коде, чтобы антивирус перестал ругаться. Ложное срабатывание антивируса - вещь, плохо поддающаяся анализу и предсказанию.

Если после выхода релиза WinRAR множество пользователей пожалуется на ложное срабатывание разработчикам антивируса, они его скорее всего исправят. Обычно так и происходит. Отдельные жалобы могут и проигнорировать.

luxor

Цитата:

Посмотрите пожалуйста, кто в курсе:

На первый взгляд, все правильно.

Victor_VG
EugeneRoshal
Спасибо огромное за ответы! Прошу прощения, если что-то написал некорректно. Буду ждать дальнейшего развития ситуации...

bsvlabs

Тут у вас только один разумный выбор - сменить AV пакет. Касперский (KAV/KIS) или Symantec обычно удаляют файлы молча - в них это делает драйвер, а оболочка после сообщает, файлы летят в /dev/nul. Можно настроить Comodo CAV/CIS, но у последнего (и у CFW - это ошибка сбоя настроек данного брандмауера) может слетать сеть с таким эффектом (полностью сбиваются параметры запуска ОС):



проявляющимся не зависимо от сетевой активности ОС через некоторое время (обычно несколько часов) после её запуска. Он устраняется только переустановкой ОС с нуля.

Приглядитесь к McAfee 8.8i AntiVirus Corporate Edition - настраивать его долго, и надо сначала изучить документацию, зато работает и без подобных ошибок. Или ClamWin + Clam Sentinel (файловый AV сканер реального времени для ClamAV/ClamWin) эти как и Comodo CAV бесплатные, McAfee надо покупать.

EugeneRoshal, сколько беток ещё выйдет? Когда ждать финалку7