Ru-Board.club
← Вернуться в раздел «Программы»

» Архиваторы. Сравнение сжатия

Автор: Hunter23071985
Дата сообщения: 16.04.2016 18:34
Неужели нет быстрых и плотных архиваторов под Windows без проблем с кириллицей и с графическим интерфейсом? Про умные, которые могли бы определять тип данных и сжимать их разными алгоритмами, я уже не говорю. Жесть какая-то...
Автор: Watson_Rus_2
Дата сообщения: 16.04.2016 18:59
Чем мудренее архиватор, тем больше вероятность неоткрывания/глюков в разных ОС. А гигантские размеры архива вызовут проблемы с его открытием на системах с недостаточным количеством памяти и/или, возможно, на разном железе.

Потому ИМХО не стоит заморачиваться. Толщина канала давно уже позволяет скачивать гигантские несжатые базы. Разница в 17 Гб уже не спасет, если скачивать все равно 71 Гб.
Автор: metatrop
Дата сообщения: 16.04.2016 19:09
Hunter23071985

Цитата:

мультипроцессорный WinARC - работает намного быстрее 7-zip, но заброшен с 2015 года


Это не WinARC, а FreeARC. Да - лучший архиватор по сжатию, о чём прекрасно все знают. Сайт однако, какой-то "левый", и скачивается оттуда старая версия 2012 года (во всяком случае, консольная версия, сжатая UPX'ом). Смех, да и только.
Автор: Hunter23071985
Дата сообщения: 16.04.2016 19:48
Watson_Rus_2
Рад, что у кого-то хватает толщины канала и места на HDD. Но ко многим моим друзьям это пока не относится. Так что приходится заморачиваться.
metatrop
Мы точно об одном и том же говорим? Ссылка.
Автор: metatrop
Дата сообщения: 16.04.2016 20:02

Цитата:

Мы точно об одном и том же говорим?


Точно или не точно, но в этом архиве тоже консольная версия FreeArc.exe 2012 года, сжатая UPX'ом.
Автор: Hunter23071985
Дата сообщения: 16.04.2016 20:46
OK. Shuld, Azrailll, crotoff, может Вы посоветуете, чем сжать базы К+ и на что сравнимое по удобству использования заменить 7-zip?
Автор: Watson Rus 2
Дата сообщения: 16.04.2016 21:20
Hunter23071985
19:48 16-04-2016
Цитата:
ко многим моим друзьям это пока не относится. Так что приходится заморачиваться.

Качать 71 Гб могут, а 83 уже нет? И на винте 71 уместится, а 83 уже нет?
Автор: Hunter23071985
Дата сообщения: 16.04.2016 21:42
Watson Rus 2
В принципе, экономия 17,3 Гбайта - уже хорошо.
Наверняка есть архиваторы, которые позволят сжать базу быстрее и/или лучше.
Автор: crotoff
Дата сообщения: 17.04.2016 10:51
Hunter23071985
если интересуют асимметричные методы (где критична скорость распаковки) - попробуй LZturbo https://sites.google.com/site/powturbo/ может даже в связке с FreeArc, хотя у Булата с автором лзтурбо были тёрки насчёт того кто у кого стырил алгоритм. Если важен коэффициент сжатия - можно попробовать быстрые арифметические типа nanozip или даже lpaq. Сами базы я так предполагаю текстовые, или с тегами html-xml, возможно препроцессоры облегчат задачу (xwrt), если только база уже не пожата каким-нибудь фирменным архиватором Консультанта. Как их увязать с конструктором Portable не представляю, думаю всё же удобнее будет сжимать базы с целью уменьшить их размер на файлохранилище, а работать уже с распакованными, как выше предлагали.

Добавлено:
В общем, скачал для интереса обновления в формате ANS, так и есть - они изначально уже пожаты внутренним алгоритмом консультанта, то есть в лучшем случае сожмутся процентов на 10-15, которые не стоят этих заморочек. По хорошему нужно добыть фирменный консультантовский упаковщик, и перепаковывать содержимое баз более эффективным методом, а для использования перепаковывать в обратном порядке, но это также много возни, да и алгоритмом консультанты вряд ли поделятся
Автор: Hunter23071985
Дата сообщения: 17.04.2016 14:04
crotoff
Я готов попробовать LZturbo, nanozip, lpaq, xwrt и что угодно ещё. Может есть сборка FreeArc с настроенными компрессорами и пресетами?
Был бы благодарен за ссылку и информацию, какие именно пресеты выбирать. Спасибо!
Информацию о составе папки FedBase добавил в пост выше.
Автор: crotoff
Дата сообщения: 17.04.2016 15:37
Hunter23071985
У меня на ноуте памяти маловато, чтобы тестировать пакеры на всю катушку, поэтому и пресеты настроены соответствующе, в основном для упаковки офисных файлов с работы. Для К+баз думаю подойдёт nanozip009, LZturbo, ZPAQ64. Они многопоточные и многометодные, притом жрут много памяти под каждый поток в зависимости от метода, так что тут придётся некий компоомисс искать.

Добавлено:
http://rghost.ru/67NjvhjFP вот выложил свой текущий ini и groups, для К+ лучше новый groups составить, смотря что за содержимое - текст или бинарный
Автор: Hunter23071985
Дата сообщения: 17.04.2016 17:26
crotoff
Т.е. мне надо:
1. Распаковать FreeArc, в него с заменой скопировать Обновления и опять же с заменой настройки в папку \bin
2. Запустить \bin\FreeArc.exe, выбрать папку FedBase, нажать Упаковать, а дальше что выбирать?
Могут ли быть русские буквы и пробелы в пути к папке?
Какие настройки сжатия задать? Видел в arc.ini lzturbo, zpaq64 и nz9_64, но как применить не понял.
Что написать в groups?
И можно ли взять другой архиватор, кроме FreeArc с теми же настройками? От вида FreeArc у меня небольшой шок.
Автор: crotoff
Дата сообщения: 17.04.2016 22:09
Hunter23071985
В принципе всё верно, но в папку Bin ещё нужно закинуть сторонние архиваторы, прописанные в пресетах. В файле groups сгруппированы популярные расширения файлов по типам, в arc.ini в пресетах прописаны цепочки методов, которые применяются для сжатия этих групп. FreeArc сортирует вход по расширениям, сверяет с arc.groups и жмёт каждую группу методами, прописанными в пресетах. Если не находит соответствия - жмёт методами, прописанными без указания группы (сразу после "="). У меня прописаны 3 пресета - "super", "middle", "fast", для К-баз можно свой накорябать, перечислив все имеющиеся в FedBase расширения в arc.groups, тут главное наверно определить среди них текстовые, исполняемые, сжатые deflate и прочие бинарные. Если большинство файлов однотипные, то можно не заморачиваться с FreeArcом, а пробовать другие архиваторы (lzturbo, zpaq64 и nanozip), опции, ключи для них прописаны в самих exeшниках

тут можно скачать ZPAQ http://mattmahoney.net/dc/zpaq.html
nanozip http://nanozip.net/
lzturbo https://sites.google.com/site/powturbo/

Вот мой powerpack для экспериментов http://rghost.ru/8rG85BffM вдруг понадобится, но там старья много
Автор: Hunter23071985
Дата сообщения: 18.04.2016 01:11
crotoff
Спасибо! Не уверен, что справлюсь... Пока сделал сэмпл, внутри образцы и информация по каждому типу файлов.
Буду благодарен, если у кого-то найдётся время посмотреть и высказать идеи по сжатию.
Продолжу завтра после работы, т.е. где-то после 20 часов по МСК. Всем спасибо! До завтра!
Автор: crotoff
Дата сообщения: 18.04.2016 17:20
Hunter23071985
скомпоновал расширения по группам, обновил arc.ini
http://rghost.net/7qf5nNGb9
на тестовой выборке lzturbo зафейлил, выдал при распаковке ошибку crc.

В папке Cons_Shell_Evolution_2015v2 много дубликатов, лучше их поудалять - они картину портят. Или начинать все методы с rep или srep, чтобы избавиться от избыточности
Автор: Hunter23071985
Дата сообщения: 18.04.2016 23:53
crotoff
Насколько я понял:
а) LZTurbo исключаем из-за проблем с распаковкой?
б) Дубликаты при использовании только одной из папок Оболочки отпадают? На сколько помню, в Оболочке были папки AdditionalComponents (не использую), ConsultantPlusEvolutionFL (для флешек) и ConsultantPlusEvolutionPC (для PC). По ситуации я использую или ConsultantPlusEvolutionFL, или ConsultantPlusEvolutionPC.
Вопросы:
1) В какую группу занести файлы *.KUB? К группе $default - это "не определённая" категория или что?
2) Почему лишь *.PAK одновременно отнесён к $default и $precomp? $precomp - это любые "упакованные" файлы?
3) Где почитать, какие есть группы и чем смотреть инфомацию по файлам для разнесения по группам?
TotalCommander определил группы chm (CHM), compound (DOT), elf (файл conslin без расширения), pe (DLL,EXE,RES,SYS) и zip (DOTM,INI,KUB,ZIP). Остальные (ADM,BAT,BIS,CFG,COD,CPR,DAT,DIN,DT*,EXE,FON,INF,KEY,NX*,PAK,RX*,ST*,TOR,TT*,TXT,USR) ему не известны.
4) Что значит "начинать все методы с rep или srep, чтобы избавиться от избыточности"? Надо корректировать arc.ini?
5) На какие кнопки жать в FreeArc, чтобы запустить сжатие с нужными параметрами (если можно "на пальцах")?
Простите за нубство. Спасибо!

Upd:
-- В версии FreeArc 0.51 от 28.04.2009 было заявлено авто-определение типов файлов. Сейчас оно есть?
-- В региональной сборке нашёл ещё 4 новых расширения файлов, сэмпл обновил.
Автор: HelioSS
Дата сообщения: 19.04.2016 00:21
Извиняюсь за оффтоп: существует ли на форуме отдельная тема по WinRK (особенно интересует наличие темы о нём в варезнике)?
Автор: Benchmark
Дата сообщения: 19.04.2016 04:01
HelioSS

Цитата:
Извиняюсь за оффтоп: существует ли на форуме отдельная тема по WinRK

В программах вряд ли, слишком экзотическая штука.


Цитата:
особенно интересует наличие темы о нём в варезнике

http://forum.ru-board.com/topic.cgi?forum=35&topic=18797&start=120#lt
Автор: crotoff
Дата сообщения: 19.04.2016 10:15
Hunter23071985
LZturbo можно попробовать как самостоятельный архиватор, с FA почему-то плохо уживается.
Дубликатов в релизе по-хорошему быть не должно, пользователь выбирает свою версию, локализацию, и качает. Если никак не обойтись без дубликатов в 1 архиве - тогда нужно использовать метод rep или srep (ищут повторения на больших расстояниях и сжимают их), кстати для portable-сборки можно вообще обойтись только ими, поскольку распаковывается мгновенно. Собственно реп это быстрый LZ77- архиватор. Но если важно место на диске - тогда после придётся сжать чем-то тяжёлым. Например zpaq. В arc.ini это может выглядеть как "metod1= rep:512mb+zpaq:69", тогда при упаковке FA пишем в строку выбора метода method1, если в консоли, то -m=method1 и всё, цепочка запустится.
Файлы KUB это deflate (можно проверить в Тотал Коммандере по CTRL-PgDn), ONLINE, INI - тоже (в секцию $precomp их). PTH и RUS - $default. Из $deflate убрать *.CHM он запакован cab'ом, его precomp не возьмёт.
PAK - это было изначально расширение древних игр типа doom, представляли из себя deflate-архивы. С которыми хорошо справляется precomp в связке с более мощным пакером. В консультанте это скорее всего какой-то свой бинарный формат. По умолчанию FA считывает groups сверху вниз и берёт первое вхождение, но лучше удалить из секции $precomp. Группы можно свои придумать, главное чтобы выдерживалось соответствие названий групп в groups и в цепочке методов arc.ini, суть в группировке схожих по содержимому файлов, т.к. для каждой группы можно подобрать свои эффективные методы.
Если есть сомнения по поводу расширения - можно его попробовать прописать его в той или иной секции по очереди, прогнать упаковку и сравнить размеры архива. В Тотал Коммандере можно по F3 посмотреть, что внутри файла, по заголовку определить, что за формат. Кстати сейчас многие архиваторы уже со своими препроцессорами - то есть сами определяют тип (txt, jpg, bmp, pe) и автоматически выбирают оптимальный метод, так что препроцессор BCJ перед nanozip для pe-файлов (секция $exe) уже не требуется, соответственно и группу $exe можно не выделять. В 0.51 версии "автоопределение" я так полагаю заключается в сопоставлении расширений на входе с имеющимися в arc.groups, и затем обработка групп расширений цепочками, прописанными в arc.ini в зависимости от выбранного метода.
Кстати если делать SFX-архивы FreeArc с использованием внешних компрессоров, то все использованные компрессоры и препроцессоры должны находиться в той же папке, что и exe, иначе не распакуется.
Автор: HelioSS
Дата сообщения: 19.04.2016 10:22
Benchmark

Цитата:
http://forum.ru-board.com/topic.cgi?forum=35&topic=18797&start=120#lt

Он и там заброшен
Автор: HelioSS
Дата сообщения: 19.04.2016 20:43
7zip на параметры указанные в таблице тут ругается. Говорит, неверный параметр.
Автор: Hunter23071985
Дата сообщения: 19.04.2016 21:29
crotoff
Спасибо! Частично понял. Сегодня/завтра буду пробовать.
Upd: вынужден отложить минимум до выходных - завал на работе.
Автор: crotoff
Дата сообщения: 19.04.2016 22:16
Hunter23071985
отпишись потом что получилось
Автор: Hunter23071985
Дата сообщения: 23.04.2016 19:26
All
Где-нибудь есть актуальная обновляемая подборка консольных архиваторов с описанием поддерживаемых ими команд, т.е. режимов сжатия?
Автор: crotoff
Дата сообщения: 23.04.2016 21:12
Hunter23071985
Matt Mahoney тестирует и у себя на http://mattmahoney.net/dc/ выкладывает, разработку обсуждают на форуме http://encode.ru/
Кстати там же у Булата можно спросить по его FreeArcу http://encode.ru/threads/43-FreeArc
Команды, ключи, опции консольный архиватор обычно показывает если его в консоли CMD запустить с ключом -h или просто так
Автор: Engaged Clown
Дата сообщения: 07.05.2016 13:55
Hunter23071985

Цитата:
Другие архиваторы, поддерживающие nCPU (типа Plzip)... выложены в виде source или не выложены вообще.
Как ими пользоваться не понятно.

Скомпилировали по моей просьбе:
http://download.savannah.gnu.org/releases/lzip/plzip/plzip-1.5-rc2.w32-w64.zip
Ждём тестов.
Автор: Hunter23071985
Дата сообщения: 07.05.2016 16:57
crotoff, Engaged Clown
Спасибо! Тесты будут обязательно, как только с работой разгребусь...
Автор: UriF
Дата сообщения: 26.05.2016 17:39
Не знаю, это оф-топ или нет. Я написал Рошалю и Павлову по поводу multimedia algorithms (WavPack & Jpeg), но ни тот, ни другой не планируют этим заняться. На сегодня multimedia включена из коммерческих проектов только в Stuff-It и WinZip (поддержка PowerArchiver). Кто-нибудь может объяснить отсутствие интереса к этим технологиям? По-моему, сегодня, судя по этой нитке, этим интересуются только ради "научного" интереса. У каждого из нас есть большой архив фото и видео, который мы не смотрим каждый день, а, следовательно, почему бы не сжать? Stuff-It сжимает jpeg на 25%, а mp3 на 15%. Я даже сжимал Stuff-It несколько avi на 20%. В принципе, если у вас огромные архивы, то неплохо??? Использовать экспериментальные проекты в качестве бекапа, наверно, рискованно (я читал, что пакеты, сжатые KGB Archiver, портились).
Автор: ZSZ
Дата сообщения: 26.05.2016 18:11

Цитата:
По-моему, сегодня, судя по этой нитке, этим интересуются только ради "научного" интереса. У каждого из нас есть большой архив фото и видео, который мы не смотрим каждый день, а, следовательно, почему бы не сжать? Stuff-It сжимает jpeg на 25%, а mp3 на 15%.


Потому что всё это ересь - сжимать мультимедию архиваторами.

90...99 % отснятого фото, 50...90 % отснятого видео можно и нужно просто выкинуть. Оставшееся оптимизировать, обработать, что даст ещё 50...90 % экономии места. Это намного эффективнее и полезнее, чем архивировать тонны мусора.

Из музыки - 100 песен на диске, адекватных опять же 5...10 %. Их же и оставить, остальной мусор - для заполнения альбомов/концертного времени - выкинуть, пусть даже если это для вас и "кумиры". Пользы от этого гораздо больше, чем от архивирования.

Главное в архиваторе - это не степень сжатия, а стабильность программ, их удобство и распространённость формата. По совокупности, Rar - лучшее.
Автор: VitaminP
Дата сообщения: 26.05.2016 18:29
Согласен с ZSZ
Цитата:
90...99 % отснятого фото, 50...90 % отснятого видео можно и нужно просто выкинуть. Оставшееся оптимизировать, обработать, что даст ещё 50...90 % экономии места

Но лично я при создании архивов всё же использую сжатие mp3 и jpg с помошью PackJPG и (PackMP3 или mpz), что освобождает 18% места.

Страницы: 12345678910111213141516171819202122232425262728293031

Предыдущая тема: canopus pro coder


Форум Ru-Board.club — поднят 15-09-2016 числа. Цель - сохранить наследие старого Ru-Board, истории становления российского интернета. Сделано для людей.