» AntiDupl

AntiDupl 2.2
(28.07.06)
http://antidupl.narod.ru/files/AntiDupl-2.2.exe
(447 кб)


Список изменений:

1.В диалоге сравнения появилась возможность удалить обе картинки.
2.Также можно не только удалить одну из картинок, но и заместить одну другой.
3.Показывается полный путь к картинкам.
4.Картинки открываются при двойном щелчке по ним.
5.Добавлены новые и изменено назначение некоторых старых горячих клавиш.


IMHO, лучшая среди коммерческих и бесплатных программ для поиска и удаления клонов картинок.

Готовится совершенно новая версия, переписанная заново:

Цитата:

Где-то с начала сентября 2007 идет работа над новой версией программы. Изменения очень значительные. Новая версия пишется фактически с нуля. На данном этапе проделана довольно большая работа - фактически завершена алгоритмическая ее часть. Следующим этапом будет разработка пользовательского интерфейса. Предположительно это займет несколько месяцев, следовательно, новая версия программы выйдет в свет где-то в середине 2008 года. И так, что нового в ней появится?

Пока остановлюсь на том, что уже реализовано:
Если раньше существовал только один каталог поиска, то теперь в этом плане возможности существенно возросли:
Появилась возможность поиска в нескольких директориях, так же возможность сравнивать отдельные файлы.
Возможность игнорировать задаваемые пользователем директории/файлы при поиске, а также опционально скрытые и системные файлы и папки.
Указывать уже проверенные каталоги/картинки (картинки из этих каталогов не будут сравниваться между собой, что может существенно сократить время поиска).
Указывать каталоги/файлы предпочтительные для удаления (действует при автоматическом удалении).
Существенно изменилась работа с результатами сравнения. Если раньше был последовательный вывод дубликатов, то теперь по ним можно будет:
Перемещаться по результатам в произвольном порядке.
Сортировать по различным параметрам.
Сохранять.
Получать рекомендации по их обработке.
Удалять/перемещать в автоматическом порядке.
Группировать в (трио, квартеты и т.п.).
Выполнять операции над несколькими парами картинок одновременно.
Введен более понятный критерий определения равенства изображений - среднеквадратичная разность в процентах.
Появилось возможность находить зеркальные и повернутые пары изображений.
Данные о найденных картинках заносятся в специальную базу, что значительно ускоряет время повторного поиска.
Сравнение картинок ведется параллельно несколькими потоками, что позволяет использовать в полной мере возможности современных процессоров.
Алгоритмическая часть программы оформлена в виде отдельного модуля (динамически подключаемой библиотеки), что позволяет ее использование сторонними программами. Его интерфейс имеет как ANSI, так и UNICODE версии функций.

Теперь о том, что предстоит сделать - это графическая оболочка. Предполагается ее писать на C#. Скорее всего ее исходники будут в открытом доступе. Это, как мне кажется, позволит желающим менять ее интерфейс по собственному усмотрению.

Ну вот вроде пока все. Последнне замечание - я завел журнал в котором буду более подробно освещать ход процесса. С вашими вопросами, пожелания и предложениями прошу обращаться туда.

ссылка на ЖЖ

Почитав комментарии на ЖЖ, пришел к неутешительному выводу - к сожалению, автор, похоже, пошел самым простым и модным путем - новая версия пишется на .NET Framework 2.0 Видимо, настал конец маленькой автономной самодостаточной программе - грядет очередная крохотная программа, для работы с которой нужно установить на комп громадный пакет библиотек. Будем надеяться, что автор все же перепишет ее в дальнейшем на "нативный" язык программирования, как он вроде бы обещает.

P.S. А винты ведь не у всех современные, и не все имеют возможность купить новый большой.

P.P.S. Кстати, последняя "классическая" версия - 2.4.1 от 17.03.2008.

Последняя версия - AntiDupl.Net 1.3.0.0 от 10.09.2009

Нового ничего, кроме встроенной проверки обновлений и английской справки.

А прога хороша, после ImageDupeless, "классической" самой себя и Image Comparer нашла еще целую кучу дубликатов, плюс еще много различающихся слегка. ИМХО единственный серьезный недостаток - привязанность к .NET (хорошо, хоть ко 2-му, он намного меньше последних монстров 3 и 3.5).

Цитата:

единственный серьезный недостаток - привязанность к .NET

Уже нет этого недостатка - в топике по портаблам лежит портабельная версия AntiDupl.NET 1.3.0.0 от vyachko (для которой у него же лежит и портабельный .NET 2.0 в виде плагина, который нужно положить в подпапку ThinPlugins внутри папки с программой).

obtim и WatsonRus огромное спасибо за топик по этой программе. Утилита просто мощнейшая - все остальные аналоги шлак на данный момент. Вот что Net. животворящий делает.

Asilus

Цитата:

Вот что Net. животворящий делает.

Без .NET еще лучше бы было. Автор писал, что ему просто лень было, и он использовал готовые библиотеки. Кстати, он божился (по моему, где-то в начале ЖЖ), что в будущем перепишет на нормальный язык, я, правда, в это не верю (ИМХО автор и сам забыл про свое обещание). Старый, не-.NET, AntiDupl тоже вполне рулил по поиску и скорости, только уж больно примитивный по фичам был.

Слава Богу, что привязал хотя бы к 2-му .NET-у , а не к последующим монстрам 3-му и 3.5-му. Вот уж где размеры превысили все разумные пределы!

Ничего страшного винты сейчас у всех громадные, я лично всегда ставлю сразу .Net 3.5 поскольку разница между наличием отсутствием волнует мал-мало.

А у вас что проблемы с местом на системном?

Сытый голодного не разумеет...

Не у всех большие винты и не у всех есть возможность их покупки. А место, даже на большом винте, лучше занять чем-то полезным, нежели кучей мусорных библиотек, используемых одной-двумя прогами. 2-й .NET еще куда ни шло по размерам.

Мое ИМХО - если есть программа на .NET, почти всегда найдется аналогичная, написанная на нормальном языке. Только в крайнем случае я ставлю прогу на .NET. И больше, чем .NET 2.0, я ставить не собираюсь.

Давай на этом закончим оффтоп, пока по шапке от Widok-а не получили...

Я вас действительно не понимаю. Какая-там разница в размерах и.т.д?!! Бред обр.2004 и ранее г. в общем-то.
И оффтопа тут нет никакого. Если вы можете себе позволить сидеть в нете и скачивать столько картинок (либо столько их фотать) что нужная такая мощнейшая прога для их сортировки, то не стоит жаловаться о каких-то жутко гигантских размерах .Net.
Года 4 назад вас бы ещё поняли, но не сейчас когда все подряд терабайтами качают и хранят. Уж выделить под системный диск хотя бы 15-20ГБ свободного места может любой.
В общем это я к чему - главная задача автора чтобы программа работала быстро и качественно превосходя аналоги - ради такого 99,9% заинтересованных согласятся что бы она сама весила 500МБ. Лишь бы эффект был. Аминь.

Asilus

Цитата:

Я вас действительно не понимаю.

Если что то не понимаешь ты, то это не значит что и другие этого не понимают!

Главное чтобы нас таких непонятливых автор программы понял. Эффективность превыше всего. Но вы это уж точно понимаете WildGoblin.

Asilus
17:38 03-11-2009
Цитата:

Главное чтобы нас таких непонятливых автор программы понял.

Автор всех правильно понял. И написал программу на основе адекватного по размерам .NET 2.0, что всех устроило (особенно после того, когда появился портабельный вариант с портабельным же .NET).

Давай уже будем заканчивать на эту тему. Все-так здесь обсуждается AntiDupl, а не .NET.

Цитата:

главная задача автора чтобы программа работала быстро и качественно превосходя аналоги

Именно так она и работает.

All
Кстати, в ЖЖ автор собирает пожелания для будущих версий.
Asilus
Не напиши только пожелание перевести прогу на .NET 3.5

WatsonRus

Цитата:

Автор всех правильно понял. И написал программу на основе адекватного по размерам .NET 2.0, что всех устроило (особенно после того, когда появился портабельный вариант с портабельным же .NET).

И я о том же - просто очарован прогой. Раз достаточно 2.0 то и хорошо - все довольны.


Цитата:

Кстати, в ЖЖ автор собирает пожелания для будущих версий.
Asilus
Не напиши только пожелание перевести прогу на .NET 3.5

Да вот хотел насчёт 3.5 указать, а то зря понимаешь простаивает.

Шутки шутками, но такая прога должна жить в любом виде. А там видно будет. Это я по поводу умерших или полудохлых аналогов.

А у вас вообще какие-нибудь претензии к проге накопились? Мне вот не нравиться лишь относительно долгое закрытие.

Цитата:

Мне вот не нравиться лишь относительно долгое закрытие.

Это ИМХО следствие формирования окончательной базы (с произведенными изменениями).

Цитата:

А у вас вообще какие-нибудь претензии к проге накопились?

Не вижу оных, разве что языковые файлы можно было бы положить отдельно, чтобы можно было подправить под себя (в версиях до 1.3.0.0, например, была досадная опечатка прямо в меню - "Результы", а поправить было нельзя). А так я понимаю Eng/Rus зашиты в тело программы (по крайней мере я не нашел языковых файлов). Плюс то, о чем писали в ЖЖ - некорректно название функции "Переименовать" (когда на самом деле следовало бы "Переместить" (или "Заменить")). Но это все чисто косметика.

Цитата:

Раз достаточно 2.0 то и хорошо - все довольны.

2.0 достаточно в подавляющем большинстве программ на .NET (и это ИМХО разумные требования), разрабы которых думают о всех юзерах. Лишь отдельные разрабы, имеющие крутые компы, не желают задуматься над этим (как пример - графический редактор Paint.NET - размер дистрибутива проги 1,5 Мб, размер только дистрибутива .NET 3.5 -242 Мб. Да я лучше поставлю намного более мощный Corel (ранее Jasc) PaintShop Pro, занимающий ~ 200 Мб уже в развернутом состоянии (это со всеми прибабахами, без них ~ 100 Мб)).

WatsonRus
Я тут поставил AntiDupl на вторую свою машину с Vista 64 SP2 и о чудо - проблема долгого закрытия исчезла напрочь! Тьфу-тьфу.
Чем вы могли бы это объяснить? Видимо Виста действительно лучше с памятью работает (в данном случае освобождает данные), не думаю что дело в разрядности системы.

Вышла новая версия этой отличной программы!

В ней произошли следующие изменения:


Цитата:

Добавлены горячие клавиши, a также возможность пользователю их редактировать в специальном окне.

Новый алгоритм обновления списка результатов, годный для списков произвольного размера. В связи с чем теперь все результаты отображаются единым списком.

Добавлена возможность менять порядок следования столбцов в таблице результатов.

Видимость столбцов теперь регулируется в отдельном окне.

Добавлены подсказки для двойных ячеек в таблице.

Также изменено наименование ряда операций, обновлена справка и исправлены ошибки.

Скачать:
http://antidupl.narod.ru/files/AntiDupl.NET-1.4.0.0.exe

Вот и новая версия поспела. Изменения довольно большие в интерфейсе, работать ИМХО стало намного удобнее:

В новой версии произошли следующие изменения:

Цитата:

1.5.1.0

В текущей версии исправлены ошибки:

Аварийное завершение программы при удалении или перемещении картинок, если видимость первого столбца отключена.

Аварийное завершение программы во время поиска.

1.5.0.0

В текущей версии произошли следующие изменения:

Добавлен выбор между вертикальной и горизонтальной ориентацией результатов на панели просмотра и в таблице.

Теперь возле картинок отображаются их основные параметры (путь, размер файла, габариты изображения).

Строковые ресурсы теперь хранятся во внешних xml-файлах, пользователь может добавить свой собственный перевод программы на родной язык.

Проверка наличия новых версий программы теперь сделана опциональной.

Появилась возможность скопировать путь к картинке.

Добавлены кнопки для навигации по таблице результатов.

Изменен дизайн и содержание меню, панелей управления и строк состояния.

Теперь у кнопок во всплывающих подсказках указываются соответсвующие им горячие клавиши.

Изменен дизайн некоторых кнопок и иконок, используемых в программе.

Также обновлена справка и исправлены ошибки:

Неправильное сохранения размера панели просмотра.

Ошибки связанные с выделением и с местоположением текущего результата.

Неправильная сортировка по местоположению картинок результатов.

Неправильное копирование таблицы результатов в буфер обмена по нажатию Control-C.

Некорректная отрисовка текущего результата.

Скачать:
http://antidupl.narod.ru/files/AntiDupl.NET-1.5.1.0.exe

Библиотеку в 936 картинок - на 4 ядрах делает картинка в 5 секунд. Фото - jpg и tiff размерами 2500х1300 и более. Имэдждуплесс - за 30 секунд ВСЕ 936 картинок.

Честно говоря - такое время обработки сводит на нет любые возможные плюсы программы.

LShark
19:58 21-03-2010
Цитата:

размерами 2500х1300 и более

Возможно, такие тормоза проявляются только на больших картинках. У меня больше 1440x960 мало. И самое главное, tif-ов вообще нет, может, из-за них тормоза...

Старый комп P-IV 2.0 GGz, RAM256, XP SP3 чистая (не сборка). Правда, последние версии 1.5.0.0 и 1.5.1.0 еще не пробовал в работе.

Цитата:

Имэдждуплесс - за 30 секунд ВСЕ

... и половину дублей (в т.ч. и 100%) при этом пропустил... но не будем тут холивары устраивать.

Одним словом - каждому свое.

Точно Ватсон как будто мы не пробывали Дуплексы и прочие хренексы. Антидупл это шедеврик.

Asilus
Ну всякое может быть. Может, AntiDupl действительно сильно тормозит на больших картинках, или на tif-ах. А может автор AntiDupl чего наколбасил в последних версиях.

Я говорил только о том, с чем сам сталкивался - используя обе проги (и не только их), я убедился в большей эффективности (и скорости) AntiDupl (для меня, еще раз подчеркиваю).

P.S. Отправил Widok-у в ПМ просьбу прикрутить шапку к топику, ибо уже вторая страница пошла. Ждем-с...

LShark
Не поленился, натравил версию 1.5.1.0 на 14000 файлов - на настройках с максимальным размером образца сравнения 64x64 время обработки заняло ~3.5 минуты на старом одноядерном компе. Это никак не 5 сек/картинка.

К вопросу о качестве - найдено 470 пар, из них примерно 80-90 блин, какие там 80-90, сейчас посчитал точно - 194 пары со 100% сходством !!! (большинство остальных пар не со 100% сходством были ранее намерено оставлены, ибо действительно разные). Перед этим все уже проходилось ImageDupeless, DupDetector, AntiDupl (старым, еще не .NET) и еще уже не помню чем (пробовал много чего). Как все остальные не увидели 100% одинаковых, которые даже глазами видно, что одинаковые - .

По поводу времени поиска дубликатов - может, LShark не учёл времени создания галереи в ImageDupeless. На мой взгляд (так, навскидку), если брать общее время от того момента, когда указываешь проге папку с картинками и до конечного результата, то результат будет другим.
Вот мой краткий тест: 4500 картинок JPG, из них 1000 размером меньше 400х500, больше 1600х1200 200 картинок, максимальный размер 5045х5700.
Время затраченное ImageDupeless - 3 мин. 10 сек. на добавление картинок в галерею + 10 сек на поиск дубликатов, итог 146 похожих.
AntiDuplNET - 30 сек на всю процедуру, 123 похожих.
Процент отличия в обоих случаях установлен 5%.
В обоих случаях главные ошибки - на однотонных картинках и текстурах.
ImageComparer показал соответственно время 39 сек. + 51 сек. Итог - 232 картинки.
Итоги в них считаются по разному, так что тут числа весьма приблизительные.
Что мне нравится в AntiDuplNET и ImageComparer - можно отсортировать по проценту отличия. У AntiDuplNET дополнительный плюс - бесплатно.

Добавлено:
У ImageDupeless есть, по сравнению с двумя другими программами, большой плюс - при наличии большого количества файлов-дубликатов и похожих, гораздо больше возможности для автоматической отметки файлов для удаления. У ImageComparer и AntiDuplNET - или вручную помечать всё, или полагаться на выбор программы.

Для меня главным показателем стало дикое количество пропущенных остальными 100% одинаковых картинок, хотя я даже глазами видел одинаковые картинки в разных папках. И это при том, что картинки с различиями другие проги прекрасно видели, видели они и 100% одинаковые, которые были мной удалены. Но почему они не видели оставшиеся 100% одинаковые - .

На время в принципе мне наплевать, хотя некоторые проги (уже сейчас не вспомню какие, подозреваю, что построенные на BDE), которые я пробовал, просто дико долго создают галерею.

Насчет ImageDupeless - считаю, что это вообще самая удобная программа для работы с дубликатами, хотя и AntiDupl сейчас в плане интерфейса сильно подтянулся. ImageComparer пробовал, но долго не возился, ибо тогда уже появился AntiDupl.NET.

А вот автоматические действия ИМХО это зло - прога по своим понятиям может такого наудалять, что замумукаешься потом восстанавливать из Корзины.

Кстати, в топике по портаблам есть портабельный AntiDupl.NET 1.5.1.0 от vyachko с портабельным же .NET 2.0.

Andarin

Цитата:

По поводу времени поиска дубликатов - может, LShark не учёл времени создания галереи в ImageDupeless. На мой взгляд (так, навскидку), если брать общее время от того момента, когда указываешь проге папку с картинками и до конечного результата, то результат будет другим.

Все равно дело не в этом - он ведь уверяет, что на четырехядернике скорость работы AntiDupl 5 сек/картинка. Хотя всякое возможно, но уж очень невероятно - что же старый Пень 2.0 с 256 RAM работает быстрее современного компа?

Мне кстати, тоже сомнительны эти 30 сек на 900 с лишним картинок - я отлично помню "скорость" работы ImageDupeless. Недаром там сделано сворачивание в трей - иначе работать с другими прогами просто невозможно - ImageDupeless отжирает все на себя (по крайней мере на слабом компе).

Но опять же, возможно медлительность AntiDupl.NET проявляется на больших картинках, и возможно на tif-ах (этот формат вообще тяжелый, имеющий кучу разновидностей, может они не все корректно распознаются, вот AntiDupl.NET на них и тупит).

WatsonRus
На больших JPG медлительности не заметил, а вот про tif ничего не скажу - были где-то штук 200-300, но без дубликатов, так что проверить не могу.
А 5 сек/картинка - это у него 900 с небольшим картинок больше часа сравнивались? Ни за что не поверю.
Кстати, на наборе из моего предыдущего топика - ImageDupeless не обнаружил ни одного 100% дубликата. А AntiDuplNET и ImageComparer каждый нашли по 102 парных картинки. Картинки, вернее, сами файлы - побайтно идентичны, разные только имена.

Andarin

Цитата:

Кстати, на наборе из моего предыдущего топика - ImageDupeless не обнаружил ни одного 100% дубликата.

У меня ImageDupeless находил 100% одинаковые, и довольно много. Но в том наборе, на котором я прогонял, он не нашел ни одного, т.к. те, что он раньше нашел, я уже, естественно, давно удалил, а остальных он уже почему-то не видит (хотя не 100% похожие видит - но они действительно только похожие) . Хотя AntiDupl после него нашел 194 100% одинаковые пары.

Надо будет еще прогнать на этом наборе Image Comparer... я с ним плотно не занимался... Жаль вот tif-ов нет совсем...

Кстати, LShark, как я понимаю, ярый и давний адепт ImageDupeless, наш спор с ним и начался в топике ImageDupeless, в котором я посоветовал попробовать AntiDupl.

Цитата:

Жаль вот tif-ов нет совсем...

Я тоже было пожалел, что их у меня мало или нет...
Только потом дошло - кто же мешает сотни две-три JPG (фотографий, чтоб побольше разрешение было) переконвертировать в tif, а там и тестируй, как хочешь. Но пока лень, да и мне как-то это не особо надо (я про tif)
И кто мешает использовать сразу несколко программ, благо они небольшие и систему не засоряют. У меня их штук пять. Конечно, хотелось бы иметь одну, подходящуюю по всем параиетрам, но увы, в одной хорошо одно, в другой - что-то другое.