Ru-Board.club
← Вернуться в раздел «Программы»

» AntiDupl

Автор: SerJantX
Дата сообщения: 31.03.2011 09:06

Цитата:
Но что с тобой, что с Samars спорить - что против ветра плевать. Убеждать никого не собираюсь, пользуйтесь чем хотите.

Тоже самое и про тебя можно сказать, здесь на форуме все спорщики, и думают что только они правы и все только что они говорят - правильное. Я то как раз не спорю, написал свой метод, может кому то поможет и только для этих целей, а не для спора! Это вы втроем на меня накинулись.
Автор: WildGoblin
Дата сообщения: 31.03.2011 10:08
SerJantX

Цитата:
Тестировал на 1.5 гиг различных обоин из темы природа.
Всего полтора гига? Это очень мало для нормального теста.

Цитата:
не читал справку, делал методом наилучшего поиска по самим настройкам.
Вот потому-то бред и написал!
Как может сабж при выставленном параметре "Отнорм. разм. картин. 16х16" находить больше дубликатов, чем при "Отнорм. разм. картин. 64х64"?

Цитата:
и т.п. и т.д. это уж слишком размыто, что есть ЭТО или под этим...
Это значит что остальные твои рекомендации тоже хаотично-бестолковы!

WatsonRus

Цитата:
Порог стандартный 5%, размер анализируемых иконок картинок максимальный 64x64, в опциях включено искать дубли, повернутые, учитывать ширину/высоту. Проверялось на ~15-20 тыс. jpeg файлах, до этого пройденных Comparer-ом, Dupeless-ом, Dup Detector-ом и еще чем-то, уже не помню.
С почти такими же настройками (отключено - искать повёрнутые) проверял на ~1000000 jpeg файлах.

Andarin

Цитата:
...а Ваша инструкция несколько странновата.
Да что с него взять - он не понимает как работает программа и для чего служат конкретные настройки! Методом "научного тыка", на небольшой выборке, с определёнными настройками получился хороший результат и он сразу начал делать выаоды и давать рекомендации!

Автор: WildGoblin
Дата сообщения: 31.03.2011 12:09
SerJantX

Цитата:
По умолчанию именно так и стоит.
Нет, не так! По умолчанию стоит 32х32 - об этом тоже, кстати, сказано в документации.
Автор: WatsonRus
Дата сообщения: 31.03.2011 16:51
SerJantX 12:20 31-03-2011
Цитата:
Ватсон кстати про этот параметр вообще ни чего не написал, брал по умолчанию.

21:11 30-03-2011
Цитата:
размер анализируемых иконок картинок максимальный 64x64

Это для кого я писал?

Но ты же все равно видишь только то, что подтверждает твои выводы. Спорить не собираюсь - нравится Comparer - ради Бога. До появления AntiDupl.NET я вот раньше тоже считал, что Dupeless верх совершенства.


Добавлено:
17:01 31-03-2011
Цитата:
добавлю не однократно уже написанное мной - "в любом случае AntiDupl видит те совпадения которые Comparer не видит и на оборот".

Вот поэтому и рекомендуется всегда использовать не одну программу, ибо у всех разные алгоритмы сравнения.
Автор: WildGoblin
Дата сообщения: 01.04.2011 11:44
SerJantX

Цитата:
Ну и к чему сразу такие выводы? Ты какой то задиристый, обязательно нужно задеть человека словом?
Переход на личности это веский аргумент!

Цитата:
Но вы же (втроем или четвером) развели тут не понятно что, залажали меня и мою инструкцию, стали тупо и не обоснованно спорить в пустоту...
Не болтай - я привёл аргументы.

Цитата:
Учитесь уважать других, выслушивать мнение других...
Это не мнение, а призыв к неправильным действиям! Сабж с установленным параметром "отнормиров. размер - 16х16" даст худший результат, чем "отнормиров. размер - 64х64" - автор об этом пишет в справке!

P.S. Думаю надо прекращать с вами разговор, пока не появился модератор.
Автор: SerJantX
Дата сообщения: 01.04.2011 13:11
сканировано 1637 изображений
настройки
точность соотн ш/в - 1/8
отнормиров. размер - 64х64
порог - 7%
найдено 193 пар совпадений (в место 220 -см. выше)

WildGoblin

Цитата:
Сабж с установленным параметром "отнормиров. размер - 16х16" даст худший результат, чем "отнормиров. размер - 64х64" - автор об этом пишет в справке!

Хорошо, тогда почему у меня (на трех компах) такие настройки дают худший результат, причем ощутимо!? (Пробовал абсолютно все комбинации)


Цитата:
Не болтай - я привёл аргументы.

Ни чем не проверенные. И особых аргументов то я ни не заметил кроме как:

Цитата:

WildGoblin
И т.д и т.п.
Всего полтора гига? Это очень мало для нормального теста.

Ну да, количество в 1637 шт. это сущая ерунда. Интересно тогда по твоей логике все тесты мирового сообщества можно смело выкинуть в мусор .
Вот собственно и все твои "аргументы", ах да, забыл, еще задавался вопрос читал ли я справку и все на этом.
p.s. Программа ну на столько сложна, и там 2500 различный настроек и + еще 5500 различных комбинаций, Автокад на фоне AntiDupl покажется детской игрушкой что надо задавать было вопрос про справку
У меня встречный вопрос, ты хотя бы тесты с разными параметрами проводил? Грамотей. Результат сравни хотя бы, ну а потом уже свои аргументы предлагай, а не пустоту гони и не наезжай на людей. Тон/пыл свой по умерь.
Автор: Andarin
Дата сообщения: 01.04.2011 14:09
SerJantX, WildGoblin, WatsonRus
А попробуйте найти и удалить дубликаты хотя бы среди тех же 1637 шт. картинок, даже используя настройки по умолчанию, этими двумя программами. И вопрос отпадёт сам собой. Уточняю один момент - картинки - демотиваторы.
У меня на 2500 картинок у AntiDupl.Net - 37 дубликатов (и в том числе всего 4 ложных срабатывания, да и то - картинки одинаковые, подпись разная). У ImageComparer - ну, возможно, полные дубликаты он и все нашёл, но только в выданном им результате надо снова искать, слишком их много. Это всё при 5% разнице.
Автор: WatsonRus
Дата сообщения: 01.04.2011 17:06
SerJantX
Я сужу о качестве проги исключительно после того, как прошелся AntiDupl.NET-ом по фоткам после зачистки коллекции не менее тремя другими прогами. Т.е. я не просто проверял, сколько какая прога найдет дубликатов при разных настройках, а прошелся по коллекции после того, как минимум три проги заявили, что дубликатов больше нет (исключая те похожие (именно что только похожие), которые я сам исключил из списков).

И порядка 200 (190 с чем-то) пропущенных ими 100% похожих пар, одинаковость которых я видел даже невооруженным глазом, думаю, должны однозначно говорить, чей алгоритм поиска лучше. Возможно, что какая-то иная прога найдет после AntiDupl-а еще 5-10 похожих пар, но около 200 пропущенных кажется лучшими представителями своего класса прог 100% дублей (не похожих, а именно 100% одинаковых) - это ИМХО все же перебор. И эти 100% одинаковые не были в списке исключенных мной похожих - те проги просто не видели вообще их 100% одинаковость.
Автор: SerJantX
Дата сообщения: 01.04.2011 19:14
Andarin

Цитата:
А попробуйте найти и удалить дубликаты хотя бы среди тех же 1637 шт. картинок, даже используя настройки по умолчанию, этими двумя программами. И вопрос отпадёт сам собой.

По внимательнее пожалуста подробнее уже и не распишешь
в моем случае это высококачественные обои, большого расширения, вся тематика связанна с природой.

WatsonRus
судя по этому тесту какая лучше? Лично я не понял, ну Компарер как бы по эффективнее получается, но не на столь критично что бы это считать прям выдающимся результатом, они обе эффективные, но еще эффективнее получается результат если их использовать в паре - я к такому выводу пришел.

2All, сколько еще можно повтрять?

Цитата:
добавлю не однократно уже написанное мной - "в любом случае AntiDupl видит те совпадения которые Comparer не видит и на оборот" - имеется введу если в одном удалить совпадения другой еще находит их, в обратном порядке так же справедливо.


в моем случае, после прохождения AntiDupl.NET -удаления совпадений, Компарер еще 20-30 картинок находил! После прохождения Компарером - удаления совпадении, AntiDupl.NET находил где то 10-15 картинок.
Еще пробовал две программы, но они вообще не эффективные, другие не стал пробовать, т.к. я не люблю патченые и крякнутые програмы и кейгены тоже.

Кстати WatsonRus

Цитата:
Т.е. я не просто проверял, сколько какая прога найдет дубликатов при разных настройках, а прошелся по коллекции после того, как минимум три проги заявили, что дубликатов больше нет

Я и такой метод эксперимента применял, отсюда и сложился мой вывод который цитировал чуть выше.

WatsonRus мне не очень понятно почему ты 7% порог не использовал? На мой взгляд находит на 30% больше совпадений и без ошибок, ну или с малой вероятностью, конечно лучше в ручную потом пройтись на всякий, но результат того стоит

Автор: WatsonRus
Дата сообщения: 01.04.2011 19:44
SerJantX
20:14 01-04-2011
Цитата:
мне не очень понятно почему ты 7% порог не использовал?

Потому что повышение порога обычно приводит к куче ложняков. Проверено на других прогах. Авторы прог ведь неспроста выставляют самое оптимальное значение по умолчанию.
Можно и 7% попробовать. Может, что еще найдет после себя же...

Насчет эффективности - в тестах не видно, сколько из этого найденного были 100% дубликаты. А это ИМХО самое главное - если прога находит больше похожих, чем другая, но при этом в упор не видит 100% дубли - грош ей цена. ИМХО.


Добавлено:
20:14 01-04-2011
Цитата:
конечно лучше в ручную потом пройтись на всякий

А ИМХО вручную только и нужно проходить - в автоматическом режиме любая прога столько наудаляет/наперемещает "дублей" (по ее мнению) - мало не покажется. Не раз 100% разные изображения попадали в список как дубли. В т.ч. и у сабжа.
Автор: SerJantX
Дата сообщения: 01.04.2011 19:56

Цитата:
Насчет эффективности - в тестах не видно, сколько из этого найденного были 100% дубликаты. А это ИМХО самое главное - если прога находит больше похожих, чем другая, но при этом в упор не видит 100% дубли - грош ей цена. ИМХО.

Согласен, не спорю, поэтому в тесте с цифрами все параметры указал, если были ложные то указывал их количество, если не было ложных, то указывал на это либо не писал ни чего.

Кстати жаль что ни та не другая программа не умеют кроме графики другие файлы искать.
У меня pdf и дежавю файлов на гиг, пришлось еще задействовать DupKiller

Автор: WatsonRus
Дата сообщения: 01.04.2011 20:24
SerJantX
20:56 01-04-2011
Цитата:
если были ложные то указывал их количество, если не было ложных, то указывал на это

Дело не в ложных. Я имел в виду тот случай, когда прога правильно показывает действительно похожие пары, но при этом в упор не видит 100% одинаковых. И у Comparer-а и у Dupeless-а я это самое наблюдал - действительно похожие видели, 100% дубли - нет (точнее, далеко не все), хотя я даже глазами видел их одинаковость. Ложняки я не считаю, это у каждой проги такие срабатывания есть.
Автор: WildGoblin
Дата сообщения: 02.04.2011 18:18
SerJantX

Цитата:
Ну да, количество в 1637 шт. это сущая ерунда. Интересно тогда по твоей логике все тесты мирового сообщества можно смело выкинуть в мусор .
Для тестов, производимых "мировым сообществом", всегда используется 1637 jpeg -файлов?

Толсто троллишь...
Автор: faridmif
Дата сообщения: 26.04.2011 12:58
AntiDupl.NET 1.8.0.354

Цитата:
- Добавлено окно для отображения прогресса длительных процессов (обработка результатов, загрузка и сохранение файлов, закрытие программы).
- Добавлена кнопка "Обновить результаты".
- Изменена форма хранения результатов, а также алгоритмы их обработки.
- Теперь программа при открытии каталога, содержащего картинку внешней программой одновременно выделяет ее.
- Появилась возможность настроить процесс загрузки базы данных с картинками.
- Добавлен перевод на итальянский и испанский языки.
- Также обновлена справка и исправлены ошибки.

http://antidupl.narod.ru/files/AntiDupl.NET-1.8.0.354.exe
Автор: WatsonRus
Дата сообщения: 29.04.2011 18:32
Молящимся на .NET ответ от автора AntiDupl
Тестирование AntiDupl.NET на коллекции с 1 миллионом картинок.

Цитата:
Ядро программы с этой задачей вполне справилось. Да оно съедает почти всю доступную приложению память, но успешно сканирует всю коллекцию.


Цитата:
Оболочка .NET справляется со своей задачей гораздо хуже. При отображении результатов поиска практически гарантированно происходит падение из-за нехватки памяти. Причем это наблюдается и при не слишком большом количестве результатов.
Автор: Andarin
Дата сообщения: 29.04.2011 19:54
WatsonRus
Интересно было бы взглянуть на результаты работы других программ с этой коллекцией. Далеко не факт, что про все из них можно будет сказать
Цитата:
Ядро программы с этой задачей вполне справилось
А некоторые если и справятся, то не вопрос, что хватит терпения дождаться Да и качество работы (реальные дубликаты и ложные) сравнить, что уже здесь и так обсуждалось
Автор: WatsonRus
Дата сообщения: 29.04.2011 20:50
Что толку что справилось ядро, если [sensored] .NET все равно в результате валит прогу при обработке результатов? Автор пишет, что из-за .NET возможно не более 700 тысяч картинок и 150 тысяч пар, дальше амба.

Конечно, на практике такое количество картинок трудно представить (хотя автор их набрал ), но все же...
Автор: fimdiraf
Дата сообщения: 14.05.2011 14:44
AntiDupl.NET 1.8.1.362

Цитата:
- Улучшена иконка программы.
- Добавлен перевод на китайский язык.
- Также обновлена справка и исправлены ошибки.

http://antidupl.narod.ru/files/AntiDupl.NET-1.8.1.362.exe
Автор: WatsonRus
Дата сообщения: 14.05.2011 17:29
В дополнение к предыдущему посту:

Цитата:
исправлены ошибки:
- Программа некорректно отображает оставшееся время поиска.
- Не отображаются анимированные GIF.

ИМХО и качать с такими мелкими изменениями не стоит...
Автор: fimdiraf
Дата сообщения: 17.05.2011 15:10
AntiDupl.NET 1.8.2.365

Цитата:
Доступна новая версия AntiDupl.NET-1.8.2.365. В ней исправлена критическая ошибка:
- Картинки не удаляются.

http://antidupl.narod.ru/files/AntiDupl.NET-1.8.2.365.exe
Автор: SerJantX
Дата сообщения: 10.06.2011 20:38

Какие комментарии?
Автор: Andarin
Дата сообщения: 10.06.2011 21:20

Цитата:
Какие комментарии?

Выкинуть! NOD32, если не понятно.
Автор: WatsonRus
Дата сообщения: 10.06.2011 21:59
Andarin 22:20 10-06-2011
Цитата:
Выкинуть! NOD32, если не понятно.

Точно! Дохтур Онлайн грит - все чисто.


Добавлено:
Впрочем, для платных аналогов AntiDupl-а содержимое может и вправду потенциально опасно.

Добавлено:
Кстати, выше на странице есть прямая ссылка на файл, если уж так боязно заходить...
Автор: SerJantX
Дата сообщения: 11.06.2011 08:48
Andarin
умное решение мальчик

WatsonRus
если на оф сайт выдает предупреждение по твоему разумно заходить по прямой ссылке?
логику примени. Кстати на скачку по ссылке выше нод так же ругается, догадаться уж мог.

хз конечно почему нод ругается, не спроста может быть.
может его ломанули и вирусню накидали туда... бывало уже такое и не раз и не с одним сайтом


Добавлено:
вирус тоталом просканил, там нод молчит, странный он действительно
но зато какой то Rising    говорит что там Hack.Exploit.Script.HTML.IFrame.o
Автор: gti503
Дата сообщения: 11.06.2011 09:13

Цитата:
Какие комментарии?

У меня тоже Nod32 и никаких проблем с доступом нет (настройки по умолчанию). Ищите проблему у себя на компе.
Автор: WatsonRus
Дата сообщения: 11.06.2011 18:55
SerJantX
09:48 11-06-2011
Цитата:
если на оф сайт выдает предупреждение по твоему разумно заходить по прямой ссылке?

Вполне разумно. Заразу обычно прилепляют к страницам, а не к файлам.

Цитата:
на скачку по ссылке выше нод так же ругается

Ну и м...к. Он бы так настоящую заразу ловил, а то одна паранойя.

Цитата:
какой то Rising говорит что там Hack.Exploit.Script.HTML.IFrame.o

Я вчера смотрел исходники страницы - ничего лишнего там нет. Script.HTML.IFrame - там весь сайт на фреймах построен с доступом к ним через javascript. Оттого и паранойя у так называемых "антивирусов".
Автор: fimdiraf
Дата сообщения: 14.06.2011 16:58
AntiDupl.NET 1.8.3.372

Цитата:
- Улучшен перевод на китайский язык.
- Также обновлена справка и исправлены ошибки.

http://antidupl.narod.ru/files/AntiDupl.NET-1.8.3.372.exe
Автор: WatsonRus
Дата сообщения: 14.06.2011 17:40

Цитата:
- Добавлен перевод на упрощенный китайский язык.

Также обновлена справка и исправлены ошибки:

-Программа несколько раз показывает одни и теже результаты поиска.

-При смене текущего результата происходит мерцание панели просмотра и таблицы результатов.
Автор: fimdiraf
Дата сообщения: 05.07.2011 13:02
AntiDupl.NET 1.8.4.375

Цитата:
05.07.2011 - Доступна новая версия AntiDupl.NET-1.8.4.375. В ней добавлен перевод на немецкий язык.

http://antidupl.narod.ru/files/AntiDupl.NET-1.8.4.375.exe
Автор: WatsonRus
Дата сообщения: 05.07.2011 20:10
SerJantX
В ЖЖ автора от 16.06.2011 есть ответ на реакцию НОДа.
Как и следовало ожидать - паранойя.

Страницы: 123456789

Предыдущая тема: Google Earth vs NASA World Wind vs Eingana


Форум Ru-Board.club — поднят 15-09-2016 числа. Цель - сохранить наследие старого Ru-Board, истории становления российского интернета. Сделано для людей.