Поиск дубликатов фотографий. сравнение 6 лучших программ

Поиск совпадающих фото по различным алгоритмам с AntiDupl

Заключительный участник нашего обзора – программа AntiDupl может приглянуться вам сразу по нескольким причинам. Во-первых, она бесплатная. Во-вторых, у неё русский интерфейс. Последнее, впрочем, не очевидно. Для того чтобы включить русский, откройте меню View и в разделе Language выберете соответствующий пункт:

В отличие от других, эта программа не инсталлируется, а находится в самораспаковывающемся архиве, который извлекает её вместе с необходимыми файлами в отдельную папку.

Чтобы подготовить поиск дубликатов кликните по кнопке с подписью Open и в появившемся окне добавьте нужные каталоги:

Следом можно нажимать Ок, а потом активировать на панели инструментов зелёную кнопку «начать поиск». Используя базовый алгоритм, программа нашла для нас несколько групп дубликатов:

Переключив вверху алгоритм на более вольный SSIM, мы получили уже на две группы дубликатов больше, а после увеличения «свободы» поиска с 20 до 35% программа выдала нам ещё более подробный список:

При этом во всех случаях действительно нашлись как минимум заметно похожие друг на друга изображения. Так что не брезгуйте экспериментировать с настройками.

Дополнительных опций у программы немало:

На вкладке «поиск» можно узнать, что AntiDupl поддерживает 13 форматов, среди которых помимо традиционных JPG/PNG, есть ICON, PSD и EXIF. Разумеется, форматы можно выбирать. Ещё в опциях есть проверка на дефекты, блочность и размытость, причём в последних двух случаях можно задавать порог. Есть возможность искать в скрытых и системных каталогах.

• Программа Ant >Какая программа лучше ищет одинаковые и похожие фотографии?

При поиске дубликатов часть пользователей интересует именно 100% соответствие, чтобы избавиться от дублей в своей коллекции. Однако нередко возникает и задача найти просто похожие картинки.

И вот здесь огромное пространство для возможных отличий. Этот могут быть разные форматы, разрешения, обрезанные версии одного и того же изображения, добавление рамок и водяных знаков, изменённые цвета и подписи на картинках.

Мы постарались учесть большинство из этих факторов и после всех проб создали в итоге небольшой набор с более чем шестью десятками картинок. В них мы создали девять групп дубликатов. Скажем честно, на истину в последней инстанции наш опыт точно не претендует, но попробовать было интересно. Результаты следующие:

• Duplicate Remover Free: нашёл лишь 3 группы дубликатов;
• Similar Images Finder: нашёл 4 группы, но неудобный интерфейс, множество ложных результатов и при этом платность приложения сильно испортили общее впечатление;
• AntiDupl по умолчанию нашёл 3 типа дубликатов, установка алгоритма SSIM увеличила результат поиска до 5 групп;
• VisiPics при базовом уровне поиска нашёл лишь 2 группы дубликатов, однако установка ползунка на уровень Loose позволила найти уже 7 групп;
• Awesome Duplicate Photo Finder нашёл 7 групп дубликатов;
• Image Comparer также сумел обнаружить 7 групп.

При этом Image Comparer сумел найти изображения, которые пропустили Awesome Duplicate Photo Finder и VisiPics, а те, в свою очередь, восполнили пробелы Image Comparer.

Google Images (Гугл Картинки) — монстр поиска по изображениям

Если говорить про поиск картинок вообще, то Google был здесь первым, так как начал индексацию фото еще с 2001 года. Однако поиск по заданному файлу изображения был введен в 2008 году, проект был назван Google Images. Естественно, что аудитория такого монстра как Гугл существенно больше, чем Тинай. Соответственно в базе Google проиндексировано свыше 10 млрд. изображений.

Сервис дислоцируется по адресу images.google.com. Заходим по этому URL. Для осуществления поиска по фото разработчик предлагает воспользоваться одним из четырех вариантов поиска.

1. Просто перетащите картинку (1) с вашего локального компьютера или сети Интернет в область поиска. Реализуется технологией Drag&Drop, однако может не работать с некоторыми версиями браузера.
2. С помощью Web-адреса (url ссылки) картинки или фотографии. Cкопируйте ссылку изображения в буфер обмена (3). Далее перейдите в строку поиска и нажмите на иконку фотоаппарат (4). В поле указать ссылку вставьте адрес картинки.
3. «Загрузить файл» (2) с локального компьютера. Как и в предыдущем способе нажимаем на пиктограмму фотоаппарата и с помощью пункта Загрузить файл выбираем файл с нужным изображением.
4. Последний способ использует плагин для Chrome или Firefox. После установки плагина вы сможете производить поиск по любой картинке, просто нажав правой кнопкой на изображение.

Чем больше похожих изображений находится в сети, тем точнее будет результат. Самые большие совпадения будут по произведениям искусства, маленькие по детским рисункам. Поиск фотографий в Гугл осуществляется и по содержимому самого изображения и по данным в описании (тегах).

В результате поиска выводится выдача, которая отличается от стандартной. В ней также все картинки упорядочены по наиболее точному совпадению. Отображается информация о том, сколько найдено результатов и выводится предположение о том, что изображено на картинке.

1. Копия исходного изображения и его размер.

2. Фильтр выбора других размеров изображения. Под фильтром поисковая система дает предположение, «Скорее всего, на картинке … «. Эти данные берутся на основе анализа большого количества описаний с похожими изображениями.

3. Инструменты поиска — для вызова дополнительных параметров поиска.

4. Похожие изображения, которые больше всего соответствуют содержимому графического файла — гамме, оттенкам и т.п.

5. Страницы с подходящими фотографиями на основе заданного изображения.

Если вы ищете картинку лучшего качества, то для вас будет полезен пункт Все размеры (2). По умолчанию отображаются все результаты, отсортированные начиная от самого большого размера (разрешения) картинки.

Дальше в выдаче располагается блок Похожие изображения (4) в нем в порядке убывания располагаются самые идентичные исходному изображению и описанию картинки. Это удобно, если вы ищите идею или хотите подобрать что-то из ассортимента.

Следующий блок (4) — непосредственно выдача результатов поиска по исходному изображению. Тут вы найдете ссылки на странички в Интернет, где размещается такая же картинка. По этим ссылкам можно определить, кто является родоначальником картинки и посмотреть как она размножалось во времени. Таким же образом можно получит список тех, кто незаконно использует ваши труды.

В сервисе также есть ряд дополнительных инструментов (3), которые реализованы в виде фильтров. Приведем некоторые из них.

Размер изображения — можно указать большой, средний, маленький, указать точный или задать размер от определенного разрешения.

По времени размещения — можно указать за всё время, за неделю, за сутки или задать временной интервал.

Тип фотографии — здесь доступны такие типы как Лица, Фотографии, Клип-арт, Черно-белые рисунки.

Для защиты от выгрузки изображений adult (взрослой) тематики стоит по умолчанию умеренный фильтр, который также можно настроить. При необходимости можно также задать тона, в каких искать похожие фотографии.

Через Яндекс Картинки

Он начинает искать дубликаты изображения. Также, он ищет снимки, которые немного имеют отличия от оригинала. Соответственно, в перечне похожих изображений вы можете различные фото одной местности.

Итак, чтобы поискать дубликаты фото, кликнем на ярлык фотоаппарата, находящийся после поисковой строке в Яндекс Картинках. Перед этим я скачал фото Сергея Есенина в детстве, и именно его я и буду искать.

В данном сервисе мы можем поступить двумя путями, или загрузить фото с компьютера, или вставить его ссылку.

Как мы видим по полученным результатам, на первом песте стоит оригинал, далее Яндекс нашел множество детских фотографий, с похожей прической, даже Сыроежкина из фильма электроник, но Есенина больше не нашел. Зато, это фото Есенина идёт в столбец после найденных фотографий. При этом, Яндекс показывает сайты, на которых оно установлено.

Чем отличается данный поиск от Гугла? В Яндексе явно не сообщается, кто именно показан на фото. Если вы ищете не известного человека, это обстоятельство может затруднить поиск. Но, зато, фото найдено в разных размерах. То есть, вы можете выбрать снимок в более качественном разрешении.

Дополнительные советы

Как изменить или удалить ярлык

Ярлыки можно редактировать и удалять.

• Изменение ярлыка. Откройте папку «Люди» Ещё Изменить ярлык.
• Удаление ярлыка. Откройте папку «Люди» Ещё Удалить ярлык.

Как объединить группы по лицам

Если один и тот же человек находится в нескольких группах по лицам, эти группы можно объединить.

1. Создайте ярлык для одной из групп.
2. Добавьте такой же ярлык для другой группы, выбрав его из списка.
3. Когда вы подтвердите ярлык для второй группы, появится запрос на объединение групп.

Вы также можете получить уведомление от Google Фото с предложением объединить две группы. Если на фотографиях изображен один и тот же человек, нажмите Да.

Как удалить группу по лицам со страницы поиска

Если вы не хотите видеть определенную группу по лицам на странице поиска, ее можно скрыть.

1. Откройте страницу photos.google.com.
2. В правом верхнем углу нажмите на значок «Ещё» Показать/скрыть людей.
3. Нажмите на группу по лицам, которую вы хотите скрыть. Чтобы отменить это действие, нажмите на нее ещё раз.
4. В правом верхнем углу нажмите Готово.

Как удалить фотографию или видео из группы

Фотографии и видео, попавшие в группу по ошибке, можно удалить.

1. Откройте страницу photos.google.com.
2. Откройте группу, из которой хотите что-то удалить.
3. Нажмите на значок «Ещё» Удалить результаты.
4. Выберите фотографии и видео, которые вы хотите удалить.
5. В верхней части страницы нажмите Удалить.

Примечание. Если вы удалите объект из группы, это не приведет к его удалению из библиотеки Google Фото.

Как сменить основное фото

1. Откройте страницу photos.google.com.
2. Нажмите на группу по лицам.
3. Нажмите на значок «Ещё» выберите Сменить основное фото.
4. Выберите другую фотографию.

О моделях лиц

Группировка по лицам происходит в три этапа:

1. Сначала система анализирует фотографии и определяет, есть ли на них лица.
2. Затем, если функция группировки по лицам включена, в действие вступают алгоритмические модели, которые анализируют сходство разных изображений и оценивают, являются ли два изображения одним и тем же лицом.
3. После этого фотографии, на которых с высокой вероятностью представлено одно и то же лицо, объединяются в группу. Вы всегда можете удалить фото из группы, если оно попало туда по ошибке.

Если функция группировки по лицам включена, но распознать лицо невозможно, приложение «Google Фото» может добавить снимок в определенную группу на основе других признаков, таких как время съемки или одежда человека на фото.

Группы по лицам, ярлыки и предоставление доступа

• Ярлыки доступны только в том аккаунте, где они были созданы.
• Группы по лицам не видны другим пользователям, когда вы делитесь с ними фотографиями.
• По умолчанию созданные вами группы по лицам и ярлыки видны только вам.
• Вы можете создать группу по лицам с ярлыком «Я» и разрешить автоматически распознавать вас на снимках в приложении «Google Фото». После этого сервис будет предлагать пользователям из вашего списка контактов поделиться с вами фотографиями, на которых есть вы. Подробнее…

Если функция группировки по лицам включена, это значит, что вы предоставляете нам возможность создать модель вашего лица.

Чтобы удалить модели лиц, установите переключатель Группировать по лицам в положение «выключено».

Как добавить ярлыки к фотографиям с людьми и домашними животными, а также изменить или удалить их
Если определенный снимок в Google Фото попал в неправильную группу по лицам или не попал ни в одну из групп, вы можете удалить его из группы или вручную выбрать правильную.

Эта функция доступна не во всех странах.

Как переместить фото в другую группу по лицам

Если человеку или домашнему животному присвоен неправильный ярлык в Google Фото, вы можете изменить или удалить его. Если ярлыка нет, то его можно добавить.

1. Откройте страницу photos.google.com на компьютере.
2. Выберите фото.
3. Нажмите на значок «Информация» .
4. Прокрутите страницу вниз до раздела «Люди» и нажмите на значок «Изменить» .
5. Измените, удалите или добавьте ярлык:
   • Чтобы удалить ярлык, нажмите на значок «Удалить» рядом с ним.
   • Чтобы добавить ярлык, в разделе «Можно добавить» нажмите на значок «Добавить» рядом с ярлыком. Выберите ярлык, который хотите добавить, или нажмите на значок «Добавить» , чтобы создать новый ярлык.
   • Чтобы изменить ярлык:
     1. Рядом с ярлыком нажмите на значок «Удалить» .
     2. В разделе «Можно добавить» нажмите на значок «Добавить» рядом с ярлыком.
     3. Выберите ярлык, который хотите добавить.
6. Нажмите Готово.

Программы по поиску копий аудиофайлов

Программы по поиску копий аудиофайлов точно пригодятся меломанам, хранящим у себя на ПК большие объёмы музыки, и в особенности тем, кто любит скачивать различные подборки музыки, ведь в таких подборках очень часто попадаются одинаковые композиции. Статистика такова, что примерно каждая десятая аудиозапись из сезонных подборок лучшей музыки уже есть у вас на ПК. Вот и считайте, если у вас на ПК, к примеру, сто гигабайтов музыки, то как минимум десять из них — дубликаты.

Ситуацию осложняет ещё и то, что такие файлы могут отличаться и по названию, и по размеру. Единственный критерий, по которому можно найти подобные копии – это аудиодорожка, которую можно отличить либо на слух, либо при помощи специальных программ. О лучших программах способных находить дубликаты аудиофайлов мы и поговорим далее.

Music Duplicate Remover

Лучшими качествами программы Music Duplicate Remover считаются её скорость и качество поиска. Принцип её работы заключается в том, что она прослушивает все аудиозаписи и запоминает их, а затем сравнивает друг с другом и ищет совпадения. Разумеется, такая процедура занимает гораздо больше времени, чем проверка универсальных программ, а потому скорость здесь быстрая лишь если сравнивать её с подобными программами. Средняя продолжительность проверки составляет около двух часов на сто гигабайт файлов (что, между прочим,около трёх композиций в секунду).

Audio Comparer

Программа Audio Comparer довольно сильно похожа на предыдущий вариант как по принципу поиска, так и по результативности. Она не уступает ей ни в скорости, ни в точности. Отдельно стоит упомянуть о наличии в ней своеобразного мастера, помогающего пользователям разобраться в основных принципах программы, когда они только начинают работать с ней.

Dupe Guru Music Edition

Ещё одна программа, заслуживающая вашего внимания – это Dupe Guru Music Edition. Даже оригинальная версия программы Dupe Guru является вполне конкурентоспособной и может похвастаться отличной скоростью и точностью. Но что особенно интересно, так это небольшая доработка сделанная разработчиками в версии Music Edition.

В работе программ, ищущих дубликаты существует такое понятие, как “оригинал файла”, которое обозначает файл, который не будет считаться копией и после очистки останется у вас на ПК. Обычно в качестве оригинала выступает тот файл, который был найден раньше его копий; в редких случаях его дают выбрать пользователю.

Но Dupe Guru Music Edition, кроме обычного сравнения по звуку, делает также сравнение и по качеству аудиофайла и после окончания проверки делает оригиналом тот файл, качество которого было выше, чем у остальных. То есть после удаления копий у вас на ПК останется только самая качественная версия композиции.

Яндекс.Картинки – современный инструмент поиска

Три доступных действия для получения нужного результата:

1. Переход от поиска по ключевым словам к поиску по изображениям, через выбор соответствующего элемента в меню слева, прямо под логотипом поисковика.
2. Введение ссылки или вставка картинки (иконка фотоаппарата).
3. Выбор подходящего результата или сортировка по соответствующим наименованиям. Разрешают выбрать разрешение, ориентацию, «свежесть» и даже доминирующий тип цвета. Параметров воистину много – конечный формат файла, вроде jpeg или png (с соблюдением всех возможностей расширения, вроде прозрачного фона), направление (рисунок, лица, чертежи), размер.

Сервис Yandex поиска по картинке практически не отличается от конкурента – те же меню, тот же значок фотоаппарата, с ходу разрешающий вопрос: «как вставить картинку в поиск», и примерно одинаковый алгоритм просчета изображения и вывода результатов. Отличается лишь интерфейс и некоторые варианты инструментария. Единожды заучив нужные действия, все получится и в другом поисковике!

Потрясающий поиск дубликатов фотографий, найдите дубликаты фотографий и тому подобное за секунды

Если скорость — это то, что вы ищете, Awesome Duplicate Photo Finder станет вашей программой. Это бесплатное программное обеспечение специализируется на поиске всевозможных дубликатов изображений или похожих изображений на нашем компьютере. Эта программа очень проста в использовании, так как мы можем запустить ее всего парой щелчков мыши.

Он может сравнивать фотографии разными способами и даже способен обнаруживать похожие изображения в черно-белом и цветном вариантах. Он совместим с форматами JPG, BMP, GIF, PNG, TIFF и позволяет нам легко выбирать, какую фотографию мы хотим сохранить, а какую удалить, с помощью простого интерфейса.

Мы можем скачать Awesome Duplicate Photo Finder от это веб-сайт .

Ищем похожие изображения с Similar Images Finder

Приложение Similar Images Finder встречает нас недобрым сообщением на английском о том, что за него нужно заплатить $34. Тем не менее на протяжении 30 дней программа готова поработать бесплатно. Следом появляется окно, предлагающее выбрать каталоги для поиска дубликатов:

Из него же мы узнаём, что Similar Images Finder поддерживает 29 форматов изображений, причём пользователь может выбирать конкретные форматы для поиска или исключать лишние. В списке, помимо прочего, можно наблюдать ico и wbmp.

При нажатии Next вы запустите поиск дубликатов, а когда он будет закончен, нажмите Next ещё раз, чтоб увидеть дополнительные настройки. Регулируя их, вы сможете более тщательно настроить то, что отобразится в списке результатов. Наконец, нажав Next в третий раз, вы увидите уже и сам результат:

Перейти к следующей найденной картинке можно нажатием миниатюрной стрелочки в верхнем правом углу. Весь список найденных дубликатов открывается кликом по большой кнопке вверху с адресами текущих файлов.

В свою очередь, нажатие кнопки Next внизу приведёт к завершающему этапу работы. Там программа выведет список того, что, по её мнению, точно является дубликатами и предложит их удалить. На скриншоте выше Similar Images Finder справилась с изображением, куда был добавлен водяной знак, а также изменён контраст гистограммы.

Различая между картинками программа посчитала на уровне 5,5%. При этом в другом примере, где на вторую картинку нами был добавлен сильный эффект размытия, отличия, по версии приложения, почему-то составили всего 1,2%:

Увы, программа, находя реальные дубликаты, по умолчанию показывает и многие совсем непохожие друг на друга изображения, как будто в них есть что-то общее:

Ранжирование

Индексы

Залог качественного поиска похожих изображений — ранжирование, т.е. отображение наиболее релевантных примеров для данного запроса. Оно характеризуется скоростью построения индекса дескрипторов, скоростью поиска и потребляемой памятью.

Самое простое — сохранить «в лоб» эмбеддинги и делать brute-force поиск по ним, например, с помощью косинусного расстояния. Проблемы появляются тогда, когда эмбеддингов становится много — миллионы, десятки миллионов или еще больше. Скорость поиска значительно снижается, объем занимаемой динамической памяти увеличивается. Одна позитивная вещь остается — это качество поиска, оно идеально при имеющихся эмбеддингах.

Датасет glove, размер эмбеддинга 100, расстояние — angular

Указанные проблемы можно решить в ущерб качеству — хранить эмбеддинги не в исходном виде, а сжатом (квантизованном). А также изменить стратегию поиска — искать не brute-force, а стараться за минимальное число сравнений найти нужное число ближайших к данному запросу. Существует большое число эффективных фреймворков приближенного поиска ближайших. Для них создан специальный бэнчмарк, где можно посмотреть, как ведет себя каждая библиотека на различных датасетах.

Самые популярные: отечественная NMSLIB, Spotify Annoy, Facebook Faiss, Google Scann. Также, если хочется взять индексирование с REST API «из коробки», можно рассмотреть приложение Jina.

Переранжирование

Исследователи в области Information Retrieval давно поняли, что упорядоченная поисковая выдача может быть улучшена неким способом переупорядочивания элементов после получения исходной выдачи.

Одним из таких методов является Query Expansion. Идея состоит в том, чтобы использовать top-k ближайших элементов для генерации нового эмбеддинга. В самом простом случае можно взять усредненный вектор, как показано на картинке выше. Также можно взвесить эмбеддинги, например, по отдаленности в выдаче или косинусному расстоянию от запроса. Подобные улучшения описаны в едином фреймворке в статье Attention-Based Query Expansion Learning. По желанию можно применить Query Expansion рекурсивно.

k-reciprocal

k-reciprocal — множество элементов из top-k, в числе k ближайших которых присутствует сам запрос. На базе этого множества строят процесс переранжирования выдачи, один из которых описан в статье Re-ranking Person Re-identification with k-reciprocal Encoding. По определению, k-reciprocal ближе к запросу, чем k-nearest neighbors. Соответственно, можно грубо считать элементы, попавшие в множество k-reciprocal заведомо позитивными и изменять правило взвешивания, например, для Query Expansion. В данной статье разработан механизм пересчета дистанций с использований k-reciprocal множеств самих элементов в top-k. В статье много выкладок, это выходит за рамки данного поста, поэтому предлагаю читателю ознакомиться самостоятельно.

Функции ошибок

Contrastive Loss

Самая простая для понимания функция ошибки — Contrastive Loss. Это парный лосс, т.е. объекты сравниваются по расстоянию между друг другом.

Нейросеть штрафуется за отдаленность друг от друга эмбеддингов изображений p и q, если эти изображения на самом деле похожи. Аналогично, возникает штраф за близость эмбеддингов, изображения которых на самом деле непохожи друг на друга. При этом в последнем случае мы ставим границу m (например, 0.5), преодолев которую, мы считаем, что нейросеть справилась с задачей «разъединения» непохожих изображений.

Triplet Loss

Triplet Loss берет во внимание три объекта — якорь, позитив (похожий на якорь) и негатив (отличный от якоря). Это также парный лосс

Здесь мы нацелены на минимизацию расстояния от якоря до позитива и максимизацию расстояния от якоря до негатива. Впервые Triplet Loss был представлен в статье FaceNet от Google по распознаванию лиц и долгое время был state-of-the-art решением.

N-tupled Loss

N-tupled Loss — развитие Triplet Loss, в котором также берется якорь и позитив, но вместо одного негатива используется несколько негативов.

Angular Additive Margin (ArcFace)

Проблема парных лоссов заключается в выборе комбинаций позитивов, негативов и якорей — если их просто брать равномерно случайными из датасета, то возникнет проблема «легких пар». Это такие простые пары изображений, для которых лосс будет 0. Оказывается, сеть достаточно быстро сходится к состоянию, в котором большинство элементов в батче будут для нее «легкими», и лосс для них окажется нулевым — сеть перестанет учиться. Чтобы избежать этой проблемы, стали придумывать изощренные техники майнинга пар — hard negative и hard positive mining. Подробнее о проблеме можно почитать в этой статье. Существует также библиотека PML, в которой реализовано множество методов майнинга, да и вообще в библиотеке представлено много полезного по задаче Metric Learning на PyTorch.

Еще одним решением проблемы являются классификационные лоссы. Рассмотрим одну популярную функцию ошибки, которая привела к state-of-the-art в распознавании лиц три года назад — ArcFace.

Основная мысль в том, чтобы добавить в обычную кросс-энтропию отступ m, который распределяет эмбеддинги изображений одного класса в районе центроиды этого класса так, чтобы все они были отделены от кластеров эмбеддингов других классов хотя бы на угол m.

Кажется, что это идеальная функция ошибки, особенно, когда посмотришь на бэнчмарк MegaFace. Но нужно иметь в виду, что она будет работать только при наличии классификационной разметки. Если у вас такой нет, придется работать с парными лоссами.

Здесь я визуально показываю, какие функции ошибок лучше всего применять при наличии одноклассовой и многоклассовой разметки (из последней можно вывести парную разметку путем подсчета доли пересечения между multilabel векторами примеров).

Нейросети и Metric Learning

Нейронная сеть в задаче поиска похожих используется как feature extractor (бэкбон). Выбор бэкбона зависит от объема и сложности данных — рассмотреть можно все от ResNet18 до Visual Transformer.

Первая особенность моделей в Image Retrieval — это магия в голове нейросети. На лидерборде по Image Retrieval борются за построение лучших дескрипторов — тут есть и Combined Global Descriptors с параллельными пулингами и Batch Drop Block для более равномерного распределения активации по выходной карте признаков.

Второй главной фишкой являются функции ошибок. Их очень много. Только в Deep Image Retrieval: A Survey представлено больше десятка зарекомендованных парных лоссов. Еще столько же есть классификационных. Главная суть всех этих лоссов — обучить нейросеть трансформировать изображение в вектор линейно разделимого пространства, так чтобы далее можно было сравнивать эти вектора по косинусному или евклидову расстоянию: похожие изображения будут иметь близкие эмбеддинги, непохожие — далекие. Рассмотрим подробнее.

Ccleaner

Известная программа для поиска и удаления информационного мусора в системе. Дополнительно содержит инструмент «Поиск одинаковых фото».

Возможности CCleaner:

1. Поиск дубликатов по имени/размеру/дате изменений/содержимому;
2. Возможность выбора пропуска некоторых файлов: для чтения/нулевого или конкретного размера;
3. Возможность исключения определенных областей из поиска;
4. Поиск одинаковых фотографий и иных файлов.

Как искать одинаковые фото в программе CCleaner:

1. Запустите программу, перейдите в раздел «Сервис», оттуда – в «Поиск дублей»;

2. Выставьте нужные значения для поиска. Нажмите «Найти». Поиск осуществляется по всему диску. Чтобы убрать некоторые папки, перейдите во вкладку «Исключить», нажмите «Добавить», далее – «Обзор».

3. Чтобы найти только фото, пропишите во «Включения — Добавить — Типы файлов» укажите расширения: JPG, PNG и т.д. и повторите поиск.