FNDup 2.1 [Ru/En] (Авторская раздача)

Версия программы: 2.1
Язык интерфейса: Русский, Английский

Лечение: не требуется

Системные требования:

Windows 10-11 (64-bit)

Описание:
FNDup — это мощное и интуитивно понятное приложение, предназначенное для освобождения места на жестком диске путем интеллектуального поиска и безопасного удаления дубликатов файлов и папок. Программа предлагает пользователю множество гибких методов сканирования: от самого быстрого побайтового сравнения до продвинутых алгоритмов анализа схожести изображений, музыкальных треков и видеороликов. FNDup станет незаменимым помощником как для домашнего использования.

Многообразие алгоритмов: Поиск точных копий, схожих названий, визуально похожих изображений (с использованием перцептивных хешей) и аудио/видео файлов с одинаковым звучанием.
1. Метод - Быстрое сканирование. Это самый производительный алгоритм. Сначала программа группирует файлы по размеру (так как разные по весу файлы не могут быть идентичны). Для тех, что совпали по размеру байт в байт, вычисляется контрольная сумма (хеш). Если хеши совпадают — файлы признаются дубликатами.
2. Метод - Сканирование по схожести. Анализирует имена файлов и частичное совпадение содержимого (размер и байтовая структура). Поиск документов с похожими названиями, дубликатов с небольшими изменениями.
3. Метод - Поиск по начальным символам. Сравнивает имена файлов по первым N символам (от 3 до 30). Поиск версий файлов (например, Doc_v1, Doc_v2) или файлов с похожей структурой именования. Этот метод позволяет найти файлы, имеющие общий «корень» в названии. Это полезно, когда файлы копировались с добавлением суффиксов (например, ИмяФайла (1), ИмяФайла (2)). Вы можете задать порог длины, чтобы исключить слишком короткие совпадения. Поддерживает двуязычные поиск названий (например, GdePosylka и ГдеПосылка) будут считаться одинаковыми.
4. Метод - Похожие изображения. В отличие от обычного хеширования, перцептивное хеширование «видит» изображение. Использует перцептивное хеширование (dHash, pHash, wHash) для анализа визуального контента. dHash (Difference Hash): Анализирует градиент яркости между соседними пикселями. pHash (Perceptual Hash): Рекомендуемый метод. Использует дискретное косинусное преобразование для поиска общих визуальных черт. wHash (Wavelet Hash): По логике наиболее точный метод, использующий вейвлет-преобразование для анализа деталей на разных частотах. Порой может вызывать ложные срабатывания. Поиск дубликатов фото, которые были сжаты, перевернуты, обрезаны или немного отредактированы. Рекомендуемый уровень схожести для поиска не ниже 90% для предотвращения ложных срабатываний.
  В методе похожие изображения, после сканирования, в каждой группе по-умолчанию выбирается изображение "эталон". Алгоритм выбирает его сам как изображение с лучшим качеством. Эталон всегда находится в левом блоке предросмотра, а в правом показывается изображение на который вы кликаете мышкой. Чтобы самому задать эталон, поставьте галочку напротив нужной картинки.
5. Метод - Похожие аудиофайлы (Акустический анализ). Используется утилита fpcalc (библиотека AcoustID). Программа извлекает звуковую «подпись» (аудио-фингерпринт) из файла. Этот отпечаток уникален для конкретной мелодии. Даже если файл перекодирован из WAV в MP3 или изменен битрейт, «отпечаток» останется идентичным, что позволяет программе найти дубликат там, где обычный поиск по хешу файла бессилен. Тест показал отличный результаты определив схожесть ~85% даже между треками на разных языках: t.A.T.u. - Я сошла с ума.mp3 и треком t.A.T.u. - All The Things She Said.mp3
  Это одна и та же песня на русском и на английском, но мотив музыки один. Отличается лишь язык на котором поет исполнитель (русский и английский). Акустический анализ определил схожесть как раз по мотиву песни.
6. Метод - Похожие видео (только с аудио). Анализирует только аудиодорожку видеофайла на предмет совпадения звукового ряда. По сути тот же метод что и "Похожие аудиофайлы" только адаптированный под видеофайлы. В отличии от нейросетей, которые требуют очень много ресурсов и времени, данный метод значительно эффективен. Единственный недостаток - не найдет дубликаты видео в которых нет звука.

Продвинутый предпросмотр: Воспроизводите найденную музыку прямо из списка результатов, открывайте видео в системном плеере и сравнивайте похожие фотографии в специальном блоке с подсвечиванием лучшего разрешения и размера.
Индексация результатов (экспериментально): Ускорение повторных поисков за счет сохранения хешей и данных сканирования на диске.
Гибкие фильтры: Поддержка Live-фильтрации расширений и категорий в реальном времени, а также продвинутые фильтры по размеру файлов.
Безопасность: Ведение подробного лог-файла удаленных элементов и возможность отправки дубликатов в корзину для предотвращения случайной потери данных.
Поддержка темной темы
Поддержка Drag & Drop
Глубина сканирования. Можно задать глубину сканирования до 99 папок. 0 папок означает сканирование только выбранной папки без учета подпапок

Добавлено:

Добавлен метод "Похожие изображения" с поддержкой алгоритмов dHash, pHash, wHash и настройкой процента схожести (от 50% до 100%).
Добавлен метод "Похожие аудиофайлы" для поиска музыки по звучанию.
Добавлен метод "Похожие видео (только с аудио)" для поиска видеодубликатов на основе анализа их аудиодорожек.
Добавлен метод "Поиск по начальным символам" с настраиваемым порогом длины (от 3 до 30), поддерживающий двуязычные названия (например, GdePosylka и ГдеПосылка).
Добавлены опции контекстного меню "Снять все отметки", "Выбрать первые результаты", "Выбрать вторые результаты", "Переименовать", "Копировать путь", "Копировать имя файла/папки", "Копировать", "Вырезать", "Исключить путь к папке", "Выбрать старые файлы" в контекстное меню для удобного управления файлами.
Добавлена кнопка "Сброс" в окне поиска для возврата к изначальным результатам без повторного сканирования.
Ограниченно реализовано создание файлов индексации (в папке index) после сканирования для существенного ускорения повторных проверок.
Добавлен поиск среди результатов, а также внедрен Live-фильтр по категориям рядом с поиском. Позволяет фильтровать результаты по категориям (Изображения, Аудио, Видео, Документы, Системные и Другие) для быстрой сортировки найденных файлов.
Реализована поддержка аппаратного ускорения за счет ресурсов ПК для поиска изображений и аудио.
Добавлен встроенный предпросмотр медиафайлов: воспроизведение аудио прямо в результатах с помощью интерактивного ползунка и иконок Play/Pause.
Добавлен визуальный предпросмотр дубликатов изображений с цветовой индикацией файлов с наименьшим разрешением или размером.
В таблицы результатов добавлены столбцы "Битрейт" (для аудио), "Разрешение" (для фото) и "Длина" (для видео/аудио в формате ЧЧ:ММ:СС).
Добавлен счетчик реального времени, отображающий количество найденных файлов в процессе сканирования.
Добавлено окно "Логирование", сохраняющее историю всех удаленных файлов (путь, размер, дата) в файл log.txt.
Реализованы всплывающие подсказки с подробным описанием для каждого метода сканирования и окон фильтров.
Добавлена опция "Только файлы второй папки, совпадающие с первой" для прямого сравнения содержимого строго двух директорий.
Добавлен переключатель темной/светлой темы в один клик
Добавлена возможность включать и отключать столбцы в результатах поиска кликом правой кнопкой мыши по заголовку.

Изменено:

Прогресс сканирования теперь детализирован и отображается в десятых долях процента (0.1%, 0.2%).
Левый блок со всеми параметрами стал каскадным. Теперь его можно пролистыватывать колесом мышки.
В блоке "Добавленные папки" появились чекбоксы: снятие галочки мгновенно скрывает результаты директории без очистки списка или повторного сканирования
Размер файлов в интерфейсе теперь масштабируется динамически (в КБ, МБ или ГБ в зависимости от реального веса).
Изменена логика горячих клавиш: выделение файлов через Shift и нажатие Space/Enter одновременно переключает чекбоксы для всех выделенных элементов.
Применение темной темы оптимизировано: все элементы списка окрашиваются корректно с первого переключения.
При двойном клике на видео в результатах, файл автоматически открывается в видеоплеере, назначенном в системе по умолчанию.
Фильтр расширений и исключений переведен в Live-режим: любые изменения применяются к списку результатов мгновенно без пересканирования.
В методе "Похожие изображения" дубликаты группируются вертикально (друг над другом), а имена файлов центрированы.

Исправлено:

Исправлен баг, блокирующий изменение высоты окна программы при использовании некоторых методов сканирования.
Устранено смещение элементов интерфейса за пределы панели задач при смене метода.
Исправлена ошибка "Нет данных для сохранения", возникавшая при сохранении результатов в методе быстрого сканирования.
Восстановлена работа функции Drag&Drop непосредственно в блоке "Добавленные папки".
Отключено нежелательное автоматическое пересканирование, которое запускалось сразу после удаления дубликатов.
Исправлен сброс галочек с отмеченных файлов при активации функции "Показывать полный путь в результатах".
Обеспечена корректная работа сканера с файлами, использующими жесткие ссылки.
Исправлено ошибочное отображение размера (0кб или 4кб) для тяжелых папок в режиме поиска директорий.
Функции удаления через контекстное меню ("Удалить в корзину" и "Удалить сразу") теперь корректно применяются ко всем файлам с проставленными чекбоксами.
Устранен визуальный баг, из-за которого появлялся пустой чекбокс рядом с аудио-ползунком при команде "Снять все отметки".
Исправлена остановка воспроизведения аудио при переключении темы или опций отображения путей.
Восстановлена возможность добавления сразу нескольких выделенных файлов в список исключений.
Цвет текста в поле Live-поиска адаптирован под фон для сохранения читаемости в светлом и темном режимах.
Очистка списка папок теперь также корректно очищает интерфейс от предыдущих результатов сканирования.

Скриншоты:

Время раздачи: 24/7 до первых устойчивых сидов (минимум до появления первых 3-5 скачавших)

Релиз 2.1 получился довольной весомым. По сравнению с версией 2.0 размер кода увеличился на 78%, а размер программы увеличился в несколько раз.
Появились довольно интересные возможности, включая новые методы сканирования. Рекомендую подробно ознакомиться с описанием.

Была также попытка создать метод сканирования "Поиск дубликатов документов" и "Поиск дубликатов электронных книг". Имею ввиду поиск дубликатов по содержимому документа, а не хеш и прочее. С документами (word, excel, txt, ini и прочие) получилось реализовать, но было очень много ложных срабатываний. Пришлось убрать. С поиском дубликатов электронных книг по содержимому (fb2, epub, pdf) застрял прямо на старте и толком ничего не вышло. Возможно в будущем попробую еще раз.

В обозримом будущем планирую добавить метод "Полное сканирование". Этакий фарш из всех методов сразу.

Приятного использования!

хм... а что за алгоритм по поиску музыкальных файлов? У меня накопилось больше 4 млн семплов разных за годы работы с музыкой. ищу прогу которая находит дубликаты ваншотов. Пробовал Sononym но... так себе, хотя процентов на 40 он справился. У вас не его алгоритм?

Djbadan
В описании написано про данный метод: "Метод - Похожие аудиофайлы (Акустический анализ). Используется утилита fpcalc (библиотека AcoustID). Программа извлекает звуковую «подпись» (аудио-фингерпринт) из файла. Этот отпечаток уникален для конкретной мелодии. Даже если файл перекодирован из WAV в MP3 или изменен битрейт, «отпечаток» останется идентичным, что позволяет программе найти дубликат там, где обычный поиск по хешу файла бессилен. Тест показал отличный результаты определив схожесть ~85% даже между треками на разных языках: t.A.T.u. - Я сошла с ума.mp3 и треком t.A.T.u. - All The Things She Said.mp3
Это одна и та же песня на русском и на английском, но мотив музыки один. Отличается лишь язык на котором поет исполнитель (русский и английский). Акустический анализ определил схожесть как раз по мотиву песни."

Просмотр доступен только для зарегистрированных пользователей

заберу для утилит отчистки ПК. Спасибо автору.
Вопрос к автору, почему но VirusTotal Ваша программа детектируется некоторыми антивирусами в том числе и Microsoft Как троян?
https://www.virustotal.com/gui/file/ef852614e916bf780341f1d5e88d03cea1890861029407485c522255a4306e41/detection/f-ef852614e916bf780341f1d5e88d03cea1890861029407485c522255a4306e41-1781710732

А во время сканирования папки Касперский реагирует следующим сообщением:
"Тип пользователя: Активный пользователь
Компонент: Мониторинг активности
Описание результата: Запрещено
Тип: Троянское приложение
Название: MEM:Trojan.Win32.SEPEH.gen
Степень угрозы: Высокая
Тип объекта: Файл
Путь к объекту: pmem:\C:\Users\user1\AppData\Local\Temp
Имя объекта: eleq_fndupC80
Дата выпуска баз: Вчера, 17.06.2026 14:12:00"

что-то у меня не ищет ничего

dvv06 писал(а):

Вопрос к автору, почему но VirusTotal Ваша программа детектируется некоторыми антивирусами в том числе и Microsoft Как троян?

Я отвечал на этот вопрос еще в предыдущей раздаче

Просмотр доступен только для зарегистрированных пользователей

Антивирусам не нравится принцип запуска программы peexe. Исполняемый файл Windows в формате PE (Portable Executable) с расширением .exe
Когда программа запускается, она распаковывает/создает некоторых набор временных файлов в папке Temp с названиями по типу eleq_fndup5CD
Сами файлы безобидные и весят килобайты. Общих вес всех временных файлов обычно не превышает 500кб.
В любом случае никакого зловреда в программе нет. Если есть сомнения, можно всегда отказаться от использования и удалить программу. Сам не пользуюсь антивирусами еще с 2014 года. Только портативные антивирусные сканеры раз в год могу запустить если возникнут какие-то сомнения, что мог что нибудь подхватить.

У меня не ищет ничего. папку перетащил. там 511 файлов, нажимаю СТАРТ и ничего не происходит вообще

Добавлено спустя 1 минуту 29 секунд:

Причем, просто нажимаешь старт и сразу 100% типа просканил, хотя по факту ничего не произошло

Djbadan
Только что проверил. Все работает без проблем. Попробуйте снизить процент схожести.

Eloquence
БОЛЬШОЕ СПАСИБО за программу.
Мне особенно пригодился поиск "Похожие аудиофайлы"!!!
Когда скачиваешь дискографии исполнителей, бывает очень много повторов музыкальных композиций в разных альбомах - вот тут-то и помогает программа!
Есть пожелание - сделать очистку Результатов поиска, когда удаляются Добавленные папки - но это так - косметика.
Еще один нюанс - если в Результатах поиска запускаешь, помеченную на удаление, композицию на прослушивание, то она не удаляется - выскакивает ошибка удаления файла. Приходится удалять через UnLocker.
Еще было бы не плохо, чтобы программа сохраняла настройки поиска и расположение колонок в Результатах поиска.
Диканца дукха вехийла!

kotpos2 писал(а):

сделать очистку Результатов поиска, когда удаляются Добавленные папки

Так это и так реализовано. Когда нажимаешь "Очистить всё", все данные в результатах включая добавленные папки удаляются. Вот тест!

Просмотр доступен только для зарегистрированных пользователей

kotpos2 писал(а):

если в Результатах поиска запускаешь, помеченную на удаление, композицию на прослушивание, то она не удаляется

Проверил. Действительно так. Исправлю в будущей версии. Кстати на будущее. Если такая ситуация повторится, то как временное решения вместо Unlocker можно было воспроизвести и остановить любой другой файл который вы НЕ собираетесь удалять, а затем нажать удалить. В таком случае трек который вы хотели удалить "освобождается" и его можно удалять.

kotpos2 писал(а):

чтобы программа сохраняла настройки поиска и расположение колонок

Сохранение расположения колонок уже реализовал, а вот сохранение заданных настроек реализую в будущей версии.

Пока будущий фронт работ для версии 2.2 вот такой:

Опция "Показать сетку" в результатах поиска. Выглядит примерно так.
Просмотр доступен только для зарегистрированных пользователей
Программа не отображает размер удаленных папок в сплывающем окне после удаления.
Размер удаленных папок в логировании отображается неправильно. На всех папках пишет 4кб. Необходимо исправить.
Сделать взаимосвязь между удаляемыми файлами. Мое большое упушение. Если один и тот же файл или папка находятся в нескольких группах дубликатах, то удаления этого файла или папки из одной группы должен удалять его из остальных групп. Будет автоматический мультивыбор для чекбокса. Например в результатах поиска в "Группа дубликатов 1" и в "Группа дубликатов 13" имеется один и тот же файл fonk.mp4 который в обоих группах расположен по пути D:\fonk.mp4 и когда я поставлю галочку для файла fonk.mp4 в чекбоксе в "Группа дубликатов 1", также автоматически будет выставляться галочка для fonk.mp4 в "Группа дубликатов 13" и в остальных группах где есть данный файл.
Для разных типов файлов в результатах необходимо использовать разные иконки перед названием файла.
Частично реализовал:
Просмотр доступен только для зарегистрированных пользователей
Необходимо убрать автоматически выставление чекбока для всех папок при добавлении новой папки в программу. Когда добавляю папку в программу, чекбокс выставляется не только для него, но и также для всех остальных добавленных папок для которых я снимал чекбокс.
Удаление папки при нажатии delete
Будет добавлена возможность менять местами добавленные папки путем перетаскивания папки мышкой
Новая опция "Искать пустые папки"
Новый метод "Полное сканирование". Это должен быть комбинированный метод который включает в себя все возможности других методов объединенных в один метод.
В далеких планах добавить в программу функции очистки по типу CCleaner. Думаю реализовать в программе наработки CCEnhancer.exe с подхватом winapp2.ini

ну еще по мелочам есть будут изменения

ССEnhancer сам берет эту базу из github точка com/MoscaDotTo/Winapp2

Топик был перенесен из форума Разное (Утилиты, Офис, Интернет) в форум Архив Программ

Причина переноса: На трекере доступна новая версия: https://nnmclub.to/forum/viewtopic.php?t=1878693

Исправил релиз - напиши ЛС lipi, дав ссылку на релиз.
Если нет ответа 24 часа - нажми на кнопку "Обратить внимание модераторов".