DorkPlus Logo
Начать
DorkPlus Logo
Начать
Начать
URL DeduplicatorБесплатно

Remove duplicate URLs from any list

Normalize and deduplicate crawl exports, copied links and URL datasets. See duplicate counts instantly while every address remains in your browser.

Бесплатно · Без регистрации
Запускается локально в вашем браузере
Рабочая область обработки URL-адресов
Нет сетевых запросов · Нет хранилища

Варианты очистки

3
Выход
4
Действительные URL-адреса
1
Дубликаты
1
игнорируется

Чистые URL-адреса

2 параметры отслеживания удалены

Используйте эту утилиту только с данными и системами, которые вы имеете право оценивать. Форматирование списка URL-адресов не дает разрешения на проверку его адресатов.

Шесть форматов вывода из одного списка URL-адресов

Переключите вывод рабочей области, не редактируя ввод. Каждый формат автоматически нормализуется и дедуплицируется.

Чистые URL-адреса

Схемы и имена хостов в нижнем регистре, отсортированные строки запроса, отсутствие фрагментов, учетных данных или повторяющихся строк.

Домены

Сверните смешанный список в уникальный реестр имен хостов, готовый для проверки объема и списков активов.

Конечные точки

Сохраните источник и путь, отбросьте каждую строку запроса, чтобы одна и та же конечная точка отображалась только один раз.

Пути

Извлекайте структуры маршрутов между хостами для сравнения сред или отображения поверхности приложения.

Параметры

Превратите список URL-адресов в дедуплицированный список ключевых слов запроса без написания единого регулярного выражения.

ФУЗЗ-шаблоны

Замените каждое значение параметра заполнителем FUZZ, используемым в общих рабочих процессах авторизованного тестирования.

Частный по дизайну

Утилита URL, которая никогда не видит ваш список

Без аккаунта, загрузки и запросов к вставленным доменам — только обработка текста во вкладке вашего браузера.

100%

Локальная обработка

Каждый URL-адрес анализируется вашим браузером. Ничего не загружается в DorkPlus, и ни один вставленный домен не связывается.

01

6

Выходные форматы

Очистите URL-адреса, домены, конечные точки, пути, списки слов параметров и шаблоны FUZZ из одного ввода.

02

0

Лимиты и счета

Нет входа в систему, нет ограничения на загрузку и нет очереди. Вставьте список, выберите результат и мгновенно скопируйте или экспортируйте его.

03

How to deduplicate a URL list

Standardize superficial URL differences first, then return each remaining normalized address exactly once.

01

Paste the complete list

Add repeated URLs one per line or paste text containing links. The workspace counts valid, invalid and duplicate outputs.

https://example.com/?b=2&a=1 https://EXAMPLE.com/?a=1&b=2
02

Set the comparison rules

Choose whether tracking keys, fragments, credentials and trailing slashes should be removed before URLs are compared.

03

Review the unique output

Exact normalized matches collapse to one line. The duplicate counter shows how many repeated output lines were removed.

https://example.com/?a=1&b=2
04

Copy or export the list

Download the deduplicated URLs as text or copy them into the next authorized workflow.

Обрабатывается автоматически

URL-адреса HTTP и HTTPS
URL-адреса без схемы
Смешанный текст со встроенными ссылками
Параметры повторяющегося запроса
Значения отслеживания кампании
Фрагменты и учетные данные
Дублирующиеся URL-адреса и выходные данные
Копирование и экспорт TXT
Почему это важно

Why normalize before removing duplicates?

String-only deduplication misses URLs that differ in hostname capitalization, parameter order or removable campaign tags. Normalization exposes those equivalent representations before comparison.

Two URLs are not guaranteed to serve the same response merely because they look similar. The optional controls let you choose the definition of a duplicate that fits your dataset.

  • Count removed duplicate outputs
  • Control normalization before comparison
  • Preserve one stable URL per exact result

Распространенные случаи использования

Crawler exports

Reduce repeat URLs before a second processing pass.

Content inventories

Remove formatting variants from a page list.

Redirect migrations

Prepare stable old and new URL sets for comparison.

Research datasets

Save one normalized copy of each collected link.

URL deduplicator questions

Answers about duplicate detection, normalization choices and privacy.

Логотип ДорПлюс

Вам нужно обнаруживать и обрабатывать URL-адреса в большом масштабе?

DorkPlus сочетает в себе многопроцессорный поисковый анализ, сканирование, категоризацию и санкционированную оценку уязвимостей в одном рабочем процессе.

Начни прямо сейчасИсследуйте Скребок