Remove duplicate URLs from any list
Normalize and deduplicate crawl exports, copied links and URL datasets. See duplicate counts instantly while every address remains in your browser.
Opcje czyszczenia
Wyczyść adresy URL
2 Usunięto parametry śledzenia
Używaj tego narzędzia tylko z danymi i systemami, do oceny których masz uprawnienia. Formatowanie listy adresów URL nie pozwala na testowanie jej miejsc docelowych.
Sześć formatów wyjściowych z jednej listy adresów URL
Przełącz wyjście obszaru roboczego bez edytowania danych wejściowych. Każdy format jest automatycznie normalizowany i deduplikowany.
Wyczyść adresy URL
Schematy i nazwy hostów pisane małymi literami, posortowane ciągi zapytań, brak fragmentów, poświadczeń i powtarzających się linii.
Domeny
Zwiń listę mieszaną w unikalny spis nazw hostów, gotowy do przeglądania zakresu i list zasobów.
Punkty końcowe
Zachowaj pochodzenie i ścieżkę, usuń każdy ciąg zapytania, aby ten sam punkt końcowy był wyświetlany tylko raz.
Ścieżki
Wyodrębnij struktury tras między hostami, aby porównać środowiska lub zmapować powierzchnię aplikacji.
Parametry
Zamień listę adresów URL w zdeduplikowaną listę słów kluczowych zapytań bez konieczności pisania ani jednego wyrażenia regularnego.
Szablony FUZZ
Zamień każdą wartość parametru na symbol zastępczy FUZZ używany w typowych autoryzowanych przepływach pracy testowych.
Narzędzie URL, które nigdy nie widzi Twojej listy
Bez konta, przesyłania danych i żądań do wklejanych domen — tylko przetwarzanie tekstu w karcie Twojej przeglądarki.
100%
Przetwarzanie lokalne
Każdy adres URL jest analizowany przez Twoją przeglądarkę. Nic nie jest przesyłane do DorkPlus i nie następuje kontakt z wklejoną domeną.
01
6
Formaty wyjściowe
Wyczyść adresy URL, domeny, punkty końcowe, ścieżki, listy słów parametrów i szablony FUZZ z jednego wejścia.
02
0
Limity i konta
Bez logowania, bez limitu przesyłania i bez kolejki. Wklej listę, wybierz wynik i natychmiast go skopiuj lub wyeksportuj.
03How to deduplicate a URL list
Standardize superficial URL differences first, then return each remaining normalized address exactly once.
Paste the complete list
Add repeated URLs one per line or paste text containing links. The workspace counts valid, invalid and duplicate outputs.
https://example.com/?b=2&a=1
https://EXAMPLE.com/?a=1&b=2Set the comparison rules
Choose whether tracking keys, fragments, credentials and trailing slashes should be removed before URLs are compared.
Review the unique output
Exact normalized matches collapse to one line. The duplicate counter shows how many repeated output lines were removed.
https://example.com/?a=1&b=2Copy or export the list
Download the deduplicated URLs as text or copy them into the next authorized workflow.
Obsługiwane automatycznie
Why normalize before removing duplicates?
String-only deduplication misses URLs that differ in hostname capitalization, parameter order or removable campaign tags. Normalization exposes those equivalent representations before comparison.
Two URLs are not guaranteed to serve the same response merely because they look similar. The optional controls let you choose the definition of a duplicate that fits your dataset.
- Count removed duplicate outputs
- Control normalization before comparison
- Preserve one stable URL per exact result
Typowe przypadki użycia
Crawler exports
Reduce repeat URLs before a second processing pass.
Content inventories
Remove formatting variants from a page list.
Redirect migrations
Prepare stable old and new URL sets for comparison.
Research datasets
Save one normalized copy of each collected link.
URL deduplicator questions
Answers about duplicate detection, normalization choices and privacy.
Chcesz odkrywać i przetwarzać adresy URL na dużą skalę?
DorkPlus łączy analizę, przeszukiwanie, kategoryzację i autoryzowaną ocenę podatności na wiele silników w jednym procesie.
DorkPlus istnieje już ponad trzy lata. Zaczął jako proxyless scraper Google i rozrósł się do kompleksowego rozwiązania do pentestingu, rozwijając się z tygodnia na tydzień.
Copyright © 2026 DorkPlus
Wszystkie systemy działają