Remove duplicate URLs from any list
Normalize and deduplicate crawl exports, copied links and URL datasets. See duplicate counts instantly while every address remains in your browser.
Reinigungsmöglichkeiten
Saubere URLs
2 Tracking-Parameter entfernt
Verwenden Sie dieses Dienstprogramm nur mit Daten und Systemen, zu deren Bewertung Sie berechtigt sind. Das Formatieren einer URL-Liste gewährt keine Berechtigung zum Testen ihrer Ziele.
Sechs Ausgabeformate aus einer URL-Liste
Wechseln Sie die Arbeitsbereichsausgabe, ohne Ihre Eingabe zu bearbeiten. Jedes Format wird automatisch normalisiert und dedupliziert.
Saubere URLs
Schemata und Hostnamen in Kleinbuchstaben, sortierte Abfragezeichenfolgen, keine Fragmente, Anmeldeinformationen oder wiederholte Zeilen.
Domänen
Reduzieren Sie eine gemischte Liste in ein eindeutiges Hostnamen-Inventar, bereit für Umfangsüberprüfungen und Asset-Listen.
Endpunkte
Behalten Sie Ursprung und Pfad bei und löschen Sie jede Abfragezeichenfolge, sodass derselbe Endpunkt nur einmal aufgeführt wird.
Wege
Extrahieren Sie Routenstrukturen über Hosts hinweg, um Umgebungen zu vergleichen oder eine Anwendungsoberfläche abzubilden.
Parameter
Verwandeln Sie eine URL-Liste in eine deduplizierte Wortliste mit Abfrageschlüsseln, ohne einen einzigen regulären Ausdruck zu schreiben.
FUZZ-Vorlagen
Tauschen Sie jeden Parameterwert gegen den FUZZ-Platzhalter aus, der von gängigen autorisierten Testworkflows verwendet wird.
Ein URL-Dienstprogramm, das Ihre Liste nie sieht
Kein Konto, kein Upload und keine Anfrage an die eingefügten Domains – nur Textverarbeitung in Ihrem eigenen Browser-Tab.
100%
Lokale Verarbeitung
Jede URL wird von Ihrem Browser analysiert. Es wird nichts auf DorkPlus hochgeladen und keine eingefügte Domain kontaktiert.
01
6
Ausgabeformate
Bereinigen Sie URLs, Domänen, Endpunkte, Pfade, Parameterwortlisten und FUZZ-Vorlagen aus einer einzigen Eingabe.
02
0
Limits und Konten
Kein Login, keine Upload-Beschränkung und keine Warteschlange. Fügen Sie eine Liste ein, wählen Sie eine Ausgabe aus und kopieren oder exportieren Sie sie sofort.
03How to deduplicate a URL list
Standardize superficial URL differences first, then return each remaining normalized address exactly once.
Paste the complete list
Add repeated URLs one per line or paste text containing links. The workspace counts valid, invalid and duplicate outputs.
https://example.com/?b=2&a=1
https://EXAMPLE.com/?a=1&b=2Set the comparison rules
Choose whether tracking keys, fragments, credentials and trailing slashes should be removed before URLs are compared.
Review the unique output
Exact normalized matches collapse to one line. The duplicate counter shows how many repeated output lines were removed.
https://example.com/?a=1&b=2Copy or export the list
Download the deduplicated URLs as text or copy them into the next authorized workflow.
Automatisch verarbeitet
Why normalize before removing duplicates?
String-only deduplication misses URLs that differ in hostname capitalization, parameter order or removable campaign tags. Normalization exposes those equivalent representations before comparison.
Two URLs are not guaranteed to serve the same response merely because they look similar. The optional controls let you choose the definition of a duplicate that fits your dataset.
- Count removed duplicate outputs
- Control normalization before comparison
- Preserve one stable URL per exact result
Häufige Anwendungsfälle
Crawler exports
Reduce repeat URLs before a second processing pass.
Content inventories
Remove formatting variants from a page list.
Redirect migrations
Prepare stable old and new URL sets for comparison.
Research datasets
Save one normalized copy of each collected link.
URL deduplicator questions
Answers about duplicate detection, normalization choices and privacy.
Müssen Sie URLs im großen Maßstab erkennen und verarbeiten?
DorkPlus kombiniert das Parsen, Crawlen, Kategorisieren und die autorisierte Schwachstellenbewertung mehrerer Suchmaschinen in einem Arbeitsablauf.
DorkPlus gibt es seit über drei Jahren. Es begann als proxyloser Google Scraper und entwickelte sich zu einer All-in-One-Pentesting-Lösung, die sich Woche für Woche weiterentwickelt.
Copyright © 2026 DorkPlus
Alle Systeme betriebsbereit