Remove duplicate URLs from any list
Normalize and deduplicate crawl exports, copied links and URL datasets. See duplicate counts instantly while every address remains in your browser.
Opzioni di pulizia
URL puliti
2 parametri di monitoraggio rimossi
Utilizza questa utilità solo con dati e sistemi che sei autorizzato a valutare. La formattazione di un elenco di URL non concede l'autorizzazione per testarne le destinazioni.
Sei formati di output da un elenco di URL
Cambia l'output dell'area di lavoro senza modificare l'input. Ogni formato viene normalizzato e deduplicato automaticamente.
URL puliti
Schemi e nomi host in minuscolo, stringhe di query ordinate, nessun frammento, credenziale o riga ripetuta.
Domini
Comprimi un elenco misto in un inventario di nomi host univoco, pronto per revisioni dell'ambito ed elenchi di risorse.
Endpoint
Mantieni origine e percorso, elimina ogni stringa di query, quindi lo stesso endpoint viene elencato solo una volta.
Percorsi
Estrai strutture di percorsi tra host per confrontare ambienti o mappare una superficie applicativa.
Parametri
Trasforma un elenco di URL in un elenco di parole chiave di query deduplicate senza scrivere una singola espressione regolare.
Modelli FUZZ
Scambia ogni valore di parametro per il segnaposto FUZZ utilizzato dai comuni flussi di lavoro di test autorizzati.
Un'utilità URL che non vede mai il tuo elenco
Nessun account, nessun caricamento e nessuna richiesta ai domini incollati: solo elaborazione del testo nella scheda del browser.
100%
Elaborazione locale
Ogni URL viene analizzato dal tuo browser. Non viene caricato nulla su DorkPlus e non viene contattato alcun dominio incollato.
01
6
Formati di output
Pulisci URL, domini, endpoint, percorsi, elenchi di parole dei parametri e modelli FUZZ da un unico input.
02
0
Limiti e conti
Nessun accesso, nessun limite di caricamento e nessuna coda. Incolla un elenco, scegli un output e copialo o esportalo immediatamente.
03How to deduplicate a URL list
Standardize superficial URL differences first, then return each remaining normalized address exactly once.
Paste the complete list
Add repeated URLs one per line or paste text containing links. The workspace counts valid, invalid and duplicate outputs.
https://example.com/?b=2&a=1
https://EXAMPLE.com/?a=1&b=2Set the comparison rules
Choose whether tracking keys, fragments, credentials and trailing slashes should be removed before URLs are compared.
Review the unique output
Exact normalized matches collapse to one line. The duplicate counter shows how many repeated output lines were removed.
https://example.com/?a=1&b=2Copy or export the list
Download the deduplicated URLs as text or copy them into the next authorized workflow.
Gestito automaticamente
Why normalize before removing duplicates?
String-only deduplication misses URLs that differ in hostname capitalization, parameter order or removable campaign tags. Normalization exposes those equivalent representations before comparison.
Two URLs are not guaranteed to serve the same response merely because they look similar. The optional controls let you choose the definition of a duplicate that fits your dataset.
- Count removed duplicate outputs
- Control normalization before comparison
- Preserve one stable URL per exact result
Casi d'uso comuni
Crawler exports
Reduce repeat URLs before a second processing pass.
Content inventories
Remove formatting variants from a page list.
Redirect migrations
Prepare stable old and new URL sets for comparison.
Research datasets
Save one normalized copy of each collected link.
URL deduplicator questions
Answers about duplicate detection, normalization choices and privacy.
Hai bisogno di scoprire ed elaborare URL su larga scala?
DorkPlus combina l'analisi, la scansione, la categorizzazione e la valutazione delle vulnerabilità autorizzate della ricerca multimotore in un unico flusso di lavoro.
DorkPlus esiste da oltre tre anni. È nato come scraper proxyless di Google ed è cresciuto fino a diventare una soluzione di pentesting all-in-one, evolvendo settimana dopo settimana.
Copyright © 2026 DorkPlus
Tutti i sistemi funzionanti