Remove duplicate URLs from any list
Normalize and deduplicate crawl exports, copied links and URL datasets. See duplicate counts instantly while every address remains in your browser.
Opciones de limpieza
Limpiar URL
2 parámetros de seguimiento eliminados
Utilice esta utilidad sólo con datos y sistemas que esté autorizado a evaluar. Formatear una lista de URL no otorga permiso para probar sus destinos.
Seis formatos de salida de una lista de URL
Cambie la salida del espacio de trabajo sin editar su entrada. Cada formato se normaliza y deduplica automáticamente.
Limpiar URL
Esquemas en minúsculas y nombres de host, cadenas de consulta ordenadas, sin fragmentos, credenciales ni líneas repetidas.
Dominios
Contraiga una lista mixta en un inventario de nombres de host único, listo para revisiones de alcance y listas de activos.
Puntos finales
Mantenga el origen y la ruta, elimine todas las cadenas de consulta, de modo que el mismo punto final solo aparezca una vez.
Caminos
Extraiga estructuras de rutas entre hosts para comparar entornos o mapear una superficie de aplicación.
Parámetros
Convierta una lista de URL en una lista de palabras clave de consulta deduplicada sin escribir una sola expresión regular.
Plantillas FUZZ
Cambie cada valor de parámetro por el marcador de posición FUZZ utilizado por los flujos de trabajo de prueba autorizados comunes.
Una utilidad de URL que nunca ve tu lista
Sin cuenta, sin cargas ni solicitudes a los dominios que pegas: solo procesamiento de texto en la pestaña de tu navegador.
100%
Procesamiento local
Cada URL es analizada por su navegador. No se carga nada en DorkPlus y no se contacta con ningún dominio pegado.
01
6
Formatos de salida
Limpie URL, dominios, puntos finales, rutas, listas de palabras de parámetros y plantillas FUZZ desde una sola entrada.
02
0
Límites y cuentas
Sin inicio de sesión, sin límite de carga y sin cola. Pegue una lista, elija una salida y cópiela o expórtela al instante.
03How to deduplicate a URL list
Standardize superficial URL differences first, then return each remaining normalized address exactly once.
Paste the complete list
Add repeated URLs one per line or paste text containing links. The workspace counts valid, invalid and duplicate outputs.
https://example.com/?b=2&a=1
https://EXAMPLE.com/?a=1&b=2Set the comparison rules
Choose whether tracking keys, fragments, credentials and trailing slashes should be removed before URLs are compared.
Review the unique output
Exact normalized matches collapse to one line. The duplicate counter shows how many repeated output lines were removed.
https://example.com/?a=1&b=2Copy or export the list
Download the deduplicated URLs as text or copy them into the next authorized workflow.
Manejado automáticamente
Why normalize before removing duplicates?
String-only deduplication misses URLs that differ in hostname capitalization, parameter order or removable campaign tags. Normalization exposes those equivalent representations before comparison.
Two URLs are not guaranteed to serve the same response merely because they look similar. The optional controls let you choose the definition of a duplicate that fits your dataset.
- Count removed duplicate outputs
- Control normalization before comparison
- Preserve one stable URL per exact result
Casos de uso comunes
Crawler exports
Reduce repeat URLs before a second processing pass.
Content inventories
Remove formatting variants from a page list.
Redirect migrations
Prepare stable old and new URL sets for comparison.
Research datasets
Save one normalized copy of each collected link.
URL deduplicator questions
Answers about duplicate detection, normalization choices and privacy.
¿Necesita descubrir y procesar URL a escala?
DorkPlus combina análisis, rastreo, categorización y evaluación de vulnerabilidades autorizadas de búsqueda multimotor en un solo flujo de trabajo.
DorkPlus existe desde hace más de tres años. Empezó como un scraper proxyless de Google y creció hasta convertirse en una solución todo en uno para pentesting, evolucionando semana tras semana.
Copyright © 2026 DorkPlus
Todos los sistemas funcionan