7 maneras de eliminar líneas duplicadas en archivos de texto

Un archivo de texto sin formato es una de las formas más comunes de almacenar datos escritos en una computadora. No solo es muy simple crear un archivo de texto, sino que también es increíblemente fácil de editar, ya que se puede hacer usando algo simple como la herramienta integrada de Bloc de notas de Windows. Un archivo de texto también es un formato universal, lo que significa que es legible en múltiples plataformas, incluyendo PC con Windows, Mac, Linux, teléfonos, tabletas y todo lo demás.

Si tiene varios archivos de texto grandes que necesita leer o ha fusionado varios archivos de texto en uno para facilitar las cosas, tiene sentido eliminar las líneas de texto que son duplicados entre sí. Puede revisar el archivo manualmente y eliminar los duplicados usted mismo, pero es mucho más fácil dejar que el proceso se maneje automáticamente. Aquí le mostramos una serie de formas diferentes en las que puede eliminar las líneas duplicadas de sus archivos de texto.

Use una utilidad de terceros para eliminar líneas duplicadas

Una forma simple y común de eliminar líneas duplicadas de un archivo de texto es usar una utilidad de terceros dedicada.

1. TextCrawler TextCrawler es un programa gratuito muy poderoso que está construido principalmente para la tarea de buscar y reemplazar datos en archivos de texto. Afortunadamente, a pesar de su poder, TextCrawler sigue siendo relativamente fácil de usar y la opción de eliminar líneas duplicadas se encuentra en una ventana separada, llamada Scratchpad.

Para abrir el Scratchpad, instale e inicie TextCrawler y vaya al menú Herramientas> Scratchpad, o presione F2. Pegue el texto en la ventana y presione el botón Do, la opción de eliminar líneas duplicadas debe seleccionarse en el menú desplegable de forma predeterminada, no lo selecciona de antemano. Luego presione Guardar para crear un nuevo archivo de texto o copie y pegue el texto nuevamente en su editor de texto favorito. El menú desplegable también tiene otras opciones para eliminar espacios en blanco y ordenar el texto en orden ascendente o descendente.

Descargar TextCrawler

2. Notepad ++

Notepad ++ es un editor de texto rico en funciones, pero no tiene una función integrada para eliminar líneas duplicadas, sin embargo, la opción se puede agregar a través del sistema de complemento externo que utiliza Notepad ++. Aunque algunos ya están incluidos, el complemento TextFX no está instalado de manera predeterminada y debe agregarse manualmente.

En la barra de menú de Notepad ++, haga clic en Complementos> Administrador de complementos> Mostrar administrador de complementos y busque el complemento de caracteres TextFX de la lista. Marque la casilla, haga clic en Instalar y reinicie el programa cuando se le solicite y el menú TextFX estará disponible. Para usar la función de eliminación de líneas duplicadas, cargue un archivo de texto en Notepad ++ y seleccione todo el texto (Ctrl + A), vaya a TextFX> Herramientas TextFX y seleccione la opción "+ Ordenar salidas solo líneas ÚNICAS (en la columna)".

Vuelva al mismo menú de Herramientas de TextFX y haga clic en "Ordenar líneas entre mayúsculas y minúsculas (en la columna)" o "Ordenar líneas entre mayúsculas y minúsculas (en la columna)", resaltado en amarillo arriba. Esto eliminará las líneas duplicadas y las dejará o eliminará con una carcasa diferente. Luego guarde el archivo nuevamente.

Descargar Notepad ++

3. Eliminador de líneas duplicadas

Duplicate Lines Remover es de la compañía de seguridad NoVirusThanks.org y tiene algunas características útiles. Por alguna razón, la página web del programa se ha eliminado de su sitio web, pero afortunadamente el enlace oficial de descarga todavía está disponible. Solo hay disponible un instalador de instalación, pero puede hacer que el programa sea portátil con la ayuda de Universal Extractor.

Para eliminar líneas duplicadas, busque o suelte un archivo en la ventana, haga clic en Verificar y si se encuentran líneas duplicadas, haga clic en Reparar y elija un nombre para guardar. También puede procesar por lotes varios archivos a la vez, incluso en subcarpetas, utilizando la pestaña Exploración de archivos. Sin embargo, tenga en cuenta que creará automáticamente copias de seguridad .bak y reemplazará los archivos originales con los archivos procesados. Use el cuadro de máscara y agregue una extensión de archivo para detener todo lo que se procesa. Una versión de línea de comandos dedicada está disponible en el paquete para usuarios más avanzados.

Descargar Duplicate Lines Remover

4. TextMechanic sin conexión

La parte sin conexión del nombre es para diferenciar esta herramienta del servicio TextMechanic en línea, ya que los dos no están relacionados. Esta herramienta es un ejecutable portátil y alojado en SourceForge. Además de eliminar líneas duplicadas y vacías, TextMechanic Offline también puede eliminar líneas que contienen texto específico o buscar y reemplazar texto.

Pegue el texto que se procesará en la ventana TextMechanic antes de presionar el botón " Eliminar líneas duplicadas " seguido del botón " Eliminar líneas vacías ". Si no presiona ambos botones, el texto contendrá líneas vacías donde se han eliminado los duplicados. Finalmente presione " Guardar en el portapapeles " para que el texto corregido pueda volver a pegarse en su editor de texto. Esta herramienta distingue entre mayúsculas y minúsculas, por lo que las líneas deben ser idénticas tanto en el caso como en el contenido si se van a eliminar.

Descargar TextMechanic Offline

Eliminar líneas duplicadas con los comandos integrados de Windows

Usando una combinación de comandos integrados de Windows, es posible eliminar líneas duplicadas de los archivos de texto.

5. Usando un script por lotes

Poner esos comandos juntos en un solo script por lotes permite un procesamiento rápido y fácil. Esto también podría ser útil si su computadora tiene restricciones para ejecutar software de terceros. El script que estamos utilizando se encontró en StackOverflow y se modificó para que sea más fácil de operar.

Simplemente descargue el archivo Zip DeDupe y extráigalo, hay dos archivos BAT en el interior, uno distingue entre mayúsculas y minúsculas a menos que su caso también sea idéntico, el otro script no distingue entre mayúsculas y minúsculas. Para eliminar líneas duplicadas en un archivo, todo lo que tiene que hacer es soltar el archivo de texto en el archivo .BAT y automáticamente procesará y generará el archivo en la misma carpeta con un sufijo _deducido. Las líneas no se reordenan sino que se eliminan en su lugar, ideal si desea mantener el mismo orden de líneas que el original.

Descargar DeDupe Batch Files

Eliminar líneas duplicadas usando un servicio en línea

Hay muchos servicios en línea para hacer el trabajo de eliminar líneas duplicadas del texto, hemos elegido un par que debe cubrir sus necesidades.

6. TextMechanic

No debe confundirse con la herramienta TextMechanic Offline que no está relacionada, este sitio web tiene una gran cantidad de diferentes herramientas de manipulación basadas en texto en línea. Además de eliminar solo las líneas duplicadas, si desea tener todas las otras herramientas disponibles a la vez, use el Bloc de notas de manipulación de texto todo en uno.

Hay dos formas de introducir el texto en la ventana: use el botón Cargar archivo para buscarlo o presione el botón azul C para borrar el texto actual en la ventana y pegar su propio texto. Luego haga clic en el botón Eliminar líneas duplicadas, los cuadros de mayúsculas y minúsculas y la eliminación de líneas vacías están disponibles para verificar si su texto lo requiere. Una vez hecho esto, haga clic en el botón Guardar como o presione S para seleccionar todo el texto, haga clic derecho y cópielo (o presione Ctrl + C) listo para pegarlo en un editor de texto.

Visite TextMechanic Eliminar líneas duplicadas

7. Eliminar líneas duplicadas

Al igual que TextMechanic.com, el sitio web TextFixer tiene una gran cantidad de herramientas de manipulación de texto, números y HTML, de las cuales la página de la Herramienta de eliminación de líneas duplicadas es solo una.

Pegue el texto a procesar en la ventana superior, presione el botón Eliminar líneas duplicadas y el resultado aparecerá en la ventana inferior listo para ser seleccionado y copiado. Esta herramienta tiene un par de opciones de clasificación útiles, como ordenar en orden alfabético o invertir el orden por completo. La eliminación de línea distingue entre mayúsculas y minúsculas, por lo que una sola letra mayúscula o minúscula en una línea significa la diferencia entre permanecer o eliminarse.

Visite la herramienta de eliminación de líneas duplicadas TextFixer

Algunas otras herramientas de eliminación de líneas duplicadas en línea incluyen DeDupeList.com, Eliminar líneas duplicadas por Text-Utils.com y la herramienta List Scrubber.