EspañolDeutschFrançaisItalianoPortuguêsРусскийΕλληνικά日本語中文(简体)हिन्दी; हिंदीالعربية
PF Preguntas - Foro

Cómo eliminar líneas duplicadas de un archivo de texto usando AWK

Linux
 
Cómo eliminar líneas duplicadas de un archivo de texto usando AWK

En alguna ocasión me ha ocurrido que tengo un conjunto de datos en un archivo de texto y muchas de las líneas del mismo están duplicadas.

Si el archivo que tengo es bastante grande, y además, tengo la necesidad de posteriormente ordenarlo, lo más lógico es previamente eliminar dichos duplicados.

Necesito, por tanto, un archivo de texto que presente dicha información pero del cual se hayan eliminado las filas idénticas. Para ello, si estamos usando un sistema Linux o un sistema Unix-like, podremos hacer uso del comando awk desde la propia consola. Es decir, también puedes hacer uso de esto en tu sistema Mac OS X.

Supongamos que tienes, o creas, un archivo con la siguiente información:

Para eliminar las líneas duplicadas del mismo, llamaríamos al comando awk de la siguiente forma:

donde inicial.txt hace referencia a nuestro archivo, y final.txt es el nuevo archivo que se creará donde no se encontrarán las líneas duplicadas del archivo original.

Al ejecutarlo y finalizar su ejecución, si revisamos qué contenido tiene el nuevo archivo final.txt, podemos ver lo siguiente:

Como puedes ver, el nuevo archivo muestra las diferentes filas, eliminando los duplicados, del archivo original.

 

Únete al canal de Telegram

Déjanos un comentario o entra al  Foro
Compártelo Share on FacebookTweet about this on TwitterShare on Google+Pin on PinterestShare on RedditShare on VKShare on StumbleUponShare on TumblrShare on LinkedInEmail this to someonePrint this page

Artículos relacionados

Deja un comentario