EspañolDeutschFrançaisItalianoPortuguêsРусскийΕλληνικά日本語中文(简体)हिन्दी; हिंदीالعربية
Definir como idioma padrão
Perguntas de PF - Fórum

Como remover linhas duplicadas de um arquivo de texto usando o AWK

Linux  
 
Como remover linhas duplicadas de um arquivo de texto usando o AWK

Já aconteceu comigo eu tenho um conjunto de dados em um arquivo de texto e muitas das mesmas linhas são duplicata.

Se o arquivo que eu tenho é suficiente grande, e além disso, Eu tenho a necessidade de posteriormente encomendá-lo, a coisa mais lógica é previamente excluir Provérbios duplicata.

Eu preciso, Por conseguinte, um arquivo de texto para enviar essas informações, mas que foram removidas as linhas idênticas. Para fazer isso, Se você estiver usando um sistema Linux ou um Sistema Unix-like, Vamos fazer uso do comando AWK do próprio Console. Ou seja, também você pode fazer uso em seu Sistema Mac OS X.

Suponha que você tenha, ou criar, um arquivo com o seguintes informações:

Para remover as linhas duplicadas da mesma, Chamamos o comando AWK da seguinte maneira:

Onde inicial.txt refere-se ao nosso arquivo, e txt é o novo arquivo a ser criado onde as linhas duplicadas a partir do arquivo original não serão encontradas.

Para o executá-lo e termina sua execução, Se nós revisamos o conteúdo que você tem o novo arquivo. txt, Podemos ver a seguir:

Como você pode ver, o novo arquivo mostra as diferentes linhas, eliminando o duplicado, arquivo original.

 

Junte-se o canal de Telegrama

Deixe-em um comentário ou entrar para oFórum
Share on Facebook Tweet about this on Twitter Share on Google+ Pin on Pinterest Share on Reddit Share on VK Share on StumbleUpon Share on Tumblr Share on LinkedIn Email this to someone Print this page

Artigos relacionados

"Um pensamento sobre"Como remover linhas duplicadas de um arquivo de texto usando o AWK

Juan Carlos Ramirez Fuentes

Supondo que eu tenho origen.txt e quero destino.txt um arquivo
Eu escrevo o comando awk '!visto[$0]’ origen.txt destino.txt
Ele me mostra as linhas (assim, parece que ele faz..., Mas no final eu sempre recebo este erro
AWK: linha de Ord.:1: fatal: Não é possível abrir o arquivo ' destino.txt’ para leitura(Nenhum tal lima ou diretório)

Não acredita em mim o arquivo e não com o que eu encontrar esta falhando. Sonda instalando Linux Bash no meus windows 10, em seguida removê-lo e agora estale cygwin

Comentários estão fechados.