Linux 
Já aconteceu comigo eu tenho um conjunto de dados em um arquivo de texto e muitas das mesmas linhas são duplicata.
Se o arquivo que eu tenho é suficiente grande, e além disso, Eu tenho a necessidade de posteriormente encomendá-lo, a coisa mais lógica é previamente excluir Provérbios duplicata.
Eu preciso, Por conseguinte, um arquivo de texto para enviar essas informações, mas que foram removidas as linhas idênticas. Para fazer isso, Se você estiver usando um sistema Linux ou um Sistema Unix-like, Vamos fazer uso do comando AWK do próprio Console. Ou seja, também você pode fazer uso em seu Sistema Mac OS X.
Suponha que você tenha, ou criar, um arquivo com o seguintes informações:
1 2 3 4 5 6 7 8 9 | $ more inicial.txt Juan Pedro Rocio María Juan María Felipe Pedro |
Para remover as linhas duplicadas da mesma, Chamamos o comando AWK da seguinte maneira:
1 | awk '!seen[$0]' inicial.txt final.txt |
Onde inicial.txt refere-se ao nosso arquivo, e txt é o novo arquivo a ser criado onde as linhas duplicadas a partir do arquivo original não serão encontradas.
Para o executá-lo e termina sua execução, Se nós revisamos o conteúdo que você tem o novo arquivo. txt, Podemos ver a seguir:
1 2 3 4 5 6 | $ more final.txt Juan Pedro Rocio María Felipe |
Como você pode ver, o novo arquivo mostra as diferentes linhas, eliminando o duplicado, arquivo original.
"Um pensamento sobre"Como remover linhas duplicadas de um arquivo de texto usando o AWK”
Supondo que eu tenho origen.txt e quero destino.txt um arquivo
Eu escrevo o comando awk '!visto[$0]’ origen.txt destino.txt
Ele me mostra as linhas (assim, parece que ele faz..., Mas no final eu sempre recebo este erro
AWK: linha de Ord.:1: fatal: Não é possível abrir o arquivo ' destino.txt’ para leitura(Nenhum tal lima ou diretório)
Não acredita em mim o arquivo e não com o que eu encontrar esta falhando. Sonda instalando Linux Bash no meus windows 10, em seguida removê-lo e agora estale cygwin