Linux 
Mai successo a me ho un set di dati in un file di testo e molte delle stesse linee sono duplicato.
Se il file che ho è abbastanza grande, e inoltre, Ho la necessità di successivamente ordinarlo, la cosa più logica è tradotto Elimina modi di dire duplicato.
Ho bisogno di, Pertanto, un file di testo per inviare tali informazioni, ma che sono state rimosse le righe identiche. Per fare questo, Se stiamo utilizzando un sistema Linux o un Sistema Unix-like, Faremo uso del comando AWK dal possedere Console. Vale a dire, Si può anche fare uso di questo in vostro Sistema Mac OS X.
Si supponga di avere, o creare, un file con il seguenti informazioni:
1 2 3 4 5 6 7 8 9 | $ more inicial.txt Juan Pedro Rocio María Juan María Felipe Pedro |
Per rimuovere le righe duplicate dalla stessa, Chiamiamo il comando AWK nel modo seguente:
1 | awk '!seen[$0]' inicial.txt final.txt |
dove Inicial.txt si riferisce al nostro archivio, e Final. txt è il nuovo file che verrà creato non troverai il duplicato di linee del file originale.
Per la eseguirlo e terminare l'esecuzione, Se esaminiamo quali contenuti avete il nuovo file. Final. txt, Possiamo vedere le seguenti:
1 2 3 4 5 6 | $ more final.txt Juan Pedro Rocio María Felipe |
Come si può vedere, il nuovo file Mostra le righe differenti, rimozione dei duplicati, file originale.
"Un pensiero su"Come rimuovere le righe duplicate da un file di testo utilizzando AWK”
Supponendo che ho origen.txt e voglio un destino.txt di file
Scrivo il comando awk '!visto[$0]’ Origen.txt destino.txt
Mi mostra le linee (così sembra che lo fa, ma alla fine ottengo sempre questo errore
AWK: linea di ord.:1: fatale: Impossibile aprire il file ' destino.txt’ per la lettura(Nessun file o directory)
Non credete a me il file e non riesco a trovare quello che questa mancanza. L'installazione di Linux Bash alle mie finestre della sonda 10, quindi rimuoverlo e ora estale cygwin