Mir je passiert ist ich habe ein Datensatz in einem Text-Datei und viele der gleichen Linien sind Duplikat.

Wenn die Datei habe ich genug ist groß, und darüber hinaus, Ich habe das Bedürfnis, anschließend bestellen Sie, die logischste Sache ist bisher Löschen Sprüche Duplikat.

Ich brauche, Daher, eine Datei des Textes, die solche Informationen präsentieren, aber davon wird sie identische Zeilen beseitigt haben. Dazu, Wenn wir ein System verwenden Linux oder ein System Unix-ähnlichen, Wir machen verwenden des Befehls AWK aus der eigenen Konsole. D. h., Machen Sie auch Gebrauch davon in Ihrem Mac OS X-system.

Angenommen, Sie verfügen, oder erstellen Sie, ein Datei mit der folgende Informationen:

Entfernen Sie doppelte Linien aus dem gleichen, Wir würden den Befehl aufrufen. AWK auf folgende Weise:

wo Inicial.txt bezieht sich auf unser Archiv, und Final.txt ist die neue zu erstellende Datei wo werden doppelte Zeilen aus der ursprünglichen Datei nicht gefunden.

Zu den führen Sie es und am Ende seiner Ausführung, Wenn wir, welche Inhalte überprüfen haben Sie die neue Datei Final.txt, Wir können Folgendes angezeigt:

Wie Sie sehen können, die neue Datei zeigt die verschiedenen Zeilen, Löschen von Duplikaten, Original-Datei.