Linux 
Когда-либо случилось со мной, у меня есть набор данных в текстовый файл и многие из таких же линий дублировать.
Если файл, у меня есть достаточно большие, и Кроме того, У меня есть необходимость впоследствии заказать его, наиболее логичным является ранее удалить поговорки дублировать.
Мне нужна, Поэтому, текстовый файл представить такую информацию, но которые были удалены одинаковых строк. Для этого, Если вы используете систему Linux или UNIX подобные системы, Мы будем делать использовать команды AWK от собственного Консоль. Т.е., Вы также можете использовать это в вашей Система Mac OS X.
Предположим, что у вас есть, или создать, a файл с Следующая информация:
1 2 3 4 5 6 7 8 9 | $ more inicial.txt Juan Pedro Rocio María Juan María Felipe Pedro |
Чтобы удалить повторяющиеся строки из той же, Мы бы назвали команды AWK следующим образом:
1 | awk '!seen[$0]' inicial.txt final.txt |
где Inicial.txt делает ссылку на наш файл, и Final.txt новый файл должен быть создан где не будут найдены дубликаты строк из исходного файла.
Для Запустите его и положить конец его исполнения, Если мы рассмотрим какое содержание у вас есть новый файл Final.txt, Мы видим следующие:
1 2 3 4 5 6 | $ more final.txt Juan Pedro Rocio María Felipe |
Как вы можете видеть, новый файл показывает различные строки, Удаление дубликатов, исходный файл.
«Одна мысль о»Как удалить повторяющиеся строки из текстового файла с помощью AWK”
Предполагая, что у меня origen.txt и я хочу destino.txt файл
Я пишу команды awk '!видел[$0]’ Origen.txt destino.txt
Он показывает мне линии (так кажется, что он не, но в конце концов я всегда получаю эту ошибку
AWK: линия орд.:1: со смертельным исходом: не удается открыть файл ' destino.txt’ для чтения(Нет такого файла или каталога)
Не верьте мне файл и я не могу найти то, что я этот сбой. Зонд, установка Linux Баш на моем windows 10, затем удалите его и теперь estale cygwin