Linux 
今まで私に起こった私は持っている、 データ セット で、 テキスト ファイル 同じ路線の多くは、 重複.
私が持っているファイルがかなりある場合 大規模です, 他に、, 私は後でのための必要性があります。 それを注文します。, 以前はもっと論理的に 削除 ことわざ 重複.
私は必要, したがって, このような情報を送信するテキスト ファイルが同一の行を削除しています。. これを行うに, システムを使用している場合 Linux または、 Unix ライクなシステム, 我々 になるコマンドの使用 AWK 自身から コンソール. すなわち, することもにこれを利用して Mac OS X システム.
あるとします, 作成または, 、 ファイル と、 次の情報:
1 2 3 4 5 6 7 8 9 | $ more inicial.txt Juan Pedro Rocio María Juan María Felipe Pedro |
同じから重複行を削除するには, 我々 は、コマンドを呼び出すだろう AWK 次の方法で:
1 | awk '!seen[$0]' inicial.txt final.txt |
どこ inicial.txt 私達のアーカイブを参照します。, と final.txt 新しい ファイルを作成します。 元のファイルから重複する行を見つけることができません。.
に、 それを実行します。 その実行を終了と, 新しいファイルがある場合は確認の内容 final.txt, 我々 は次にそれを見ることができます。:
1 2 3 4 5 6 | $ more final.txt Juan Pedro Rocio María Felipe |
あなたが見ることができます。, 新しいファイルは、別の行を示しています, 重複の削除, 元のファイル.
私達にコメントを残すかへの入力、フォーラム
「1 つの思想」AWK を使用してテキスト ファイルから重複する行を削除する方法”
私は origen.txt と私はファイル destino.txt をしたいと仮定すると
私は awk のコマンドを書く '!見てください。[$0]’ origen.txt destino.txt
それは私の行を表示します。 (それはそう, 最後に、私はいつもこのエラーを得るが、
AWK: オード ライン。:1: 致命的です: ファイルを開くことができません ' destino.txt’ 読書のため(そのようなファイルまたはディレクトリ)
私のファイルを信じていないし、私は何にこの失敗を見つけることができません。. 私の窓の Linux の Bash をインストールするプローブ 10, それと今 estale cygwin を削除して