曾经发生在我身上我有 数据集 在 文件的文本 和许多相同的行 重复.

如果文件是相当 大, 此外, 我有到随后的需要 订购, 最符合逻辑的事是以前 删除 语录 重复.

我需要, 因此, 提交此类信息的文本文件，但现已删除相同的行. 要做到这一点, 如果您使用的系统 Linux 或 Unix 系统, 我们将使用的命令 AWK 从自己 控制台. 即, 您还可以使用这样的你 Mac OS X 系统.

假设你有, 或创建, 一个 文件 与 以下信息:

从同一删除重复的行, 我们将调用的命令 AWK 通过以下方式:

在哪里 inicial.txt 我们的档案是指, 和 final.txt 是新的 要创建文件 在原始文件中的重复行不会被发现.

到 运行它 和结束其执行, 如果我们审查哪些内容有了新的文件 final.txt, 我们可以看到以下内容:

正如你可以看到, 新的文件显示不同的行, 删除重复项, 原始文件.