मुझे कभी नहीं हुआ है मैं एक डेटा सेट में एक पाठ फ़ाइल और उसी की तर्ज की कई हैं डुप्लिकेट.

यदि फ़ाइल है कि मैं काफी है बड़े, और इसके अलावा, मैं बाद में करने के लिए की जरूरत है यह आदेश, पहले सबसे तार्किक बात है हटाएँ कहावतें डुप्लिकेट.

मैं की जरूरत है, इसलिए, ऐसी जानकारी सबमिट करने के लिए एक पाठ फ़ाइल लेकिन जो किया गया है समान पंक्तियाँ निकाल दी. ऐसा करने के लिए, यदि आप एक सिस्टम का उपयोग कर रहे हैं लिनक्स या एक यूनिक्स की तरह सिस्टम, हम कर देगा का आदेश का उपयोग करें AWK खुद से कंसोल. यानी, आप भी कर सकते हैं में इस का उपयोग करें अपने मैक ओएस एक्स सिस्टम.

मान लीजिए कि आप है, या बनाएँ, एक फ़ाइल के साथ निम्न जानकारी:

उसी से डुप्लिकेट पंक्तियों को निकालने के लिए, हम आदेश कहोगे AWK निम्नलिखित तरीके में:

जहाँ inicial.txt हमारे संग्रह करने के लिए संदर्भित करता है, और final.txt नया है बनाया जा करने के लिए फ़ाइल जहां मूल फ़ाइल से डुप्लिकेट पंक्तियाँ मिल जाएगा नहीं.

करने के लिए इसे चलाएँ और अंत में इसका निष्पादन, हम क्या सामग्री की समीक्षा करें, यदि आप नई फ़ाइल है final.txt, हम निम्न देख सकते हैं:

जैसा कि आप देख सकते हैं, नई फ़ाइल अलग पंक्तियों से पता चलता है, डुप्लिकेट्स को निकालने, मूल फ़ाइल.