本篇文章給大家分享的是有關(guān)shell中怎么刪除文件的重復(fù)行，小編覺(jué)得挺實(shí)用的，因此分享給大家學(xué)習(xí)，希望大家閱讀完這篇文章后可以有所收獲，話(huà)不多說(shuō)，跟著小編一起來(lái)看看吧。

創(chuàng)新互聯(lián)公司專(zhuān)注于北戴河網(wǎng)站建設(shè)服務(wù)及定制，我們擁有豐富的企業(yè)做網(wǎng)站經(jīng)驗(yàn)。 熱誠(chéng)為您提供北戴河營(yíng)銷(xiāo)型網(wǎng)站建設(shè)，北戴河網(wǎng)站制作、北戴河網(wǎng)頁(yè)設(shè)計(jì)、北戴河網(wǎng)站官網(wǎng)定制、微信平臺(tái)小程序開(kāi)發(fā)服務(wù)，打造北戴河網(wǎng)絡(luò)公司原創(chuàng)品牌,更為您提供北戴河網(wǎng)站排名全網(wǎng)營(yíng)銷(xiāo)落地服務(wù)。

代碼如下:

cat log
www.yisu.com 192.168.1.1
www.yisu.com 192.168.1.1
www.yisu.com 192.168.1.2
ffffffffffffffffff
ffffffffffffffffff
eeeeeeeeeeeeeeeeeeee
fffffffffffffffffff
eeeeeeeeeeeeeeeeeeee
eeeeeeeeeeeeeeeeeeee
gggggggggggggggggggg

可用以下方法去除重復(fù)行：

1.使用uniq/sort刪除重復(fù)行
注意：?jiǎn)渭僽niq是不行的。

代碼如下:

shell> sort -k2n file | uniq > a.out

這里我做了個(gè)簡(jiǎn)單的測(cè)試，當(dāng)file中的重復(fù)行不再一起的時(shí)候，uniq沒(méi)法刪除所有的重復(fù)行。經(jīng)過(guò)排序后，所有相同的行都在相鄰，因此unqi可以正常刪除重復(fù)行。

2.使用用sort+awk命令
注意：?jiǎn)渭僡wk同樣不行，原因同上。

代碼如下:

shell> sort -k2n file | awk '{if ($0!=line) print;line=$0}'

也可以使用 awk '!i[$1]++' log;

3.用sort+sed命令，同樣需要sort命令先排序。

代碼如下:

shell> sort -k2n file | sed '$!N; /^\(.*\)\n\1$/!P; D'

以上就是shell中怎么刪除文件的重復(fù)行，小編相信有部分知識(shí)點(diǎn)可能是我們?nèi)粘９ぷ鲿?huì)見(jiàn)到或用到的。希望你能通過(guò)這篇文章學(xué)到更多知識(shí)。更多詳情敬請(qǐng)關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道。

網(wǎng)站欄目：shell中怎么刪除文件的重復(fù)行-創(chuàng)新互聯(lián)
網(wǎng)站鏈接：http://www.sd-ha.com/article40/dsdheo.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供外貿(mào)網(wǎng)站建設(shè)、品牌網(wǎng)站制作、網(wǎng)站內(nèi)鏈、營(yíng)銷(xiāo)型網(wǎng)站建設(shè)、全網(wǎng)營(yíng)銷(xiāo)推廣、定制網(wǎng)站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶(hù)投稿、用戶(hù)轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話(huà)：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)