linux文件行排序去重結果不同sort和uniq

騷年，你有仔細觀察者兩個命令嗎？

創新互聯建站專注骨干網絡服務器租用10余年，服務更有保障！服務器租用，資陽主機托管 成都服務器租用，成都服務器托管，骨干網絡帶寬，享受低延遲，高速訪問。靈活、實現低成本的共享或公網數據中心高速帶寬的專屬高性能服務器。

舉個例子：

文件filea為：

a

b

c

c

d

b

執行sort filea |uniq -u |wc -l，先排序，則刪除了c和b的行；

執行sort -u filea |wc -l，排序，同時刪除相同的行，則只刪除c行。

linux：如何對文本里的相同行進行去重

①選中范圍；②查找重復的文本內容，如“今天的大霧今天的大霧”；③替換，替換內容“今天的大霧”，全都替換、確定。

linux命令對某一列去重/統計

cat file.csv | awk -F '\t' '{print $2}'

'\t'指的是file.csv不同列以'\t'分割，如果的是以其他符號分割，換成其她符號；

'{print $2}'是指取第2列，此處從1開始計數，第1列，第2列；

一般去重之前要進行排序

cat file.csv | awk -F '\t' '{print $2}'?| sort | uniq

前半部分與命令1一樣，后面加上| sort | uniq

比如通過命令2發現，第2列取值有兩種，分別是'neg'和‘pos’，那么我想知道有多少行的第2列取值為'pos'，多少行的第2列取值為'neg'。

cat file.csv | awk -F '\t' '{print $2}'?|?grep -o 'neg'| wc -l

前半部分與命令1一樣，后面加上?|?grep -o 'neg'| wc -l

grep -o 'neg'就是取出取值為'neg'的行

wc -l 是計數有多少行

linux去重不要排序

寫個腳本來做就是了. ruby, awk都成

awk?'{if(!($0?in?a)){print?$0};a[$0];}'

linux去重命令

linux去重命令是什么呢？

在介紹uniq命令之前，我們先來新建在下面的案例中需要用到的文件/tmp/uniq.txt，內容如下

默認情況下uniq只會檢索相鄰的重復數據從而去重。在/tmp/uniq.txt中雖然“onmpw web site” 有三條，但是其中一條是和其他兩條不相鄰的，所以只去重了一條，同理“error php function”也是這種情況。

鑒于以上的檢索機制，所以uniq一般情況下要和sort命令一塊兒使用。

復制代碼

# sort 1.txt | uniq

alpha css web

cat linux command

error php function

hello world

onmpw web site

recruise page site

repeat no data

wello web site

復制代碼

現在再看是不是所有的重復項都已經經過去重處理了。

好了，小試牛刀一把以后，下面我們開始對uniq命令的選項進行簡單的介紹。

-c 統計每一行數據的重復次數

復制代碼

sort 1.txt | uniq -c

1 alpha css web

1 cat linux command

2 error php function

1 hello world

3 onmpw web site

1 recruise page site

1 repeat no data

1 wello web site

復制代碼

我們看 “error php function”出現了兩次，“onmpw web site”出現了三次。其余的都沒有重復項所以為1。

-i 忽略大小寫

在1.txt中添加一行數據 “Error PHP function”

復制代碼

cat 1.txt

alpha css web

cat linux command

error php function

hello world

onmpw web site

onmpw web site

wello web site

Error PHP function

recruise page site

error php function

repeat no data

onmpw web site

復制代碼

復制代碼

sort 1.txt | uniq –c

1 alpha css web

1 cat linux command

2 error php function

1 Error PHP function

1 hello world

3 onmpw web site

1 recruise page site

1 repeat no data

1 wello web site

復制代碼

我們看結果，uniq默認是區分大小寫的。使用-i可以忽略掉大小寫問題

復制代碼

sort 1.txt | uniq –c –i

1 alpha css web

1 cat linux command

3 error php function

1 hello world

3 onmpw web site

1 recruise page site

1 repeat no data

1 wello web site

復制代碼

現在再看是不是大小寫已經忽略掉了。

-u 只輸出沒有重復的數據

復制代碼

sort 1.txt | uniq –iu

alpha css web

cat linux command

hello world

recruise page site

repeat no data

wello web site

復制代碼

看到沒，結果中的“error php function”和“onmpw web site”都沒有被輸出。

-w N 表示從第一個字符開始只檢索N個字符來判重。

復制代碼

sort 1.txt | uniq –iw 2

alpha css web

cat linux command

error php function

hello world

onmpw web site

recruise page site

wello web site

復制代碼

這里我們讓uniq只對前兩個字符進行檢索，recruit 和 repeat前兩個字符都是re，所以這兩行也被認為是重復的。

-f N 表示略過前面N個字段，從第N+1個字段開始檢索重復數據。以空格符或者tab鍵為分隔符。

復制代碼

sort 1.txt | uniq –icf 2

1 alpha css web

1 cat linux command

3 error php function

1 hello world

4 onmpw web site

1 repeat no data

1 wello web site

復制代碼

我們在結果中可以看到，這是略過前面的2個字段，從第三個字段開始判重的。“recruise page site” 和 “onmpw web site”的第三個字段相同，所以被認為是相同的數據。但是我們看到，“wello web site”和“onmpw web site”不但第三個字段相同，第二個也相同。那為什么它不被計入“onmpw web site”的重復數據中呢。對于這個問題就要回到前面說的，uniq只檢測相鄰的數據是否是重復的。

要解決這個問題還需要在sort命令上著手。還記得sort命令的-k選項嗎，沒錯，我們就用它來解決。

復制代碼

sort –k 2 1.txt | uniq –icf 2

1 alpha css web

1 cat linux command

1 repeat no data

1 recruise page site

3 error php function

4 onmpw web site

1 hello world

復制代碼

我們看，是不是解決了。

-s N表示略過前面N個字符，關于這個選項的例子我們這里就不再舉了，該選項和-f N的用法差不多。只不過-f N是略過前面N個字段；-s是略過前面N個字符。

-d 只輸出有重復項的第一條的數據。

sort 1.txt | uniq -idw 2

repeat no data

error php function

onmpw web site

結果只有這三條。為什么會有“repeat no data”這條數據，這里注意-w 2的應用。

-D 對于重復項全部輸出

復制代碼

sort 1.txt | uniq –iDw 2

repeat no data

recruise page site

error php function

error php function

Error PHP function

onmpw web site

onmpw web site

onmpw web site

復制代碼

好了，關于uniq的選項的所有常用的命令已經都介紹完了。關于uniq更詳細的信息可以使用命令info uniq。

本文題目：linux命令對某行去重的簡單介紹
網頁路徑：http://vcdvsql.cn/article10/hedido.html

成都網站建設公司_創新互聯，為您提供ChatGPT、面包屑導航、微信公眾號、關鍵詞優化、靜態網站、自適應網站

廣告

聲明：本網站發布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創新互聯