怎么用命令行刪除hdfs上的文件

命令：hadoop fs -rmr /home/mm/lily2(要求是你把hadoop的bin加到PATH中，并開啟hadoop)

創(chuàng)新互聯(lián)公司專注為客戶提供全方位的互聯(lián)網(wǎng)綜合服務(wù)，包含不限于網(wǎng)站設(shè)計、成都網(wǎng)站制作、巴州網(wǎng)絡(luò)推廣、成都小程序開發(fā)、巴州網(wǎng)絡(luò)營銷、巴州企業(yè)策劃、巴州品牌公關(guān)、搜索引擎seo、人物專訪、企業(yè)宣傳片、企業(yè)代運營等，從售前售中售后，我們都將竭誠為您服務(wù)，您的肯定，是我們最大的嘉獎；創(chuàng)新互聯(lián)公司為所有大學(xué)生創(chuàng)業(yè)者提供巴州建站搭建服務(wù)，24小時服務(wù)熱線：18980820575，官方網(wǎng)址：vcdvsql.cn

rm -rf /home/mm/lily2（這是刪除linux文件系統(tǒng)的文件夾）。

刪除目錄

rd /s /q "c:\hello"

rem 加引號可以防止因路徑中有空格而出錯

rem 上面的代碼意為：刪除c:\hello目錄下所有的內(nèi)容(包括"c:\hello")

刪除文件

del /f /q /s "c:\hello\*.*"

rem 刪除c;\hello文件夾下所有的文件，包括子文件夾的內(nèi)容，（不包括子文件夾，也不包括c:\hello文件夾）

rem 文件夾=目錄

Linux刪除文件和目錄怎么做？

rm

選項

文件或目錄名

rm

myfile刪除普通文件

rm

r

mydvd

遞歸刪除目錄

rm

rf

mydvd

遞歸刪除目錄并不需確認

希賽里有很多這些常見命令的解釋，

可以看看

HDFS操作命令

HDFS命令基本格式：hadoop fs -cmd args

表格：

注意：以上表格中路徑包括hdfs中的路徑和linux中的路徑。對于容易產(chǎn)生歧義的地方，會特別指出“l(fā)inux路徑”或者“hdfs路徑”。如果沒有明確指出，意味著是hdfs路徑。

HDFS有一個默認的工作目錄/user/$USER，其中$USER是用戶的登錄用戶名。不過目錄不會自動建立，需要mkdir建立它

命令格式：hadoop fs -mkdir

注意：支持級聯(lián)創(chuàng)建新目錄，Hadoop的mkdir命令會自動創(chuàng)建父目錄，類似于帶-p的linux命令

put命令從本地文件系統(tǒng)中 復(fù)制單個或多個 源路徑到目標文件系統(tǒng)，也支持從標準輸入設(shè)備中讀取輸入并寫入目標文件系統(tǒng)。分為本地上傳和上傳到HDFS中。

命令格式：hadoop fs -put filename

最后一個參數(shù)是句點，相當(dāng)于放入了默認的工作目錄，等價于 hadoop fs -put example.txt /user/chen

上傳文件時，文件首先復(fù)制到DataNode上，只有所有的DataNode都成功接收完數(shù)據(jù)，文件上傳才是成功的。

命令格式：hadoop dfs put filename newfilename

從本地文件系統(tǒng)中復(fù)制單個或多個源路徑到目標文件系統(tǒng)。也支持從 標準輸入 中讀取輸入寫入目標文件系統(tǒng)。

采用-ls命令列出HDFS上的文件。在HDFS中未帶參數(shù)的-ls命令沒有返回任何值，它默認返回HDFS的home目錄下

的內(nèi)容。在HDFS中，沒有當(dāng)前工作目錄這樣一個概念，也沒有cmd這樣的命令。

命令格式：user@NameNode:hadoop$ bin/hadoop dfs -ls

如：

通過“-ls 文件夾名” 命令瀏覽HDFS下文件夾中的文件

命令格式：hadoop dfs -ls 文件夾名

通過該命令可以查看in文件夾中的所有文檔文件

通過“-cat 文件名”命令查看HDFS下文件夾中某個文件的內(nèi)容

命令格式：hadoop$ bin/hadoop dfs -cat 文件名

通過這個命令可以查看in文件夾中所有文件的內(nèi)容

通過“-get 文件按1 文件2”命令將HDFS中某目錄下的文件復(fù)制到本地系統(tǒng)的某文件中，并對該文件重新命名。

命令格式：hadoop dfs -get 文件名 新文件名

-get 命令與-put命令一樣，既可以操作目錄，也可以操作文件

通過“-rmr 文件”命令刪除HDFS下的文件

命令格式：hadoop$ bin/hadoop dfs -rmr 文件

-rmr 刪除文檔命令相當(dāng)于delete的遞歸版本。

通過-format命令實現(xiàn)HDFS格式化

命令格式：user@NameNode:hadoop$ bin/hadoop NameNode -format

通過運行start-dfs.sh，就可以啟動HDFS了

命令格式：user@NameNode:hadoop$ bin/ start-dfs.sh

當(dāng)需要退出HDFS時，通過stop-dfs.sh 就可以關(guān)閉HDFS

命令格式：user@NameNode:hadoop$ bin/ stop-dfs.sh

HDFS的命令遠不止這些，對于其他操作，可以通過-help commandName 命令列出清單。下面列舉一些命令進行說明。

（1）chgrp改變文件所屬的組命令

chgrp命令的用途是：更改文件或目錄的組所有權(quán)。

語法格式：hadoop fs -charg [-R] GROUP URL .....

使用-R將使改變在目錄結(jié)構(gòu)下遞歸進行。命令的使用者必須是文件的所有者或者超級用戶。

（2）chmod改變文件的權(quán)限

chmod用于改變文件或目錄的訪問權(quán)限，這個Linux系統(tǒng)管理員最常用的命令之一。

使用方法：hadoop fs -chmod [-R] ...

使用-R將使改變在目錄結(jié)構(gòu)下遞歸進行。命令的使用者必須是文件的所有者或者是超級用戶

（3）chown改變文件的擁有者

chown命令改變文件的擁有者。

使用方法：hadoop fs -chown [-R]....

使用-R將使改變在目錄結(jié)構(gòu)下遞歸進行。命令的使用者必須是超級用戶。

（4）copyFromLocal命令

除了限定 源路徑 是只能是一個 本地文件 外，其他方面和put命令相似。

使用方法：hadoop fs -copyFromLocal localsrc URI

（5）copyToLocal命令

除了限定 目標路徑 是一個 本地文件 外，其他方面和get命令類似。

使用方法：hadoop fs -copyToLocal {-ignorecrc} {-crc} URI localdst

（6）cp命令

cp命令是將文件從源路徑復(fù)制到目標路徑。這個命令允許有多個源路徑，此時目標路徑必須是一個目錄。

使用方法：hadoop fs -cp URI [URI....] dest

返回值：成功返回0 ，失敗返回-1

（7）du命令

du命令顯示目錄中 所有文件的大小 ，或者當(dāng)只指定一個文件時，顯示此文件的大小

使用方法：hadoop fs -du URI [URI........]

返回值

成功返回0，失敗返回-1

（8）dus命令

dus是顯示 文件大小 的命令。

使用方法：hadoop fs -dus args

（9）expunge命令

expunge是清空回收站的命令

使用方法：hadoop fs -expunge

（10）get命令

get是復(fù)制文件到本地文件系統(tǒng)的命令

使用方法：hadoop fs -get [-ignorecrc] [-crc] localdst

可用-ignorecrc選項復(fù)制CRC校驗失敗的文件：使用-CRC選項復(fù)制文件以及CRC信息。

返回值

成功返回0，失敗返回-1

（11）getmerge命令

getmerge命令用于接受一個源目錄和一個目標文件作為輸入，并且將源目錄中所有的文件合并成本地目標文件。

使用方法：hadoop fs -getmerge src localdst [addnl]

參數(shù)說明：addl是可選的，用于指定在每個文件結(jié)尾添加一個換行符；

假設(shè)在你的hdfs集群上有一個/user/hadoop/output目錄

里面有作業(yè)執(zhí)行的結(jié)果（多個文件組成）part-000000,part-000001,part-000002

然后就可以在本地使用vi local_file查看內(nèi)容了

（12）ls命令

ls命令查看當(dāng)前目錄下的信息

使用方法：hadoop fs -ls args

如果是 文件 ，則按照如下格式返回文件信息：

文件名 副本數(shù)文件大小 修改日期 修改時間 權(quán)限 用戶ID 組ID

如果是 目錄 ，則返回它直接子文件的一個列表，就像在UNIX中一樣。目錄返回i額表的信息如下：

目錄名dir修改日期 修改時間 權(quán)限 用戶ID 組ID

返回值

成功返回0，失敗返回-1

（13）lsr命令

lsr命令是-ls命令的遞歸版，類似于UNIX中的ls-r。

使用方法：hadoop fs -lsr args

（14）movefromLocal命令

復(fù)制一份本地文件到hdfs，當(dāng)成功后，刪除本地文件

使用方法：dfs -moveFromLocal src dst

（14.5）moveToLocal命令

類似于-get，但是當(dāng)復(fù)制完成后，會刪除hdfs上的文件

使用方法：moveToLocal src localDest

（15）mv命令

將文件從源路徑移動到目標路徑。這個命令允許有多個源路徑，此時目標路徑必須是一個目錄

使用方法：hadoop fs -mv URI [URI.....] dest

備注：不允許在不同的文件系統(tǒng)間移動文件。

返回值

成功返回0，失敗返回-1

（16）put 命令

put命令從本地文件系統(tǒng)中復(fù)制單個或多個源路徑到目標文件系統(tǒng)，也支持從標準輸入中讀取輸入寫入目標文件系統(tǒng)

使用方法：hadoop fs -put localsrc .... dst

（17）rm命令

rm命令刪除指定的文件，只刪除非空目錄和文件。

使用方法：hadoop fs -rm URI [URI......]

請參考rmr命令了解遞歸刪除。

（18）rmr命令

rmr命令是delete命令的遞歸版本

使用方法：hadoop fs -rmr URI [URI.......]

返回值

成功返回0，失敗返回-1

（19）setrep命令

setrep命令可以改變一個文件的副本系數(shù)。

使用方法：hadoop fs -setrep [-R] path

參數(shù)說明：-R 選項用于遞歸改變目錄下所有文件的副本系數(shù)

返回值

成功返回0，失敗返回-1

（20）stat命令

stat命令用于返回指定路徑的統(tǒng)計信息

使用方法：hadoop fs -stat URI [URI......]

返回值

成功返回0，失敗返回-1

（21）tail命令

tail命令將文件尾部1KB的內(nèi)容輸出到stdout。支持-f選項，行為和UNIX中一致

使用方法：hadoop fs -tail [-f] URI

返回值

成功返回0，失敗返回-1

（22）test命令

test命令是檢查命令，可以檢查文件是否存在、文件的大小等。

使用方法：hadoop fs -test -[ezd] URI

（23）text命令

text命令用于將源文件輸出問文本格式

使用方法：hadoop fs -text src

允許的格式是zip和TextRecordInputStream。

（24）touchz 命令

touchz命令用于創(chuàng)建一個0字節(jié)的空文件。

使用方法： hadoop fs -touchz URI [URI....]

返回值

成功返回0，失敗返回-1

Zookeeper常用命令

ZooKeeper服務(wù)命令:

在準備好相應(yīng)的配置之后，可以直接通過zkServer.sh 這個腳本進行服務(wù)的相關(guān)操作

1. 啟動ZK服務(wù):?????? sh bin/zkServer.sh start

2. 查看ZK服務(wù)狀態(tài): sh bin/zkServer.sh status

3. 停止ZK服務(wù):?????? sh bin/zkServer.sh stop

4. 重啟ZK服務(wù):?????? sh bin/zkServer.sh restart

zk客戶端命令

ZooKeeper命令行工具類似于Linux的shell環(huán)境，不過功能肯定不及shell啦，但是使用它我們可以簡單的對ZooKeeper進行訪問，數(shù)據(jù)創(chuàng)建，數(shù)據(jù)修改等操作.? 使用 zkCli.sh -server 127.0.0.1:2181 連接到 ZooKeeper 服務(wù)，連接成功后，系統(tǒng)會輸出 ZooKeeper 的相關(guān)環(huán)境以及配置信息。

命令行工具的一些簡單操作如下：

1. 顯示根目錄下、文件： ls / 使用 ls 命令來查看當(dāng)前 ZooKeeper 中所包含的內(nèi)容

2. 顯示根目錄下、文件： ls2 / 查看當(dāng)前節(jié)點數(shù)據(jù)并能看到更新次數(shù)等數(shù)據(jù)

3. 創(chuàng)建文件，并設(shè)置初始內(nèi)容： create /zk "test" 創(chuàng)建一個新的 znode節(jié)點“ zk ”以及與它關(guān)聯(lián)的字符串

4. 獲取文件內(nèi)容： get /zk 確認 znode 是否包含我們所創(chuàng)建的字符串

5. 修改文件內(nèi)容： set /zk "zkbak" 對 zk 所關(guān)聯(lián)的字符串進行設(shè)置

6. 刪除文件： delete /zk 將剛才創(chuàng)建的 znode 刪除

7. 退出客戶端： quit

8. 幫助命令： help

9rmr命令

刪除節(jié)點命令，此命令與delete命令不同的是delete不可刪除有子節(jié)點的節(jié)點，但是rmr命令可以刪除，注意路徑為絕對路徑。

如rmr /zookeeper/znode

10 delquota命令

刪除配額，-n為子節(jié)點個數(shù)，-b為節(jié)點數(shù)據(jù)長度。

如delquota –n 2，請參見listquota和setquota命令。

11printwatches命令

設(shè)置和顯示監(jiān)視狀態(tài)，on或者off。

如printwatches on

listquota命令

顯示配額。

如listquota /zookeeper

absolute path is/zookeeper/quota/zookeeper/zookeeper_limits

Output quota for /zookeepercount=2,bytes=-1

解釋：

/zookeeper節(jié)點個數(shù)限額為2，長度無限額。

setAcl命令

設(shè)置節(jié)點Acl。

此處重點說一下acl，acl由大部分組成：1為scheme，2為user，3為permission，一般情況下表示為scheme:id:permissions。

其中scheme和id是相關(guān)的，下面將scheme和id一起說明。

scheme和id

world :?它下面只有一個id,?叫anyone, world:anyone代表任何人，zookeeper中對所有人有權(quán)限的結(jié)點就是屬于world:anyone的

auth :?它不需要id,?只要是通過authentication的user都有權(quán)限（zookeeper支持通過kerberos來進行authencation,?也支持username/password形式的authentication)

digest :?它對應(yīng)的id為username:BASE64(SHA1(password))，它需要先通過username:password形式的authentication

ip :?它對應(yīng)的id為客戶機的IP地址，設(shè)置的時候可以設(shè)置一個ip段，比如ip:192.168.1.0/16,?表示匹配前16個bit的IP段

super :?在這種scheme情況下，對應(yīng)的id擁有超級權(quán)限，可以做任何事情(cdrwa)

permissions

CREATE (c):?創(chuàng)建權(quán)限，可以在在當(dāng)前node下創(chuàng)建child node

DELETE (d):?刪除權(quán)限，可以刪除當(dāng)前的node

READ (r):?讀權(quán)限，可以獲取當(dāng)前node的數(shù)據(jù)，可以list當(dāng)前node所有的child nodes

WRITE (w):?寫權(quán)限，可以向當(dāng)前node寫數(shù)據(jù)

ADMIN (a):?管理權(quán)限，可以設(shè)置當(dāng)前node的permission

綜上，一個簡單使用setAcl命令，則可以為：

setAcl /zookeeper/node1 world:anyone:cdrw

getAcl命令

獲取節(jié)點Acl。

如getAcl /zookeeper/node1

'world,'anyone

: cdrwa

注：可參見setAcl命令。

sync命令

強制同步。

如sync /zookeeper

由于請求在半數(shù)以上的zk server上生效就表示此請求生效，那么就會有一些zk server上的數(shù)據(jù)是舊的。sync命令就是強制同步所有的更新操作。

redo命令

再次執(zhí)行某命令。

如redo 10

其中10為命令I(lǐng)D，需與history配合使用。

addauth命令

節(jié)點認證。

如addauth digest username:password，可參見setAcl命令 digest處。

使用方法：

一、通過setAcl設(shè)置用戶名和密碼

setAcl pathdigest:username:base64(sha1(password)):crwda

二、認證

addauth digest username:password

delete命令

刪除節(jié)點。

如delete /zknode1

setquota命令

設(shè)置子節(jié)點個數(shù)和數(shù)據(jù)長度配額。

如setquota –n 4 /zookeeper/node 設(shè)置/zookeeper/node子節(jié)點個數(shù)最大為4

setquota –b 100 /zookeeper/node 設(shè)置/zookeeper/node節(jié)點長度最大為100

ZooKeeper 常用四字命令：

ZooKeeper 支持某些特定的四字命令字母與其的交互。它們大多是查詢命令，用來獲取 ZooKeeper 服務(wù)的當(dāng)前狀態(tài)及相關(guān)信息。用戶在客戶端可以通過 telnet 或 nc 向 ZooKeeper 提交相應(yīng)的命令

1. 可以通過命令：echo stat|nc 127.0.0.1 2181 來查看哪個節(jié)點被選擇作為follower或者leader

2. 使用echo ruok|nc 127.0.0.1 2181 測試是否啟動了該Server，若回復(fù)imok表示已經(jīng)啟動。

3. echo dump| nc 127.0.0.1 2181 ,列出未經(jīng)處理的會話和臨時節(jié)點。

4. echo kill | nc 127.0.0.1 2181 ,關(guān)掉server

5. echo conf | nc 127.0.0.1 2181 ,輸出相關(guān)服務(wù)配置的詳細信息。

6. echo cons | nc 127.0.0.1 2181 ,列出所有連接到服務(wù)器的客戶端的完全的連接 / 會話的詳細信息。

7. echo envi |nc 127.0.0.1 2181 ,輸出關(guān)于服務(wù)環(huán)境的詳細信息（區(qū)別于 conf 命令）。

8. echo reqs | nc 127.0.0.1 2181 ,列出未經(jīng)處理的請求。

9. echo wchs | nc 127.0.0.1 2181 ,列出服務(wù)器 watch 的詳細信息。

10. echo wchc | nc 127.0.0.1 2181 ,通過 session 列出服務(wù)器 watch 的詳細信息，它的輸出是一個與 watch 相關(guān)的會話的列表。

11. echo wchp | nc 127.0.0.1 2181 ,通過路徑列出服務(wù)器 watch 的詳細信息。它輸出一個與 session 相關(guān)的路徑。

當(dāng)前文章：linuxrmr命令 linux命令 rm
本文鏈接：http://vcdvsql.cn/article10/doiccgo.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供自適應(yīng)網(wǎng)站、手機網(wǎng)站建設(shè)、企業(yè)網(wǎng)站制作、網(wǎng)站建設(shè)、微信公眾號、ChatGPT

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)