再看hadoop PRC

為阿拉善盟等地區用戶提供了全套網頁設計制作服務，及阿拉善盟網站建設行業解決方案。主營業務為網站設計、成都網站建設、阿拉善盟網站設計，以傳統方式定制建設網站，并提供域名空間備案等一條龍服務，秉承以專業、用心的態度為用戶提供真誠的服務。我們深信只要達到每一位用戶的要求，就會得到認可，從而選擇與我們長期合作。這樣，我們也可以走得更遠！

以前寫過一篇文章叫做《hadoop RPC從入門到暫時放棄》，現在粗略的把《Hadoop 2.xHDFS源碼剖析》看完了第一遍，感覺對HDFS的整體了解上升了一個層次，并且重新看了一下動態代理、protocol buffer所以這次重新來寫寫對于hadoop RPC的認識。

下面還是主要通過ClientProtocol協議，即hdfs客戶端與NameNode通信的協議，來介紹一下對hadoopRPC的認識。

1. 客戶端

首先編寫程序操作hadoop hdfs的時候，通常都是會用到DFSClient這個類的，這里的DFSClient類中，持有一個實現了ClientProtocol接口的ClientNameNodeProtocolTranslatorPB（以下簡稱translator）的對象實例，這個實例主要的功能就是將ClientProtocol轉化為protocol buffer方式序列化的請求，其實主要也是在這其中使用動態代理獲取了ClientNamenodeProtocolPB的代理對象來實現轉換。其中獲取translator的時候還需要考慮NameNode是否是HA模式的。

其次Client部分最主要的方法就是Client.call方法，在調用call方法時會需要獲取相應RPCServer 的連接對象（Connection），但是由于建立連接在任何一個系統中都是一個十分耗時的操作，所以connection會緩存到相應服務器的連接。Connection對象除了負責建立連接之外，還會在獲取相應請求對應的應答后喚起相應請求的線程。PRC請求除了包括經過protocol buffer序列化的參數，還有對應的請求協議的標識字段。當接收到請求相應的應答時，會根據callId喚起等待的線程，這里根據RPC調用是否成功需要考慮是調用正常的接受應答方法還是異常的應答方法。

 2.服務器

以NameNode的RPC服務器為例，它有一個名為NameNodeRpcServer的類專門負責從客戶端、DataNode、以及其他NameNode發送過來的PRC請求。由于需要處理多種PRC協議（例如從客戶端發來的ClientNameNodeProtocolPB），所以在這個類中需要一個叫做BlockingService的類，根據發送的請求中關于調用協議的信息，找出相應得serverSideTranslator來處理相應的*PB協議轉化為真正的協議，例如通過clientNNPbService這個BlockingService將從客戶端發來的ClientNamenodeProtocolPB協議，利用clientProtocolServerTranslator轉化為jvm能夠識別的ClientProtocol協議。

除此之外，RPC服務端還參考了reactor設計模型，采用線程池以及nio的思想，提高了并發能力，具體細節可以參考以前寫得《hadoop RPC從入門到暫時放棄》。

         以上差不多就是對hadoopRPC的全部認識了，以后有新的了解在及時更新。

                                                                                                                         肯草在深圳

                                                                                                                        2017-03-12

另外有需要云服務器可以了解下創新互聯scvps.cn，海內外云服務器15元起步，三天無理由+7*72小時售后在線，公司持有idc許可證，提供“云服務器、裸金屬服務器、高防服務器、香港服務器、美國服務器、虛擬主機、免備案服務器”等云主機租用服務以及企業上云的綜合解決方案，具有“安全穩定、簡單易用、服務可用性高、性價比高”等特點與優勢，專為企業上云打造定制，能夠滿足用戶豐富、多元化的應用場景需求。

網站欄目：再看hadoopRPC-創新互聯
URL鏈接：http://vcdvsql.cn/article36/ppepg.html

成都網站建設公司_創新互聯，為您提供網站營銷、外貿建站、手機網站建設、網站改版、企業建站、關鍵詞優化

廣告

聲明：本網站發布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創新互聯