8月5日是個特殊的日子，為了推動大數據技術在中國大范圍應用，同時將本土技術回饋到國際開源社區，Cloudera與清華大學合作達成儀式。說到Cloudera，相信業內人士并不陌生，大數據市場的飛速發展使得Hadoop深受歡迎，許多公司都推出了各自版本的Hadoop，也有一些公司則圍繞Hadoop開發產品。而在Hadoop生態系統中，規模大、知名度最高的公司則是Cloudera。

成都創新互聯公司成立于2013年，先為改則等服務建站，改則等地企業，進行企業商務咨詢服務。為改則企業網站制作PC+手機+微官網三網同步一站式服務解決您的所有建站問題。

儀式結束后，Hadoop之父、Cloudera首席架構師、Apache軟件基金會理事Doug Cutting應邀接受了互聯網IDC圈記者的采訪，談及了Hadoop在安全方面的措施，Spark與Hadoop之間的微妙關系以及Hadoop未來的發展等一系列問題。

Hadoop之父、Cloudera首席架構師、Apache軟件基金會理事Doug Cutting

Hadoop已成為非常安全的平臺

當今時代，社交媒體、網絡、移動定位等諸多技術的廣泛應用使得數據急速增長。Hadoop作為大數據利器，一直被大肆宣傳。憶往昔，Hadoop為搜索引擎建立的網頁索引，并不是處理信用卡號，所以其安全問題被擱置。如此一來，許多企業對其態度也從原來的淺嘗輒止變成了望而卻步。

關于安全方面，Doug Cutting指出，在Hadoop創立的時候是沒有做安全這塊的，但是我們后來不斷的加強對安全模塊的研發，現在Hadoop也成為了非常安全的平臺。在安全方面有：身份識別—保登錄的人群是被合法認證的；用戶授權—控制用戶能夠讀取的信息；審計—提供滿足監管需求的文檔支持，查看是否有違規操作靜態數據以及動態數據的加密。

Spark與Hadoop相輔相成、互補共生

Hadoop主要包括三方面的功能：以HDFS為主的存儲功能，以MapReduce為代表的Batch處理功能以及以YARN為代表的scheduling功能。

說到Hadoop自然而然會讓人聯想到Spark，作為實時處理工具Spark在batch processing和streaming代表著下一代技術，并且在某些方面優于MapReduce。那么，假以時日Spark會不會有取代Hadoop的可能，Doug Cutting給出的答案當然是否定的：“我覺得Spark不可能取代Hadoop，它能夠取代部分Hadoop的功能，比如說取代MapReduce，二者之間更多的是互補的關系而不是競爭的關系。在存儲和scheduling不可能取代Hadoop，Hadoop在batch或streaming處理方面比Spark更強大；在搜索方面很多又是Spark搜不到的，所以Spark只是相當于開源集群計算的框架，它并不能完全取代Hadoop。Cloudera不光是支持Hadoop，也支持Spark，我們是Hadoop+Spark這樣的公司。”

Cloudera現在參與的項目有20多個，包括Hadoop、Spark、HBace等生態系統內的項目，也擁有超過100個對于技術和系統都非常資深的技術開發者。其實用戶特別希望開源社區以開源形式開發軟件，開源社區要進一步發展需要這些廠商來提供支持。作為開源廠商，到底是不是一個商業模式放之四海皆準，現在整個行業都在探索這個問題。Doug Cutting指出：“Cloudera的核心平臺是開源的，但是我們可以賣一些加載在核心平臺上的軟件，這種軟件可以讓客戶更好的管理他的數據，更多地對管理工具進行優化，包括優化、監控數據的管理工具，以收費的方式可以進行出售，我相信是比較成功的。”

中國企業為整個Hadoop的開源社區做了大量的貢獻

Doug Cutting不僅任職于Cloudera，同時也是Apache軟件基金會的理事。在基金會里，有很多企業參與Hadoop的研發，整個Hadoop版本發布速度非常快。當然，這其中的也不乏來自中國的代碼貢獻者，Doug Cutting表示：“中國的企業為整個Hadoop的開源社區做了大量的貢獻，例如華為、阿里巴巴、騰訊等企業不但是Hadoop的使用者，同時也是Hadoop技術的貢獻者。”目前，90%的Hadoop軟件運行于Hadoop系統平臺上，其中很多軟件都是基于Hadoop平臺之外的開發。Doug Cutting強調：“在整個生態系統環境內我們會打造一個非常豐富的生態系統，讓更多的參與者能夠進行開發。”

Cloudera除了與清華大學合作之外，在海外也跟其他大學展開了合作，其中包括美國、新加坡等地的大學，也包括歐洲的一些大學和研究機構。Doug Cutting表示：“我們合作的主要形式就是提供免費的課程，這些全套免費的課程我們開發了很多年，免費提供給這樣的大學共同展開合作。我們在中國選取的第一個合作方是清華大學，今后將會與更多的中國大學展開合作。”

本文標題：對話Hadoop之父DougCutting：Spark與Hadoop互補共生
文章網址：http://vcdvsql.cn/article20/socpjo.html

成都網站建設公司_創新互聯，為您提供服務器托管、App設計、企業建站、品牌網站建設、網站建設、網站營銷

廣告

聲明：本網站發布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創新互聯