創(chuàng)新互聯(lián)www.cdcxhl.cn八線(xiàn)動(dòng)態(tài)BGP香港云服務(wù)器提供商，新人活動(dòng)買(mǎi)多久送多久，劃算不套路！

創(chuàng)新互聯(lián)專(zhuān)注于偏關(guān)網(wǎng)站建設(shè)服務(wù)及定制，我們擁有豐富的企業(yè)做網(wǎng)站經(jīng)驗(yàn)。 熱誠(chéng)為您提供偏關(guān)營(yíng)銷(xiāo)型網(wǎng)站建設(shè)，偏關(guān)網(wǎng)站制作、偏關(guān)網(wǎng)頁(yè)設(shè)計(jì)、偏關(guān)網(wǎng)站官網(wǎng)定制、微信小程序定制開(kāi)發(fā)服務(wù)，打造偏關(guān)網(wǎng)絡(luò)公司原創(chuàng)品牌,更為您提供偏關(guān)網(wǎng)站排名全網(wǎng)營(yíng)銷(xiāo)落地服務(wù)。

本篇文章給大家分享的是有關(guān)Hadoop的入門(mén)基礎(chǔ)有哪些，小編覺(jué)得挺實(shí)用的，因此分享給大家學(xué)習(xí)，希望大家閱讀完這篇文章后可以有所收獲，話(huà)不多說(shuō)，跟著小編一起來(lái)看看吧。

1、Hadoop概述

Hadoop 是 Apache 旗下的一個(gè)用 Java 語(yǔ)言實(shí)現(xiàn)開(kāi)源軟件框架，它還是一個(gè)開(kāi)發(fā)和運(yùn)行處理大規(guī)模數(shù)據(jù)的軟件平臺(tái)。Hadoop允許使用簡(jiǎn)單的編程模型，在大量計(jì)算機(jī)集群上，對(duì)大型數(shù)據(jù)集進(jìn)行分布式處理。

狹義上說(shuō)，Hadoop 指 Apache 這款開(kāi)源框架，它的核心組件有：HDFS（分布式文件系統(tǒng)）：解決海量數(shù)據(jù)存儲(chǔ) ；YARN（作業(yè)調(diào)度和集群資源管理的框架）：解決資源任務(wù)調(diào)度；MAPREDUCE（分布式運(yùn)算編程框架）：解決海量數(shù)據(jù)計(jì)算。

廣義上來(lái)說(shuō)，Hadoop 通常是指一個(gè)更廣泛的概念——Hadoop 生態(tài)圈。當(dāng)下的 Hadoop 已經(jīng)成長(zhǎng)為一個(gè)龐大的體系，隨著生態(tài)系統(tǒng)的成長(zhǎng)，新出現(xiàn)的項(xiàng)目越來(lái)越多，其中不乏一些非 Apache 主管的項(xiàng)目，這些項(xiàng)目對(duì) HADOOP 是很好的補(bǔ)充或者更高層的抽象。比如，HDFS： 分 布 式 文 件 系 統(tǒng)；MAPREDUCE：分布式運(yùn)算程序開(kāi)發(fā)框架；HIVE：基于 HADOOP 的分布式數(shù)據(jù)倉(cāng)庫(kù)，提供基于 SQL 的查詢(xún)數(shù)據(jù)操作；HBASE：基于Hadoop的分布式海量數(shù)據(jù)庫(kù)；ZOOKEEPER：分布式協(xié)調(diào)服務(wù)基礎(chǔ)組件；Mahout：基于 mapreduce/spark/flink 等分布式運(yùn)算框架的機(jī)器學(xué)習(xí)算法庫(kù)；OOZIE：工作流調(diào)度框架；Sqoop：數(shù)據(jù)導(dǎo)入導(dǎo)出工具；FLUME：日志數(shù)據(jù)采集框架；IMPALA：基于 hive 的實(shí)時(shí) sql 查詢(xún)分析。

2、Hadoop的發(fā)展歷程

Hadoop 是 Apache Lucene 創(chuàng)始人 Doug Cutting 創(chuàng)建的。最早起源于 Nutch， 它是 Lucene 的子項(xiàng)目。Nutch 的設(shè)計(jì)目標(biāo)是構(gòu)建一個(gè)大型的全網(wǎng)搜索引擎，包括網(wǎng)頁(yè)抓取、索引、查詢(xún)等功能，但隨著抓取網(wǎng)頁(yè)數(shù)量的增加，遇到了嚴(yán)重的可擴(kuò)展性問(wèn)題：如何解決數(shù)十億網(wǎng)頁(yè)的存儲(chǔ)和索引問(wèn)題。

2003 年 Google 發(fā)表了一篇論文為該問(wèn)題提供了可行的解決方案。論文中描述的是谷歌的產(chǎn)品架構(gòu)，該架構(gòu)稱(chēng)為：谷歌分布式文件系統(tǒng)（GFS）,可以解決他們?cè)诰W(wǎng)頁(yè)爬取和索引過(guò)程中產(chǎn)生的超大文件的存儲(chǔ)需求。

2004 年 Google 發(fā)表論文向全世界介紹了谷歌版的MapReduce 系統(tǒng)。 同時(shí)期，Nutch 的開(kāi)發(fā)人員完成了相應(yīng)的開(kāi)源實(shí)現(xiàn) HDFS 和 MAPREDUCE，并從Nutch 中剝離成為獨(dú)立項(xiàng)目 HADOOP，到 2008 年 1 月，HADOOP 成為 Apache 頂級(jí)項(xiàng)目，迎來(lái)了它的快速發(fā)展期。

2006 年 Google 發(fā)表了論文是關(guān)于 BigTable 的，這促使了后來(lái)的 Hbase的發(fā)展。 因此，Hadoop 及其生態(tài)圈的發(fā)展離不開(kāi) Google 的貢獻(xiàn)。

3、Hadoop的特性

（1）擴(kuò)容能力：Hadoop 是在可用的計(jì)算機(jī)集群間分配數(shù)據(jù)并完成計(jì)算任務(wù)的，這些集群可用方便的擴(kuò)展到數(shù)以千計(jì)的節(jié)點(diǎn)中。

（2）成本低：Hadoop 通過(guò)普通廉價(jià)的機(jī)器組成服務(wù)器集群來(lái)分發(fā)以及處理數(shù)據(jù)，以至于成本很低。

（3）高效率：通過(guò)并發(fā)數(shù)據(jù)，Hadoop 可以在節(jié)點(diǎn)之間動(dòng)態(tài)并行的移動(dòng)數(shù)據(jù)，使得速度非常快。

（4）可靠性：能自動(dòng)維護(hù)數(shù)據(jù)的多份復(fù)制，并且在任務(wù)失敗后能自動(dòng)地重新部署計(jì)算任務(wù)。所以 Hadoop 的按位存儲(chǔ)和處理數(shù)據(jù)的能力值得人們信賴(lài)。

4、Hadoop的應(yīng)用

Hadoop 最受青睞的行業(yè)是互聯(lián)網(wǎng)領(lǐng)域，可以說(shuō)互聯(lián)網(wǎng)公司是 hadoop 的主要使用力量。國(guó)外來(lái)說(shuō)，Yahoo、Facebook、IBM 等公司都大量使用 hadoop 集群來(lái)支撐業(yè)務(wù)。比如：Yahoo 的 Hadoop 應(yīng)用在支持廣告系統(tǒng)、用戶(hù)行為分析、支持 Web 搜索等。 Facebook 主要使用 Hadoop 存儲(chǔ)內(nèi)部日志與多維數(shù)據(jù)，并以此作為報(bào)告、分析和機(jī)器學(xué)習(xí)的數(shù)據(jù)源。

國(guó)內(nèi)來(lái)說(shuō)，BAT 領(lǐng)頭的互聯(lián)網(wǎng)公司是當(dāng)仁不讓的 Hadoop 使用者、維護(hù)者。比如 Ali 云梯（14 年國(guó)內(nèi)大 Hadoop 集群）、百度的日志分析平臺(tái)、推薦引擎系統(tǒng)等。國(guó)內(nèi)其他非互聯(lián)網(wǎng)領(lǐng)域也有不少 hadoop 的應(yīng)用，比如：金融行業(yè)的個(gè)人征信分析，證券行業(yè)的投資模型分析，還有交通行業(yè)的車(chē)輛、路況監(jiān)控分析和電信行業(yè)的用戶(hù)上網(wǎng)行為分析 。

以上就是Hadoop的入門(mén)基礎(chǔ)有哪些，小編相信有部分知識(shí)點(diǎn)可能是我們?nèi)粘９ぷ鲿?huì)見(jiàn)到或用到的。希望你能通過(guò)這篇文章學(xué)到更多知識(shí)。更多詳情敬請(qǐng)關(guān)注創(chuàng)新互聯(lián)-成都網(wǎng)站建設(shè)公司行業(yè)資訊頻道。

文章題目：Hadoop的入門(mén)基礎(chǔ)有哪些-創(chuàng)新互聯(lián)
網(wǎng)頁(yè)網(wǎng)址：http://vcdvsql.cn/article22/dsdjjc.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)頁(yè)設(shè)計(jì)公司、網(wǎng)站內(nèi)鏈、網(wǎng)站建設(shè)、云服務(wù)器、品牌網(wǎng)站制作、網(wǎng)站策劃

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶(hù)投稿、用戶(hù)轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話(huà)：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)