這篇文章主要講解了“Hadoop相關(guān)概念有哪些”，文中的講解內(nèi)容簡單清晰，易于學習與理解，下面請大家跟著小編的思路慢慢深入，一起來研究和學習“Hadoop相關(guān)概念有哪些”吧！

讓客戶滿意是我們工作的目標，不斷超越客戶的期望值來自于我們對這個行業(yè)的熱愛。我們立志把好的技術(shù)通過有效、簡單的方式提供給客戶，將通過不懈努力成為客戶在信息化領(lǐng)域值得信任、有價值的長期合作伙伴，公司提供的服務(wù)項目有：主機域名、網(wǎng)絡(luò)空間、營銷軟件、網(wǎng)站建設(shè)、都昌網(wǎng)站維護、網(wǎng)站推廣。

一、大數(shù)據(jù)的基本概念

1.1、什么是大數(shù)據(jù)

　　大數(shù)據(jù)指的就是要處理的數(shù)據(jù)是TB級別以上的數(shù)據(jù)。大數(shù)據(jù)是以TB級別起步的。在計算機當中，存放到硬盤上面的文件都會占用一定的存儲空間，例如：

　　

　　文件占用的存儲空間代表的就是該文件的大小，在計算機當中，文件的大小可以采用以下單位來表示，各個單位之間的轉(zhuǎn)換關(guān)系如下：

　　

　　平時我們在我們自己的電腦上面常見的就是Byte、KB、MB、GB這幾種，那么究竟什么是大數(shù)據(jù)呢，大數(shù)據(jù)的起步是以TB級別開始的，1TB=1024GB，而我們處理的數(shù)據(jù)可能會到達PB級別，1PB=1024TB，那可想而知，數(shù)據(jù)量是多么龐大，所以大數(shù)據(jù)指的就是要處理的數(shù)據(jù)是TB級別以上的數(shù)據(jù)。而對于這些TB級別以上的數(shù)據(jù)，一般情況下，一臺計算機的硬盤存儲空間是無法存儲那么大的數(shù)據(jù)，我們現(xiàn)在的普通電腦一般都是一塊硬盤，而硬盤容量一般都是500GB左右，有的是1TB，假設(shè)現(xiàn)在有1PB的數(shù)據(jù)要存儲，我們給每一臺計算機配置10塊硬盤，每一塊硬盤都是1T的存儲容量，那么也得要使用100多臺電腦才能夠存儲得下1PB的數(shù)據(jù)。所以說，當我們的數(shù)據(jù)規(guī)模達到一定的程度的時候，我們以往的一些問題的解決辦法在這種場景下已經(jīng)變得不適用了。

1.2、大數(shù)據(jù)的特征

　　

　　大數(shù)據(jù)，顧名思義，第一個特征就是數(shù)據(jù)量大，需要非常大的存儲空間進行存儲，而如果要處理這些海量的數(shù)據(jù)，那么計算量可想而知，所以計算量非常龐大。而這些數(shù)據(jù)的來源往往也是多樣化的，數(shù)據(jù)的格式也是多樣化的，在我們平時的應用系統(tǒng)開發(fā)中，我們要處理的數(shù)據(jù)來源大多數(shù)是存儲在數(shù)據(jù)庫中的數(shù)據(jù)又或者是存儲在文件當中，而在大數(shù)據(jù)時代，我們一個系統(tǒng)要處理的數(shù)據(jù)來源是多種多樣的，這些數(shù)據(jù)的來源可能是來自數(shù)據(jù)庫，也可能是來自一些監(jiān)控采集數(shù)據(jù)，或者是一些科研數(shù)據(jù)，而數(shù)據(jù)的格式可能有普通文本，圖片、視頻、音頻、結(jié)構(gòu)化的，非結(jié)構(gòu)化的等等，反正什么樣的數(shù)據(jù)都有。在大數(shù)據(jù)時代，數(shù)據(jù)的增長速度是非常快的，例如我們每天打電話，發(fā)短信，我們打出去的電話和發(fā)出去的短信在移動和聯(lián)通公司都會有相應的記錄，而這樣的數(shù)據(jù)每天都會產(chǎn)生幾億條，數(shù)據(jù)量的增長速度可想而知，因此要求處理數(shù)據(jù)的應用系統(tǒng)的處理速度也要快，當我們想展示一些數(shù)據(jù)給用戶看時，如果應用系統(tǒng)的處理速度不夠快，那么給用戶的體驗是非常差的。另外，在大數(shù)據(jù)領(lǐng)域，我們從海里數(shù)據(jù)中能夠提取到的相對有價值的數(shù)據(jù)也是非常有限的，我們處理幾十個T的數(shù)據(jù)，從這些數(shù)據(jù)當中能夠提取出來的有價值的信息也是非常少的，大數(shù)據(jù)分析要想得到一些有價值的結(jié)果，那么要求數(shù)據(jù)要比較全。比如，我們想分析一個用戶的購物習慣，她平時喜歡在京東和天貓、淘寶這些電子商務(wù)網(wǎng)站上面進行購物，我們分析她在京東商城上面的購物行為時，我們不光要分析她最近一次的購買行為，還要分析她很長一段時間內(nèi)的歷史購買行為，以及在其他電商網(wǎng)站的購買行為，如果我們真的想一體地分析用戶的生活習慣，那么不光是要分析她的購物行為，還要分析她的社交行為，比如在一些社交網(wǎng)站上面平時和哪些人聯(lián)系最多，平時喜歡討論一些什么話題，從事的職業(yè)，年齡，性別等，拿到的數(shù)據(jù)越全，我們分析的結(jié)果就會越準確，所以大數(shù)據(jù)不光是要求數(shù)據(jù)量要大，更重要要的是數(shù)據(jù)要全面，要多維度的，這樣我們提取到的數(shù)據(jù)才是比較有價值，比較準確的。大數(shù)據(jù)處理領(lǐng)域在價值這一塊是稀疏型的，從海量數(shù)據(jù)當中能夠提取到的有價值的數(shù)據(jù)是非常稀少的。

1.3、存在有大數(shù)據(jù)的行業(yè)

　　放眼觀世界，現(xiàn)在各行各業(yè)每天都會產(chǎn)生大量的數(shù)據(jù)，21世紀是一個互聯(lián)網(wǎng)時代，一個信息化的時代，我們這一代人都不可避免地在一些IT系統(tǒng)當中留下我們的腳印，存在有大數(shù)據(jù)的典型的行業(yè)有以下幾個行業(yè)：

　　

　　互聯(lián)網(wǎng)企業(yè)是最早收集大數(shù)據(jù)的行業(yè)，最典型的代表就是Google和百度，這兩個公司是做搜索引擎的，數(shù)量都非常龐大，每天都要去把互聯(lián)網(wǎng)上的各種各樣的網(wǎng)頁信息抓取下來存儲到本地，然后進行分析，處理，當用戶想通過搜索引擎搜索一些他們關(guān)心的信息時，Google和百度就從海量的數(shù)據(jù)當中提取出相對于對用戶而言是有用的信息，然后將提取到的結(jié)果反饋給用戶，據(jù)說Google存儲的數(shù)據(jù)量已經(jīng)到達了上百個PB，這個數(shù)據(jù)量是非常驚人的。類似于Fackbook這樣的SNS(社交網(wǎng)站)因為用戶量比較多，用戶每天在網(wǎng)站上面分享一些文章，圖片，視頻，音頻等信息，因此每天產(chǎn)生的數(shù)據(jù)量也是非常龐大的。

二、大數(shù)據(jù)技術(shù)要解決的技術(shù)難題

2.1、海量數(shù)據(jù)如何存儲？

　　海量數(shù)據(jù)的存儲問題也不是今天才有的，很早以前就出現(xiàn)了，一些行業(yè)或者部門因為歷史的積累，數(shù)據(jù)量也達到了一定的級別，當一臺電腦無法存儲這么龐大的數(shù)據(jù)時，采用的解決方案是使用NFS(網(wǎng)絡(luò)文件系統(tǒng))將數(shù)據(jù)分開存儲，NFS系統(tǒng)的架構(gòu)如下圖所示：

　　

　　NFS這種解決方案就是同時架設(shè)多臺文件服務(wù)器，如下圖所示：

　　

　　然后在文件服務(wù)器上面設(shè)置共享目錄，例如圖中顯示的【D:\software、E:\aa\bb、F:\dd\cc、E:\images】

　　

　　這樣我們就可以把文件分類存放到各個文件服務(wù)器上面的共享目錄當中，一臺電腦的存儲空間不夠用，那么我們就將數(shù)據(jù)分散到多臺電腦進行存儲，而這些文件服務(wù)器上面的共享目錄對于用戶來說是透明的，用戶會以為自己存放數(shù)據(jù)的【Software、Tools、film、music】這些目錄都是屬于【Itdc.com.local】這臺文件服務(wù)器里面的【public】目錄下的子目錄，在NFS系統(tǒng)中，【Itdc.com.local】這臺文件服務(wù)器只是起到一個中轉(zhuǎn)站作用，將用戶需要存放的海量數(shù)據(jù)分類存放到各個文件系統(tǒng)當中，這就解決了大數(shù)據(jù)的存儲問題了。當用戶需要訪問分散在各個文件服務(wù)器中的文件資源時，它只需要訪問【Itdc.com.local】這臺文件服務(wù)器就可以了。

　　NFS雖然是解決了海量數(shù)據(jù)的存儲問題，但是在大數(shù)據(jù)背景下，這種存儲方案是不適用的，大數(shù)據(jù)不光是要解決數(shù)據(jù)存儲問題，更重要的是海量數(shù)據(jù)的分析，而NFS在海量數(shù)據(jù)分析方面不能夠充分利用多臺計算機同時進行分析。

2.2、海量數(shù)據(jù)如何計算

　　一個實際的需求場景——日志分析

　　對日志中每一個用戶的流量進行匯總就和，如下圖所示：

　　

　　對于這樣的一個日志文件，如果只有這么幾行數(shù)據(jù)，我們一般會采用這樣的處理方式：
　　　　1、讀取一行日志
　　　　2、抽取手機號和流量字段
　　　　3、累加到HashMap中
　　　　4、遍歷輸出結(jié)果

　　那么問題來了，如果數(shù)據(jù)量變得很大呢，比如一個日志文件里面有幾個GB數(shù)據(jù)，

1. 如果仍然一行一行去讀，那么就會因為磁盤的IO瓶頸導致效率太低，速度太慢。

2. 如果一次性加載到內(nèi)存，那么就會因為單臺計算機的內(nèi)存空間有限而導致內(nèi)存溢出。

3. 如果將中間結(jié)果全部緩存到HashMap中，那么也會因為單臺計算機的內(nèi)存空間有限而導致內(nèi)存溢出。

4. 可以選擇采用多線程處理，但是依然無法改變資源瓶頸的現(xiàn)實，因為一臺計算器的CPU資源，內(nèi)存資源，磁盤IO瓶頸是定，創(chuàng)建再多的線程也無法改變這個現(xiàn)實。

　　所以當一個日志文件里面存儲了幾個GB數(shù)據(jù)，那么這種情況下就不能采用這種傳統(tǒng)的處理方式了。可以看到，在大數(shù)據(jù)背景下，我們一個簡單的業(yè)務(wù)場景，比如這里的統(tǒng)計用戶流量，在數(shù)據(jù)量變得很大的時候，原來不是問題的一些東西現(xiàn)在都成了問題。那么這些問題該如何解決呢？

解決思路一

　　縱向擴展，也就是升級硬件，提高單機性能(增加內(nèi)存，增強CPU、用更高性能的磁盤(如固態(tài)硬盤))，比如可以購買IBM的高端服務(wù)器。

　　

　　優(yōu)點：

　　　　1、簡單易行
　　缺點：

　　　　1、單臺計算機的擴展空間有限，CPU、內(nèi)存、磁盤再怎么擴展也是有限的，無法無限擴展。

　　　　2、成本高(高端服務(wù)器非常昂貴，幾百萬甚至上千萬一臺，一般的小公司承受不起這樣高昂的成本)

解決思路二

　　橫向擴展，用多臺節(jié)點分布式集群處理 (通過增加節(jié)點數(shù)量提高處理能力，這里說的節(jié)點指的就是一臺計算機)

　　

　　核心思想：任務(wù)分攤，通過協(xié)作來實現(xiàn)單節(jié)點無法實現(xiàn)的任務(wù)。

　　優(yōu)點：

　　　　1、成本相對低(可采用普通機器)

　　　　2、易于線性擴展

　　缺點：

　　　　系統(tǒng)復雜度增加，我們要將我們的web應用部署到每一個節(jié)點上面，而多個節(jié)點協(xié)同工作時就要考慮以下幾個問題
　　　　　　1、如何調(diào)度資源
　　　　　　2、任務(wù)如何監(jiān)控
　　　　　　3、中間結(jié)果如何調(diào)度
　　　　　　4、系統(tǒng)如何容錯
　　　　　　5、如何實現(xiàn)眾多節(jié)點間的協(xié)調(diào)

　　　　分布式計算的復雜性就體現(xiàn)在這樣的5個問題里面。

三、Hadoop相關(guān)概念介紹

 3.1、大數(shù)據(jù)行業(yè)的標準——Hadoop

　　Hadoop是一個開源的可運行于大規(guī)模集群上的分布式文件系統(tǒng)和運行處理基礎(chǔ)框架
　　Hadoop擅長于在廉價機器搭建的集群上進行海量數(shù)據(jù)(結(jié)構(gòu)化與非結(jié)構(gòu)化)的存儲與離線處理。

　　Hadoop就是一門用來處理大數(shù)據(jù)的技術(shù)，就是用來解決上述提到的分布式計算里面的5個技術(shù)難題的。

3.2、Hadoop的Logo圖片

　　

3.3、Hadoop的由來

　　

3.4、Hadoop的核心組件

3.4.1、海量存儲——HDFS(Hadoop分布式文件系統(tǒng)，Hadoop Distributed File System)

• 分布式易擴展

• 廉價易得

• 高吞吐量

• 高可靠性

3.4.2、分布式并行計算——資源調(diào)度(Yarn)+編程模型(MapReduce)

• 大容量高并發(fā)

• 封裝分布式實現(xiàn)細節(jié)

• 大大提高分析效率

3.5、Hadoop的學習路線

1. Linux系統(tǒng)基本操作能力

2. java開發(fā)語言

3. Hadoop核心組件

4. MapReduce或Spark等編程模型

5. Zookeeper-Sqoop-Flume等工具組件

6. NoSQL技術(shù)，Hbase

7. 數(shù)據(jù)分析挖掘、機器學習、Mahout

3.6、學習Hadoop技術(shù)的書籍推薦

　　1、Hadoop權(quán)威指南第三版
　　2、Hadoop技術(shù)內(nèi)幕

　　3、Hadoop實戰(zhàn)

感謝各位的閱讀，以上就是“Hadoop相關(guān)概念有哪些”的內(nèi)容了，經(jīng)過本文的學習后，相信大家對Hadoop相關(guān)概念有哪些這一問題有了更深刻的體會，具體使用情況還需要大家實踐驗證。這里是創(chuàng)新互聯(lián)，小編將為大家推送更多相關(guān)知識點的文章，歡迎關(guān)注！

本文題目：Hadoop相關(guān)概念有哪些-創(chuàng)新互聯(lián)
URL地址：http://vcdvsql.cn/article20/csidjo.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供ChatGPT、域名注冊、云服務(wù)器、用戶體驗、響應式網(wǎng)站、電子商務(wù)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)