專注于為中小企業提供成都網站設計、網站制作、外貿營銷網站建設服務,電腦端+手機端+微信端的三站合一,更高效的管理,為中小企業昌江黎族免費做網站提供優質的服務。我們立足成都，凝聚了一批互聯網行業人才，有力地推動了上千多家企業的穩健成長，幫助中小企業通過網站建設實現規模擴充和轉變。

Hadoop概述

Hadoop是一個由Apache基金會所開發的分布式系統基礎架構。
用戶可以在不了解分布式底層細節的情況下，開發分布式程序，充分利用集群的威力進行高速運算和存儲。
Hadoop實現了一個分布式文件系統（Hadoop Distributed File System），簡稱HDFS。HDFS有高容錯性的特點，并且設計用來部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）來訪問應用程序的數據，適合那些有著超大數據集（large data set）的應用程序。
Hadoop的框架最核心的設計就是：HDFS和MapReduce。HDFS為海量的數據提供了存儲，則MapReduce為海量的數據提供了計算。

分布式存儲

在分布式存儲系統中，分散在不同節點中的數據可能屬于同一個文件，為了組織眾多的文件，把文件可以放到不同的文件夾中，
文件夾可以一級一級的包含。我們把這種組織形式稱為命名空間（namespace）。命名空間管理著整個服務器集群中的所有文件。

分布式計算

把一個需要非常巨大的計算能力才能解決的問題分成許多小的部分，然后把這些部分分配給許多計算機進行處理，最后把這些計
算結果綜合起來得到最終的結果。

Hadoop關聯項目

AmbariTM：基于web能夠提供資源、監控、管理Hadoop集群的操作工具。
AvroTM：數據序列化系統。
HBaseTM：能支持結構化數據大表存儲的可擴展的、分布式的數據庫。
HiveTM：能夠支持數據的匯總和臨時查詢的數據倉庫基礎框架。
MahoutTM：一個可擴展的機器學習和數據挖掘庫。
PigTM：高級數據流語言和并行計算執行框架
SparkTM：一個快速和通用的計算Hadoop數據引擎。
TezTM：一個通用的數據流編程框架。
ZooKeeperTM：一個分布式應用的高性能協調的服務。

Hadoop版本

Hadoop的版本大致分為以下：
Apache
官方版本
Cloudera(CDH)
使用下載最多的版本，穩定，有商業支持，在Apache的基礎上打上了一些補丁。推薦使用。
HortonWorks(HDP)
基于Apache的版本進行了集成。
MapR

Hadoop模塊構成

Hadoop2包括4個模塊

Hadoop Common
The common utilities that support the other Hadoop modules.
Hadoop Distributed File System(HDFSTM)
A distributed file system that provides high-throughput access to application data.
Hadoop Yarn
A framework for job scheduling and cluster resource management.
Hadoop MapReduce
A YARN-based system for parallel processing of large data sets.

Hadoop1和Hadoop2簡介

Hadoop1
HDFS：Hadoop Distributed File System 分布式文件系統
MapReduce：分布式計算模型
Hadoop2
HDFS2: Hadoop Distributed File System 分布式文件系統
Yarn：資源管理平臺，在上面運行分布式計算，典型的計算模型有
MapReduce、Storm、Spark等。

詳細可參考http://hadoop.apache.org

另外有需要云服務器可以了解下創新互聯scvps.cn，海內外云服務器15元起步，三天無理由+7*72小時售后在線，公司持有idc許可證，提供“云服務器、裸金屬服務器、高防服務器、香港服務器、美國服務器、虛擬主機、免備案服務器”等云主機租用服務以及企業上云的綜合解決方案，具有“安全穩定、簡單易用、服務可用性高、性價比高”等特點與優勢，專為企業上云打造定制，能夠滿足用戶豐富、多元化的應用場景需求。

文章名稱：大數據開發生態圈之ApacheHadoop簡介-創新互聯
當前URL：http://vcdvsql.cn/article40/dgoseo.html

成都網站建設公司_創新互聯，為您提供動態網站、電子商務、外貿網站建設、網站導航、品牌網站設計、網站改版

廣告

聲明：本網站發布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創新互聯