本篇內容介紹了“hadoop下怎么計算MapReduce過程中需要的緩沖區大小”的有關知識，在實際案例的操作過程中，不少人都會遇到這樣的困境，接下來就讓小編帶領大家學習一下如何處理這些情況吧！希望大家仔細閱讀，能夠學有所成！

本篇內容介紹了“hadoop下怎么計算MapReduce過程中需要的緩沖區大小”的有關知識，在實際案例的操作過程中，不少人都會遇到這樣的困境，接下來就讓小編帶領大家學習一下如何處理這些情況吧！希望大家仔細閱讀，能夠學有所成！

創新新互聯，憑借十余年的成都網站設計、網站制作經驗，本著真心·誠心服務的企業理念服務于成都中小企業設計網站有近千家案例。做網站建設，選成都創新互聯。

在Map階段，map函數會產生中間數據輸出并保存在內存緩沖區中（緩沖區大小由io.sort.mb參數指定）。一旦達到占用閾值（默認是80%），緩沖區的內容就會寫入本地磁盤，這也就是所謂的溢寫（spill）。

緩沖區內會存儲溢寫記錄的元數據（每條數據元數據長度為16字節）和溢寫記錄。

分配給元數據的空間由參數io.sort.record.percent指定，默認5%，其余分配給溢寫記錄使用。

要確定緩沖區所需的內存空間，需要計算溢寫記錄和元數據分別所占空間大小。

具體計算方法如下：

Record length = Map output bytes / Map output records = 68022178 / 472293 = 144bytes

Spilled Records Size =  Spilled Records * Record length = 144 * 472293 = 68022178 = 64M

Metadata Size = Metadata length * Spilled Records = 16 * 472293 = 7556688 = 7M

io.sort.record.percent = 16 / (16 + 144) = 0.1

io.sort.mb = Metadata size + Spilled Records size = 64 + 7 = 71M

文章題目：hadoop下怎么計算MapReduce過程中需要的緩沖區大小
標題鏈接：http://vcdvsql.cn/article48/sdhhp.html

成都網站建設公司_創新互聯，為您提供關鍵詞優化、網站收錄、靜態網站、營銷型網站建設、小程序開發、網站內鏈

廣告

聲明：本網站發布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創新互聯