里約奧運會近日已落下帷幕，它不僅成功霸占了觀眾的社交流量，在話題上也是堪稱現象級的。而這背后，大數據的成功運用可謂功不可沒。從“虛擬獎牌榜”、“全視氣球”、“水下計時器”、“基于數據分析的運動員訓練方式”到“將寨卡病毒擋在里約奧運的大門之外”， 大數據驅動的里約奧運會被烙上了獨特的科技標簽。組委會CIO Elly Resende表示，大約有250家科技公司為構建整個基礎設施提供了不同程度的技術。顯然，“里約印象”的非凡塑造離不開強大IT基礎設施的支持。

目前創(chuàng)新互聯公司已為1000多家的企業(yè)提供了網站建設、域名、網頁空間、網站托管運營、企業(yè)網站設計、特克斯網站維護等服務，公司將堅持客戶導向、應用為本的策略，正道將秉承"和諧、參與、激情"的文化，與客戶和合作伙伴齊心協(xié)力一起成長，共同發(fā)展。

同樣，對企業(yè)來說，數據就像一個神奇的鉆石礦，當它的首要價值被發(fā)掘后仍能不斷給予。它的真實價值就像漂浮在海洋中的冰山，第一眼只能看到冰山的一角，而絕大部分都隱藏在表面之下。實時分析是當今企業(yè)獲得可持續(xù)優(yōu)勢的基石。更快獲取見解并據此采取行動已日益成為許多企業(yè)成敗的關鍵。

隨著數據的日益增多，企業(yè)需要更快地執(zhí)行分析，這對當今的數據工作者帶來了巨大挑戰(zhàn)：你應該如何快速行動，才能確保對數據的見解始終具有價值，而且優(yōu)于你的競爭對手？哪些方面的投資有助于你在這種數據劇增的環(huán)境中保持領先地位？

對所有大數據戰(zhàn)略來說，軟件必不可少，但僅有軟件是不夠的。各組織對快速實時決策的需求不斷增長，他們必須借助存儲和內存領域的創(chuàng)新來實現基礎設施轉型，才能滿足這一需求。

總之，基礎設施確實至關重要。為什么呢？這是因為，如果組織不對數據采取任何行動，他們就會損失資金，還會錯失競爭機會。IT 團隊有必要對支撐新一代大數據解決方案的底層基礎設施進行持續(xù)投資，但這種投資不應該僅是購買合適的新硬件。企業(yè)還需要認真優(yōu)化和調整現有硬件系統(tǒng)，確保系統(tǒng)具備充足的性能、容量和吞吐量，加快數據處理速度，并推進到規(guī)定的分析階段。

當然，要想利用大數據和先進的分析工作負載（如 Hadoop 和 Spark），各組織需要克服很多困難，其中大的挑戰(zhàn)與底層數據有關。具體來說，就是數據的“3 V”：種類 (Variety)、數據量 (Volume) 和速度 (Velocity)。數據的這三項特征都非常重要，其中速度（即不斷提升的數據創(chuàng)建和決策速度）尤為重要。

為什么在優(yōu)化大數據時必須要關注速度呢？這在一定程度上由其他兩個 V（即種類和數據量）所致。大數據系統(tǒng)捕獲和處理的不僅僅是文本；傳感器、視頻、音頻、社交媒體以及多種多樣的非結構化數據都有成為深度分析之瓶頸的潛在可能。當然，目前（更不用說將來）龐大的數據量會讓這一問題雪上加霜。如果不密切關注速度以及底層的存儲和內存基礎設施，大數據項目將無法發(fā)揮全部潛力，同時會大幅增加企業(yè)的財務和運營成本。

存儲速度更快

在 TechTarget 的購買者中，數千位來自北美的 IT 決策者在訪談時都表示，他們最希望大數據存儲能夠滿足延時、容量和帶寬這幾大存儲功能要求。其中，延遲更是大數據計劃必須妥善處理的一大問題。從根本上來說，延遲會損害服務器處理更大數據集的能力，導致工作負載癱瘓，并使得完成先進分析工作負載的過程更費時、代價更高昂。事實上，延遲比容量或 IOPS 重要得多，對大數據和其他先進分析工作負載而言尤其如此。

實際上，基于幀的陣列（目前的數據中心基礎設施普遍都采用這種配置）采用旋轉式硬盤作為存儲介質，在功能上已達到極限。在空間、供電/散熱成本、CPU 周期和存儲容量方面，這已經從根本上耗盡了許多數據中心的能力。而這又會迫使組織設立新的數據中心，通常要耗費數百萬美元的成本。

因此，這不斷推動著各組織轉為使用閃存/固態(tài)存儲。勇于創(chuàng)新的組織正在重新設計自己的數據中心，將存儲從 NAS 設備和 SAN 上移除，轉為使用支持閃存的服務器。這有助于減輕數據中心的擴張，減少物理空間占用量，降低供電和散熱成本，并提高整體運營效率。

“如果你詢問托管大數據的最好方法，大部分的大數據倡導者都會微笑著回答：‘當然是采用閃存啦！’”存儲行業(yè)分析師 Jon Toigo 表示，“因此，目前，以 Oracle 和 SAP 為首的數據庫制造商重新調整其產品也就不足為奇了。Oracle 和 SAP 的大數據設備采用全套閃存和動態(tài) RAM 來托管其常駐內存的數據庫。

當數據科學家搜索各個數據塊以獲取見解時，從 Hadoop 到 Spark 的遷移（無論是兩者間相互協(xié)作，還是用 Spark 替換 Hadoop）已經對存儲和內存基礎設施造成了壓力。旋轉式硬盤速度過慢，無法跟上提取關鍵見解所需的迭代機器學習工作流。投資混合陣列最初或許能夠節(jié)約成本，但很可能會導致無法獲取關鍵見解，因為它們需要等待硬盤找到必要的數據。

歸根結底，組織需要解決延遲問題，才能更快地找到實時數據并進行處理。顯然，欺詐檢測、合規(guī)性、電子發(fā)現和企業(yè)監(jiān)管等工作負載都需要具備“海底撈針”的能力，以防審計失敗或數據泄露。但是，面向公眾的應用（例如 OLTP、客戶自助服務、呼叫中心、CRM、供應鏈管理和市場營銷自動化）還需要兼具精確度與速度。用于執(zhí)行事務處理和實時分析的混合系統(tǒng)正在蓬勃發(fā)展，對它們來說，存儲延遲變得至關重要。

如果沒有固態(tài)硬盤提供的速度，大數據分析就無法為大多數應用提供可持續(xù)的競爭優(yōu)勢。

計算速度更快

要充分利用更快速的存儲系統(tǒng)，關鍵步驟之一就是確保服務器的計算中心可以達到數據處理所需的更高利用率。要使服務器配置達到性能目標，同時又不超出預算，針對目標應用和工作負載均衡選擇 DRAM 至關重要。

現在，內存/存儲分層結構方面出現了一個值得思考的新轉折點——持久存儲。顧名思義，持久存儲位于 DRAM 總線上，可提供極低的 DRAM 延遲，同時可確保數據持久性。由于存儲總線存在限制，而且閃存需要更多的訪問模式，DRAM 的延遲比速度最快的固態(tài)硬盤低了若干數量級。

目前，持久存儲解決方案基于 DRAM 和閃存技術而構建，被稱作“非易失性 DIMM”(NVDIMM)。這項新技術的優(yōu)勢在于，它最終可將關鍵數據（就算是斷電也不能丟失的數據）遷移到離處理器盡可能近的位置。有效工作在 DRAM（例如標準 DIMM）中完成，但是數據可在斷電時快速寫入閃存（電容器或電池系統(tǒng)在足夠長的時間內為模組供電，以完成備份任務）。如果應用中有經常需要訪問或修改的元數據，或者只是應用需要確保指定數據集實現盡可能快的速度，那么這是極具吸引力的選擇。

在近期的一篇文章中，一家領先的服務器 OEM 表示，Microsoft 運用范圍極廣的 SQL Server 數據庫通過利用 NVDIMM，可將速度提升兩到四倍—性能得到了極大的提升。但是，這一說法最引人注目的一點可能在于，服務器系統(tǒng)才剛剛開始采用 NVDIMM；如果對操作系統(tǒng)和軟件應用進行全面優(yōu)化，可以充分利用內存總線上的持久數據，那么性能將再次獲得大幅提升。不過，NVDIMM 提供的性能優(yōu)勢以及服務器市場的競爭格局都在快速推動著這些變化。所有希望在數據分析領域先人一步的 IT 管理員現在都應該考慮如何將時效性最強的任務遷移到基于 NVDIMM 的持久存儲系統(tǒng)。

評估并選擇一整套適合大數據的存儲和內存產品組合

現在，針對大數據和其他先進工作負載革新和重新調整數據中心基礎設施非常重要，并且，這一點在未來數年內會變得日益重要，同時也會極具挑戰(zhàn)性。但是，這并不一定意味著需要全盤更換。精明的 IT 決策者正在尋找全新的存儲和內存選項，它們既要能順利適應舊環(huán)境，又能為針對分析工作負載進行了優(yōu)化的全新基礎設施奠定基礎。

美光科技是硅基存儲和內存解決方案的全球領導者，一直備受業(yè)界贊譽。其旗下擁有豐富的固態(tài)硬盤、DRAM 和 NVDIMM 產品系列，對于需要快速、可靠的大數據解決方案的基礎設施管理員來說，美光科技是他們理想的合作伙伴。特別值得一提的是，美光科技提供完整的產品線，可讓大數據變?yōu)?ldquo;大而快的數據”，而這現已成為以分析為中心的基礎設施的基礎。

以固態(tài)硬盤為例。在開發(fā)和提供各種適用于全新存儲環(huán)境的固態(tài)硬盤方面，美光科技一直處于領先地位。使用美光閃存解決方案的一個優(yōu)勢在于，該公司非常了解基礎閃存存儲介質，因為這個介質就是由美光設計和制造的。

固態(tài)硬盤的密度正在快速增加，并且正在超越傳統(tǒng)硬盤系統(tǒng)。有了這種容量上的跨越，購買閃存存儲比繼續(xù)使用旋轉式硬盤更有意義。此外，與基于 SATA 的傳統(tǒng)硬盤相比，基于 SATA 的固態(tài)硬盤的功耗要低得多，這可以極大地吸引注重節(jié)約成本的購買者。

與此同時，美光科技繼續(xù)通過最新的 3D NAND 解決方案在閃存存儲領域突破極限。這項新技術讓容量變成了之前的三倍。3D NAND 的容量更大、性能更高且能耗要求更低，因此非常適合要求最嚴苛的分析工作負載。

DRAM 是美光科技在 30 多年前推出的首款產品，該公司也一直是世界上大的 DRAM 供應商之一。美光提供采用各種技術和外形規(guī)格的 DRAM，并與每個重要的服務器 OEM 精誠合作。此外，美光還提供一整套非易失性 DIMM，該產品系列兼具 DRAM 的速度和 NAND 閃存的持久存儲優(yōu)勢，如上文所述。

在選擇供應商時，了解其長期研發(fā)技能也非常重要。美光科技正在研發(fā)多個存儲和內存解決方案，可針對未來的大數據工作負載提供極具吸引力的優(yōu)勢。例如，美光科技的全新 3D XPoint™ 技術是一種創(chuàng)新型非易失性存儲解決方案；與傳統(tǒng) NAND 技術相比，它可提供低至 1/1000 的延遲和明顯更高的耐用性，因此非常適合實時數據挖掘和見解獲取。它具有提供非同尋常的新功能的潛力，例如高端企業(yè)級存儲或高容量持久存儲。 

結論

隨著大數據工作負載在企業(yè)內部變得越來越常見且越來越具有戰(zhàn)略性，IT 基礎設施需要實現根本性的大發(fā)展。大數據為獲得寶貴的新見解帶來了大機遇，但只有當系統(tǒng)能夠快速、可靠地訪問快速擴張的龐大數據存儲內的具體數據時，才不會錯失這一機會。

旋轉式硬盤一直是數十年來存儲基礎設施內的基本組成部分，但面對海量的非結構化數據，它們已經無法勝任捕獲、索引、解析、報告和處理等工作。各組織正轉而使用固態(tài)硬盤和 DRAM 進行常駐內存的處理，降低嚴重影響性能的延遲。

要充分利用各種先進的分析工作負載，最佳方法是使用專為大數據構建的基礎設施。美光科技的閃存存儲和 DRAM 解決方案已經過優(yōu)化，可為新一波的分析解決方案提供所需的低延遲和高 IOPS。此外，美光科技不僅可提供降低延遲和克服瓶頸所需的性能，還幫助組織以更具成本效益的方式部署先進的新存儲和內存基礎設施。

憑借在硅基解決方案領域一直以來的領軍地位，以及卓越的研發(fā)聲譽，美光科技提供可擴展的解決方案集，幫助組織實現實時數據分析、速度、可靠性和性能方面的目標。

作者：Brad Spiers（美光科技存儲事業(yè)部首席解決方案架構師）

文章名稱：如何應對大數據雪崩？
本文地址：http://vcdvsql.cn/article26/sdpgcg.html

成都網站建設公司_創(chuàng)新互聯，為您提供小程序開發(fā)、品牌網站建設、域名注冊、全網營銷推廣、外貿建站、微信公眾號

廣告

聲明：本網站發(fā)布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創(chuàng)新互聯