互聯網IDC圈12月30日報道：在日常的生活中,人們越來越關注天氣的變化,并根據天氣預報來安排生活和工作。比如平常的雨天會給人們的出行帶來不便，霧霾天氣更是不利于戶外活動，另外許多季節性的疾病也與天氣變化密切相關，關乎人們的身體健康。所以能夠預知近期的天氣情況,可以及早的做好各種準備，能讓人更加從容的安排生活和工作。

創新互聯公司是專業的普洱網站建設公司，普洱接單;提供網站制作、成都網站設計,網頁設計,網站設計,建網站,PHP網站建設等專業做網站服務;采用PHP框架,可快速的進行普洱網站開發網頁制作和功能擴展;專業做搜索引擎喜愛的網站,專業的做網站團隊,希望更多企業前來合作!

隨著人們對生活質量的要求不斷提高，對天氣預報要求也越來越高，要求天氣預報的精度高，預報刷新周期短，預測時間范圍廣。這對支撐觀測業務、預報業務的IT系統，尤其是對存儲的性能及容量提出了嚴峻的考驗。因為氣象觀測，會產生大量的觀測數據，接著把這些觀測數據匯聚到地面應用系統的存儲系統，再經過復雜的計算，最后才能生成未來天氣的預測結果。因此，輸入的數據越全面，數值越準確，數據的計算處理速度越快，生成的結果就越及時。

傳統的預測領域，存儲系統普遍采用IBM的GPFS和開源的Lustre技術，它們都興起于20世紀90年代，用于生產系統有著共同的特點：

1) 與SAN陣列技術發展同步，存儲的組網模式基本以SAN為主;SAN的組網比較復雜，購買、使用和運維的門檻都比較高

2) 可靠性依賴傳統的存儲節點內的RAID，節點間的可靠性弱

3) 隨著單盤容量越來越大，傳統RAID在出現磁盤故障，其數據重構時間長達數十小時，而且在重構過程中，存儲系統變得非常脆弱，性能下降，數據丟失風險高;

4) 另外隨著數據爆炸性增長，傳統SAN的容量和性能擴展性越來越成為主要瓶頸。

相比于以上兩種傳統分布式存儲，以普通X86服務器為存儲介質，通過對象存儲技術、并行訪問技術、Scale-out橫向擴展技術和單一組網為特征的新型分布式存儲架構得到迅猛發展。分布式存儲系統將大量節點組織成統一系統，提供增刪節點的能力，大大增加了系統可擴展性。其次，將數據分片打散到系統內多個節點的硬盤上，分布式存儲的可靠性大大提升。 再者，每個存儲節點上都提供服務的能力，提升了性能，減少了瓶頸點的發生。

分布式存儲，在業界有代表性的產品是華為的OceanStor 9000存儲。OceanStor 9000大數據存儲系統是華為推出的全對稱架構的分布式存儲系統，在業界以領先的卓越性能、大規模橫向擴展能力和超大單一文件系統著稱。

在容量和擴展性方面，OceanStor 9000采用全對稱結構，將所有節點的命名空間整合為統一命名空間，將整個系統的所有節點的存儲容量組成一個大的虛擬存儲池，元數據和數據保存在每個節點上，每個節點都是元數據服務器。同時也是數據服務器，保障了系統的擴展性。

在性能方面，為實現數據保護和高性能讀寫，OceanStor 9000對數據進行按節點條帶化處理，讀寫數據時文件系統將用戶的數據平均分布在各節點上，保障了系統的性能。OceanStor 9000支持全局緩存功能，在高性能計算應用場景時，根據業務對數據的訪問模型進行預測，提前將預計即將被訪問的文件或某些目錄中的所有文件提前預先存儲到系統的全局緩存中，從而提高應用獲取數據的效率。

在可靠性方面，OceanStor 9000的數據保護技術，是建立在分布式、節點間冗余的基礎上的。數據進入系統之后，首先被切分為N個數據條帶，然后計算出M個冗余條帶，并最終保存在N+M個不同的節點中。由于同一條帶的數據保存在不同節點中，所以OceanStor 9000存儲系統中的數據不僅能支持硬盤級的故障，而且能夠支持節點級的故障，保證數據不丟失。只要系統中同時故障的節點數不超過M，系統就可以持續提供服務。通過數據重構過程，系統可以恢復出損壞的數據，恢復整系統的數據可靠性。

除此之外，OceanStor 9000還支持靈活的負載均衡功能，可以根據當前CPU利用率、當前內存利用率、當前網絡吞吐量、當前客戶端連接數等信息，平均的讓每個節點均對外承擔服務。

在真實的應用中，以某氣象機構為例，華為的OceanStor9000的3個節點，單節點寫性能可以達到1.3GB/s,而讀性能可以達到1.9GB/s，由于3節點是其最低配置，后續通過增加節點數量，性能容量均能線性提升。

經過以上對OceanStor 9000產品的架構分析以及實際的應用性能分析，該存儲平臺能夠很好的滿足氣象應用中非結構化數據對存儲容量、性能的需求。它能夠根據業務增長進行平滑擴容，系統每增加一個存儲節點，都能夠自動識別，將該存儲空間加入到整系統中，并根據負載均衡的原則，優先選擇新的節點存儲，從而簡化了系統擴容的管理，降低了操作成本。擴容時容量和性能支持線性擴展，真正實現"應需而變"，為業務的長期髙效可靠運行提供保障。

網站名稱：大數據存儲,讓預測更準確
文章位置：http://vcdvsql.cn/article42/sopjec.html

成都網站建設公司_創新互聯，為您提供虛擬主機、網站排名、網站內鏈、微信小程序、服務器托管、全網營銷推廣

廣告

聲明：本網站發布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創新互聯