大概在 2005 年前后,Hadoop 誕生后,標志著人類正式進入大數據時代。
創新互聯建站從2013年創立,先為柘城等服務建站,柘城等地企業,進行企業商務咨詢服務。為柘城企業網站制作PC+手機+微官網三網同步一站式服務解決您的所有建站問題。其實," 大數據 " 概念第一次被提出,可以追溯到 1998 年,一家美國高性能計算公司的科學家,在一次國際會議報告中,用 "Big Data" ( 大數據 ) 來描述數據量增長帶來的挑戰。
到了 2013 年,開始有越來越多的企業看到大數據的價值,發現大數據能夠為企業業務賦能,通過對海量數據量的有效存儲、管理和分析,可以獲得更實時的市場洞察力。并且,人們還發現,大數據不是一個單一的技術,而是一系列數據管理技術的集合體,它對整個社會及人類帶來的影響,將有別于以往任何技術變革。
那么,十幾年時間過去了,今天的大數據發展到何種狀態?我們需要做些什么,才能讓大數據應用變得更加成熟?
從各種應用分析和調查來看,雖然企業的數據量呈爆發趨勢增長,也更重視信息的來源和使用價值,但在實際的商業價值推動上,并沒有帶來顯著成果。雖然大數據概念炒得很火熱,但應用上仍停留在如何將正確的信息在正確的時間發送給正確的人。
數據倉庫 vs 數據湖 vs 數據管理架構
為了收集、獲取海量數據,各種數據存儲和管理系統如雨后春筍般誕生,包括數據倉庫、數據湖和數據管理架構等,開始加快走向企業應用場景中。
只是,當企業的解決方案以及平臺架構開始增多,業務的復雜性也隨之增加,企業需要一個標準的數據管理架構,去整合所有的數據以及多樣的應用工具,包括能實現跨環境以及混合應用的管理。以往集中式架構,已經不能滿足企業的業務需求了。或者說,企業需要更強大的數據分析能力,能對不同的數據源進行訪問。這也是以 Data Fabric 為核心的數據管理架構,變得越來越流行的最根本原因。
理論上講,企業需要一個核心數據庫,能確保所有的數據都是最新、易管理,并且是干凈數據;但之前的數據架構模式不可能實現,而 Data Fabric 則能幫助企業實現不同數據的管理,并且能把各種數據之間的關系關聯起來,而不是將所有的數據傾倒在一個數據湖中。
所以,在數據的整個治理過程中,所有相關的應用都很重要。比如:我們可以通過數據倉庫實現高性能、可重復的分析;而數據湖可以存儲用于開發和測試的數據;Data Mesh 這種基于領域驅動和自服務的數據架構設計模式,可以用來管理分布式數據,因為該服務本身借鑒了微服務和 Service Mesh 分布式架構思想。提到 Data Mesh,有人可能要問 Data Mesh 和 Data Fabric 是什么關系?其實,Data Mesh 和 Data Fabric 在概念上都差不多,都是一種新型的數據管理架構,都致力于讓數據互聯互通。
一站式大數據平臺構建
當企業業務上升到一定量,構建大數據平臺成為必須品。問題是,大數據平臺如何構建?不同企業有不同選擇!
有專家建議,最好采用兩種策略構建企業大數據平臺,即一個用于生產,另一個用于分析。但筆者認為,基于一個標準的數據架構構建大數據平臺,更有利于數據管理。如果每個業務部門都建自己的平臺,需要支持多個數據庫,還得需要一個 ETL 平臺完成數據之間的轉換。這時,數據的真實性、實時性都會出現挑戰。構建大數據平臺,最終的目標是為了整合數據,讓所有的數據實現可視化管理,并且無論數據在企業內部還是云端,都能實現統一管理。多一個數據平臺,就意味著企業在進行數據整合時,會增加額外的成本,并且容易出現數據安全隱患。
當然,構建一個能覆蓋所有環境的大數據平臺,也不是一件容易的事。大多數時候,一個供應商的解決方案也沒那么全面,比如:有的提供了查詢功能,但治理方面差了一些;有的雖然解決了大數據的規模化處理,但后期的數據遷移成為一大挑戰。所以,企業擁有多個企業提供的數據管理解決方案,可能是一種常態。
如果企業選型選對,基于標準的數據架構來打造打造大數據平臺,那意味企業擁有了先天的一站式大數據平臺管理能力,后期可以通過各種工具和手段進行數據的標準化管理。
比如:基于 Data Fabric,企業從設計之初開始,就擁有了一個可靈活擴展、多次復用和持續優化的數據管道,技術開發人員可以根據服務和語義,支持復雜環境部署,通過資源的靈活調度,交付各種應用。
本文標題:大數據的未來何去何從?
文章分享:http://vcdvsql.cn/article26/soedcg.html
成都網站建設公司_創新互聯,為您提供網站設計公司、網站收錄、手機網站建設、動態網站、網站制作、云服務器
聲明:本網站發布的內容(圖片、視頻和文字)以用戶投稿、用戶轉載內容為主,如果涉及侵權請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網站立場,如需處理請聯系客服。電話:028-86922220;郵箱:631063699@qq.com。內容未經允許不得轉載,或轉載時需注明來源: 創新互聯