LexisNexis公司將發布一款開源的數據處理方案，LexisNexis公司宣稱其處理工作負載的能力要優于Hadoop。該技術被稱為HPCC系統，該系統在10年前幫助LexusNexis公司的Risk Solutions分析大量的客戶數據。并在金融業和其他重要的行業中應用?？磥鞨PCC（High-Performance Cluster Computing 高性能集群計算）似乎有能力成為替代Hadoop的解決方案。

據LexisNexis Risk Solutions部門CTO Armando Escalante表示，LexisNexis公司決定發布HPCC系統，目前的狀況是Hadoop技術已經成為處理海量數據的選。Armando Escalante表示Hadoop雖然在海量數據處理方面走在前邊，但他認為HPCC系統更為優越。

但重要的是，Hadoop的開源模式吸引了大量相關人員對其進行開發和創新。Armando Escalante解釋說，如果公司想要繼續保持HPCC的影響力就需要通過一個新社區提供應用和好的創意。

Hadoop是許多年前由當時的Yahoo員工Doug Cutting在Apache軟件基金會創建的項目。Hadoop現已成為網絡公司的重要工具。包括Yahoo、Facebook，并幫助他們處理不斷增長的非結構化數據。Hadoop催生了一批用于商業的基于分布式技術的產品，包括Cloudera，EMC和IBM等公司。

HPCC如何工作

Hadoop依靠兩個核心組件來存儲和處理海量數據——Hadoop分布式文件系統和Hadoop Mapreduce。Cloudant公司CEO Mike Miller認為MapReduce在編寫并行處理工作流時依然相對復雜，HPCC旨在通過ECL（Enterprise Control Language）改善這一局面。

Escalante表示ECL是一種聲明式并以數據為中心的語言，它剝離了大量MapReduce必要的工作。對于某些千行代碼的MapReduce任務ECL只需要99行。此外，他還表示ECL對集群中節點的數量沒有要求，系統會自動將數據分布式的存放在當前節點之中。從技術上講，HPCC還可以運行在單一的虛擬機上。HPCC基于C++，如同Google最早的Mapreduce，這使得HPCC天生在效率上就優于基于Java開發的Hadoop。

HPCC提供兩種數據處理和服務的方式——Thor Data Refinery Cluster和Roxy Rapid Data Delivery Cluster。Escalante表示如此命名是因為其能像Thor(北歐神話中司雷、戰爭及農業的神)一樣解決困難的問題，Thor主要用來分析和索引大量的Hadoop數據。而Roxy則更像一個傳統的關系型數據庫或數據倉庫，甚至還可以處理Web前端的服務。

雖然沒有深入探討HPCC存儲組件的細節，但Escalante表示HPCC基于分布式文件系統，并可支持各種off-node存儲架構和本地的SSD。

Escalante認為為了確保LexisNexis產品質量，應采用“eating its own dogfood”（指軟件公司強調自己的軟件產品首先應內部使用，如果希望顧客購買公司的產品，公司內部也應該愿意使用它們）做法。HPCC開發團隊還聘請了Hadoop專家幫助檢驗其產品是否有問題疏漏。HPCC還構建了一個轉換器，用于遷移Hadoop Pig編寫的應用并轉換為ECL。

HPCC具有競爭力嗎？

一個關鍵的問題是HPCC是否能吸引到業界的構建者和用戶，這將有助于提升其在海量數據領域的話語權。Escalante認為HPCC能夠成功，因為HPCC已經證明了自己，它已處理LexisNexis Risk Solutions的35000個數據源。同時HPCC還可以每秒處理5000次的和支付客戶打交道的交易事物。

Hadoop已經證明了自己，其潛在的巨大核心業務每天都在增長，現在企業和組織在海量數據上依托于Hadoop。但Hadoop并不滿足這些成就。這使得微軟也在海量數據的競爭中推出了自己的分布式計算技術Dryad。（李智/譯）

原文鏈接：GIGAOM

成都網站設計公司 成都網站建設公司 成都網站制作公司 成都網站設計 成都網站建設 成都網站制作  成都精品網站制作 成都精典網站制作

網頁標題：【成都網站設計】高性能集群計算(HPCC)能取代Hadoop嗎？
轉載源于：http://vcdvsql.cn/news37/174337.html

成都網站建設公司_創新互聯，為您提供App開發、企業網站制作、網站收錄、網站維護、標簽優化、網站策劃

廣告

聲明：本網站發布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創新互聯