這期內容當中小編將會給大家帶來有關如何理解Fedlearner,文章內容豐富且以專業的角度為大家分析和敘述,閱讀完這篇文章希望大家可以有所收獲。
為企業提供成都做網站、成都網站建設、網站優化、成都營銷網站建設、競價托管、品牌運營等營銷獲客服務。創新互聯擁有網絡營銷運營團隊,以豐富的互聯網營銷經驗助力企業精準獲客,真正落地解決中小企業營銷獲客難題,做到“讓獲客更簡單”。自創立至今,成功用技術實力解決了企業“網站建設、網絡品牌塑造、網絡營銷”三大難題,同時降低了營銷成本,提高了有效客戶轉化率,獲得了眾多企業客戶的高度認可!
Fedlearner
這次頭條開源的Fedlearner與我之前分析過得華為、微眾的聯邦機器學習平臺有什么不同呢?主要體現在以下幾個方面:
產品化:Fedlearner的代碼里有大量的js、Html模塊,也是第一次讓我們可以直觀的看到聯邦機器學習平臺大概是什么樣的,如果做成產品需要長成什么樣。
業務多樣化:之前華為、微眾更多地強調聯邦機器學習在風控業務的落地。頭條開始強調聯邦學習在推薦、廣告等業務中的落地,并且給了很明確的數據,在某教育業務板塊廣告投放效果增加209%。
可輸出性:如果說之前的聯邦機器學習平臺更多地從理論層面做介紹,這一次字節的Fedlearner強調了可輸出性,比如為了保持聯邦建模雙方的環境一致性,通過K8S的部署模式快速拉起和管理集群。這是為ToB對外輸出服務做技術準備。
下面分別介紹下Fedlearner在這三方面的一些工作。
以推薦廣告業務為例,聯邦機器學習平臺的廣告主和平臺方應該各自管理一套模型展示服務和模型訓練服務。
需要有兩套協議保證客戶的聯邦建模,一套是數據一致性問題。比如在縱向聯邦學習場景下,用戶在頁面上點擊了某個廣告,平臺方和廣告主各自會捕獲一部分日志。如何能實時的保證這兩部分捕獲的日志的一致性,并且拼接成訓練樣本,需要一套實時數據樣本拼接協議。
另一個協議是多方數據安全協議。比如AB兩個業務方,A有4億用戶,B有3億用戶,如何做到通過某種方式找到A和B的交叉用戶,并且不讓A和B互相猜到對方的數據,需要有一套多方數據安全協議。
基于以上兩套協議,在雙方聯合建模過程中,使用GRPC通信,利用TensorFlow做雙方梯度的交換進行聯合建模。
聯邦機器學習的最大業務場景在推薦廣告,這個我在一年前的文章中有預測過。果然頭條特別強調了推薦場景的應用。他提到了推薦業務更適合神經網絡算法,風控業務適合樹形算法。作者也比較認同這樣的說法,因為風控需要高可解釋性,樹形算法天然滿足這樣的需求。而推薦業務對模型可解釋性要求不高,神經網絡算法的復雜性可以充分保證推薦排序算法的準確率。
Fedlearner業務負責人給了一組數字可以證明聯邦機器學習在推薦業務中的落地效果。
這組數組還是非常有說服力的。其實對于新技術,很多時候面對的壁壘不是技術問題,而是如何證明業務價值,需要第一個吃螃蟹的人,才能推動新技術在行業的落地。聯邦機器學習在推薦廣告業務中大有可為。
Fedlearner采用的是一套云原生的部署方案。數據存放在HDFS,用MySQL存儲系統數據。通過Kubernetes管理和拉起任務。每個Fedlearner的訓練任務需要參與雙方同時拉起K8S任務,通過Master節點統一管理,Worker建實現通信。
這套方案充分考慮了當前做推薦業務的用戶的數倉兼容性,因為大部分客戶的數倉體系還是Hadoop生態,數據存儲在HDFS。同時用K8S又最大限度的保證了聯合建模雙方計算引擎環境的一致性。
上述就是小編為大家分享的如何理解Fedlearner了,如果剛好有類似的疑惑,不妨參照上述分析進行理解。如果想知道更多相關知識,歡迎關注創新互聯行業資訊頻道。
網頁題目:如何理解Fedlearner
轉載源于:http://vcdvsql.cn/article44/gjeihe.html
成都網站建設公司_創新互聯,為您提供虛擬主機、全網營銷推廣、網站導航、定制網站、云服務器、關鍵詞優化
聲明:本網站發布的內容(圖片、視頻和文字)以用戶投稿、用戶轉載內容為主,如果涉及侵權請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網站立場,如需處理請聯系客服。電話:028-86922220;郵箱:631063699@qq.com。內容未經允許不得轉載,或轉載時需注明來源: 創新互聯