bl双性强迫侵犯h_国产在线观看人成激情视频_蜜芽188_被诱拐的少孩全彩啪啪漫画

使用rust開發鴻蒙應用的簡單介紹

用Rust做Web開發是怎樣的一種體驗

大數據成為主流業務,而R語言顯然是處理大數據的最佳工具。

利通網站建設公司創新互聯建站,利通網站設計制作,有大型網站制作公司豐富經驗。已為利通上千家提供企業網站建設服務。企業網站搭建\成都外貿網站制作要多少錢,請找那個售后服務好的利通做網站的公司定做!

R語言三個優勢原因

支持使用缺省值作為核心數據值,因而可以很容易地處理不完整的數據源,而不完整的數據源才是現實中最常見的。

可視化軟件包ggplot2將數據與繪圖分離,實現圖層疊加,現在以成為使用最廣泛的R語言拓展包。

頂層語言外殼是可定制的,程序員利用這個功能搭建了集成開發環境比如RStudio,這使得R語言更易于學,主要用于商業方面。

rust可以開發分布式系統嗎

rust是可以開發分布式系統的。

引子

構建一個分布式系統 并不是一件容易的事情,我們需要考慮很多的問題,首先就是我們的系統到底需要提供什么樣的功能,譬如:

一致性:我們是否需要保證整個系統的線性一致性,還是能容忍短時間的數據不一致,只支持最終一致性。

穩定性:我們能否保證系統 7 x 24 小時穩定運行。系統的可用性是 4 個 9,還有 5 個 9?如果出現了機器損壞等災難情況,系統能否做的自動恢復。

擴展性:當數據持續增多,能否通過添加機器就自動做到數據再次平衡,并且不影響外部服務。

分布式事務:是否需要提供分布式事務支持,事務隔離等級需要支持到什么程度。

上面的問題在系統設計之初,就需要考慮好,作為整個系統的設計目標。為了實現這些特性,我們就需要考慮到底采用哪一種實現方案,取舍各個方面的利弊等。

后面,我將以我們開發的分布式 Key-Value TiKV 作為實際例子,來說明下我們是如何取舍并實現的。

TiKV

TiKV 是一個分布式 Key-Value store,它使用 Rust 開發,采用 Raft 一致性協議保證數據的強一致性,以及穩定性,同時通過 Raft 的 Configuration Change 機制實現了系統的可擴展性。

TiKV 提供了基本的 KV API 支持,也就是通常的 Get,Set,Delete,Scan 這樣的 API。TiKV 也提供了支持 ACID 事務的 Transaction API,我們可以使用 Begin 開啟一個事務,在事務里面對 Key 進行操作,最后再用 Commit 提交一個事務,TiKV 支持 SI 以及 SSI 事務隔離級別,用來滿足用戶的不同業務場景。

Rust

在規劃好 TiKV 的特性之后,我們就要開始進行 TiKV 的開發。這時候,我們面臨的第一個問題就是采用什么樣的語言進行開發。當時,擺在我們眼前的有幾個選擇:

Go,Go 是我們團隊最擅長的一門語言,而且 Go 提供的 goroutine,channel 這些機制,天生的適合大規模分布式系統的開發,但靈活方便的同時也有一些甜蜜的負擔,首先就是 GC,雖然現在 Go 的 GC 越來越完善,但總歸會有短暫的卡頓,另外 goroutine 的調度也會有切換開銷,這些都可能會造成請求的延遲增高。

Java,現在世面上面有太多基于 Java 做的分布式系統了,但 Java 一樣有 GC 等開銷問題,同時我們團隊在 Java 上面沒有任何開發經驗,所以沒有采用。

C++,C++ 可以認為是開發高性能系統的代名詞,但我們團隊沒有特別多的同學能熟練掌握 C++,所以開發大型 C++ 項目并不是一件非常容易的事情。雖然使用現代 C++ 的編程方式能大量減少 data race,dangling pointer 等風險,我們仍然可能犯錯。

當我們排除了上面幾種主流語言之后,我們發現,為了開發 TiKV,我們需要這門語言具有如下特性:

靜態語言,這樣才能最大限度的保證運行性能。

無 GC,完全手動控制內存。

Memory safe,盡量避免 dangling pointer,memory leak 等問題。

Thread safe,不會遇到 data race 等問題。

包管理,我們可以非常方便的使用第三方庫。

高效的 C 綁定,因為我們還可能使用一些 C library,所以跟 C 交互不能有開銷。

綜上,我們決定使用 Rust,Rust 是一門系統編程語言,它提供了我們上面想要的語言特性,但選擇 Rust 對我們來說也是很有風險的,主要有兩點:

我們團隊沒有任何 Rust 開發經驗,全部都需要花時間學習 Rust,而偏偏 Rust 有一個非常陡峭的學習曲線。

基礎網絡庫的缺失,雖然那個時候 Rust 已經出了 1.0,但我們發現很多基礎庫都沒有,譬如在網絡庫上面只有 mio,沒有好用的 RPC 框架,HTTP 也不成熟。

但我們還是決定使用 Rust,對于第一點,我們團隊花了將近一個月的時間來學習 Rust,跟 Rust 編譯器作斗爭,而對于第二點,我們就完全開始自己寫。

幸運的,當我們越過 Rust 那段陣痛期之后,發現用 Rust 開發 TiKV 異常的高效,這也就是為啥我們能在短時間開發出 TiKV 并在生產環境中上線的原因。

一致性協議

對于分布式系統來說,CAP 是一個不得不考慮的問題,因為 P 也就是 Partition Tolerance 是一定存在的,所以我們就要考慮到底是選擇 C - Consistency 還是 A - Availability。

我們在設計 TiKV 的時候就決定 - 完全保證數據安全性,所以自然就會選擇 C,但其實我們并沒有完全放棄 A,因為多數時候,畢竟斷網,機器停電不會特別頻繁,我們只需要保證 HA - High Availability,也就是 4 個 9 或者 5 個 9 的可用性就可以了。

既然選擇了 C,我們下一個就考慮的是選用哪一種分布式一致性算法,現在流行的無非就是 Paxos 或者 Raft,而 Raft 因為簡單,容易理解,以及有很多現成的開源庫可以參考,自然就成了我們的首要選擇。

在 Raft 的實現上,我們直接參考的 etcd 的 Raft。etcd 已經被大量的公司在生產環境中使用,所以它的 Raft 庫質量是很有保障的。雖然 etcd 是用 Go 實現的,但它的 Raft library 是類似 C 的實現,所以非常便于我們用 Rust 直接翻譯。在翻譯的過程中,我們也給 etcd 的 Raft fix 了一些 bug,添加了一些功能,讓其變得更加健壯和易用。

現在 Raft 的代碼仍然在 TiKV 工程里面,但我們很快會將獨立出去,變成獨立的 library,這樣大家就能在自己的 Rust 項目中使用 Raft 了。

使用 Raft 不光能保證數據的一致性,也可以借助 Raft 的 Configuration Change 機制實現系統的水平擴展,這個我們會在后面的文章中詳細的說明。

存儲引擎

選擇了分布式一致性協議,下一個就要考慮數據存儲的問題了。在 TiKV 里面,我們會存儲 Raft log,然后也會將 Raft log 里面實際的客戶請求應用到狀態機里面。

首先來看狀態機,因為它會存放用戶的實際數據,而這些數據完全可能是隨機的 key - value,為了高效的處理隨機的數據插入,自然我們就考慮使用現在通用的 LSM Tree 模型。而在這種模型下,RocksDB 可以認為是現階段最優的一個選擇。

RocksDB 是 Facebook 團隊在 LevelDB 的基礎上面做的高性能 Key-Value Storage,它提供了很多配置選項,能讓大家根據不同的硬件環境去調優。這里有一個梗,說的是因為 RocksDB 配置太多,以至于連 RocksDB team 的同學都不清楚所有配置的意義。

關于我們在 TiKV 中如何使用,優化 RocksDB,以及給 RocksDB 添加功能,fix bug 這些,我們會在后面文章中詳細說明。

而對于 Raft Log,因為任意 Log 的 index 是完全單調遞增的,譬如 Log 1,那么下一個 Log 一定是 Log 2,所以 Log 的插入可以認為是順序插入。這種的,最通常的做法就是自己寫一個 Segment File,但現在我們仍然使用的是 RocksDB,因為 RocksDB 對于順序寫入也有非常高的性能,也能滿足我們的需求。但我們不排除后面使用自己的引擎。

因為 RocksDB 提供了 C API,所以可以直接在 Rust 里面使用,大家也可以在自己的 Rust 項目里面通過 rust-rocksdb 這個庫來使用 RocksDB。

分布式事務

要支持分布式事務,首先要解決的就是分布式系統時間的問題,也就是我們用什么來標識不同事務的順序。通常有幾種做法:

TrueTime,TrueTime 是 Google Spanner 使用的方式,不過它需要硬件 GPS + 原子鐘支持,而且 Spanner 并沒有在論文里面詳細說明硬件環境是如何搭建的,外面要自己實現難度比較大。

HLC,HLC 是一種混合邏輯時鐘,它使用 Physical Time 和 Logical Clock 來確定事件的先后順序,HLC 已經在一些應用中使用,但 HLC 依賴 NTP,如果 NTP 精度誤差比較大,很可能會影響 commit wait time。

TSO,TSO 是一個全局授時器,它直接使用一個單點服務來分配時間。TSO 的方式很簡單,但會有單點故障問題,單點也可能會有性能問題。

TiKV 采用了 TSO 的方式進行全局授時,主要是為了簡單。至于單點故障問題,我們通過 Raft 做到了自動 fallover 處理。而對于單點性能問題,TiKV 主要針對的是 PB 以及 PB 以下級別的中小規模集群,所以在性能上面只要能保證每秒百萬級別的時間分配就可以了,而網絡延遲上面,TiKV 并沒有全球跨 IDC 的需求,在單 IDC 或者同城 IDC 情況下,網絡速度都很快,即使是異地 IDC,也因為有專線不會有太大的延遲。

解決了時間問題,下一個問題就是我們采用何種的分布式事務算法,最通常的就是使用 2 PC,但通常的 2 PC 算法在一些極端情況下面會有問題,所以業界要不通過 Paxos,要不就是使用 3 PC 等算法。在這里,TiKV 參考 Percolator,使用了另一種增強版的 2 PC 算法。

這里先簡單介紹下 Percolator 的分布式事務算法,Percolator 使用了樂觀鎖,也就是會先緩存事務要修改的數據,然后在 Commit 提交的時候,對要更改的數據進行加鎖處理,然后再更新。采用樂觀鎖的好處在于對于很多場景能提高整個系統的并發處理能力,但在沖突嚴重的情況下反而沒有悲觀鎖高效。

對于要修改的一行數據,Percolator 會有三個字段與之對應,Lock,Write 和 Data:

Lock,就是要修改數據的實際 lock,在一個 Percolator 事務里面,有一個 primary key,還有其它 secondary keys, 只有 primary key 先加鎖成功,我們才會再去嘗試加鎖后續的 secondary keys。

Write,保存的是數據實際提交寫入的 commit timestamp,當一個事務提交成功之后,我們就會將對應的修改行的 commit timestamp 寫入到 Write 上面。

Data,保存實際行的數據。

當事務開始的時候,我們會首先得到一個 start timestamp,然后再去獲取要修改行的數據,在 Get 的時候,如果這行數據上面已經有 Lock 了,那么就可能終止當前事務,或者嘗試清理 Lock。

當我們要提交事務的時候,先得到 commit timestamp,會有兩個階段:

Prewrite:先嘗試給 primary key 加鎖,然后嘗試給 second keys 加鎖。如果對應 key 上面已經有 Lock,或者在 start timestamp 之后,Write 上面已經有新的寫入,Prewrite 就會失敗,我們就會終止這次事務。在加鎖的時候,我們也會順帶將數據寫入到 Data 上面。

Commit:當所有涉及的數據都加鎖成功之后,我們就可以提交 primay key,這時候會先判斷之前加的 Lock 是否還在,如果還在,則刪掉 Lock,將 commit timestamp 寫入到 Write。當 primary key 提交成功之后,我們就可以異步提交 second keys,我們不用在乎 primary keys 是否能提交成功,即使失敗了,也有機制能保證數據被正常提交。

我們為什么用Rust?

Rust 是一門系統級編程語言,被設計為保證內存和線程安全,防止段錯誤產生。作為系統級編程語言,它的基本理念是 “零開銷抽象”。理論上來說,它的速度與 C/C++ 同級。Rust 可以被歸為通用的、多范式、編譯型的編程語言,類似 C/C++。與這兩門編程語言不同的是,Rust 是線程安全的!Rust 編程語言的目標是,創建一個安全和并發的軟件系統。它強調安全性、并發和內存控制。盡管 Rust 借用了 C/C++ 的語法,卻杜絕了空指針和懸掛指針,而這二者是 C/C++ 中系統崩潰、內存泄露和不安全代碼的根源。

雖然 Rust 是一門系統級編程語言,但并不意味著它只能寫底層程序(操作系統、驅動、工具、數據庫、搜索引擎等),它的抽象層次之高完全給人驚艷的感覺,實踐證明它對問題建模的能力和方便性不比 C++/Java/Python/Ruby 差。但 Haskell 這類超高抽象語言,也不是 Rust 的發展方向。Rust 力求在抽象與現實世界中找到一個平衡。

在向SCRY 項目研發負責人Peace交流時,他說到,當時選擇Rust,主要有兩個原因:一是有高性能要求時,原來好多人會選擇C/C++,現在多了一個Rust選擇,還解決了C/C++許多不足;二是Rust應用在區塊鏈有成熟的參考。最后Peace給了未來使用SCRY項目開源部分的學習者一些建議,“快速的學習能力,快樂地把小事做好,正確合理定義一個函數。”

Rust到底有多受歡迎呢?目前,Rust 已經在 StackOverflow 的年度語言評選中,連續 4 年榮獲“程序員最喜愛語言”第一名(2016, 2017, 2018, 2019)。以下是 2019 年調查的截圖:

但比起Python、C、C++ 等,Rust還只是個小年輕。調查顯示,更多的人不去學習 Rust 還是因為 Rust 沒有足夠的活躍商業項目讓它成為企業的一部分。

不過,Rust 在工作中的占比也越來越高。過去一年間,Rust 在商業應用上有著令人驚訝的成長。下面是部分人們熟知的公司:

國內的百度,阿里,也已經在內部小范圍的使用上了Rust。

就在本月初,微軟還推出了基于 Rust 的 Windows 運行時項目 Rust/WinRT。該項目和 C++/WinRT 一脈相承,用標準語言和編譯器為 Windows 運行時構建語言投影,從而方便 Rust 開發人員調用 Windows API,更輕松地使用 Rust 構建各類 Windows 應用和組件。

()

2015年下半年,Gavin Wood 博士創立了 Parity Technologies,推出以太坊(Ethereum)客戶端 parity,而這個 parity 客戶端就是使用Rust寫的。實際在 parity 出現之前,MaidSafe項目就已經出現了。MaidSafe用 Rust 語言嘗試了很多東西。Rust語言本身強調的安全性以及MaidSafe這些前沿項目,可能給了 Gavin 充分的理由選擇 Rust 作為 parity 開發語言。

寫一個有效率的、符合習慣的Rust程序比寫一個有潛在危險的程序容易得多。下面是Linux內核在2018年一月到四月期間發現的bug:

而對于Rust而言,上圖右側占比 51% 的部分,從語言層面就可以避免。也就是說,對Rust來說,根本不存在上圖右邊這些問題。

Rust在實現內存安全和并發安全的同時,并沒有以損失性能為代價。更牛逼的是,它甚至是用同一套抽象解決了內存安全和數據競爭這兩個不同領域的問題。

Rust的零開銷抽象讓你在享受安全性的同時,又不損失性能。這正是傳統的程序員夢寐以求的。

Solana的首席執行官Anatoly Yakovenko在一段采訪中提到剛開始項目的時候,他用了兩周時間使用C語言,但是當用到一些外部庫的時候,還得寫makefile,手動下載這些庫,比較麻煩。所以,他決定嘗試一下Rust。就在那一刻,“Holy shit, this is amazing.”“我才覺醒到,這是一個和C語言一樣快的語言,并且還給了我Haskell般的類型安全。Rust擊中了我,這真的很酷。”

今天Rust滿5歲了(2020年5月15日,是Rust語言正式發布5年生日)。Rust語言正在IT工業各個領域快速發展,而由于區塊鏈本身的特質,區塊鏈領域是較早接納Rust的領域之一。在區塊鏈領域,Rust正以勢如破竹之勢占領區塊鏈新興項目市場,很多著名的老項目也在考慮轉向使用Rust重寫。

祝Rust 5周年生日快樂!

參考:

1. Why Rust?

2. Meetup with Solana, Zcash, Parity — Why Rust Is Ideal For Blockchain Development?

3. Rust 2017 Survey Results

4. 微軟開源 Rust/WinRT,方便使用 Rust 構建 Windows 應用

5. Stack Overflow’s Developer Survey Results 2019

6. 當區塊鏈遇上Rust

本文題目:使用rust開發鴻蒙應用的簡單介紹
URL標題:http://vcdvsql.cn/article36/dsdeisg.html

成都網站建設公司_創新互聯,為您提供定制網站企業網站制作響應式網站小程序開發做網站用戶體驗

廣告

聲明:本網站發布的內容(圖片、視頻和文字)以用戶投稿、用戶轉載內容為主,如果涉及侵權請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網站立場,如需處理請聯系客服。電話:028-86922220;郵箱:631063699@qq.com。內容未經允許不得轉載,或轉載時需注明來源: 創新互聯

成都網站建設