組件分享之后端組件——基于Golang實現的高性能和彈性的流處理器benthos

近期正在探索前端、后端、系統端各類常用組件與工具，對其一些常見的組件進行再次整理一下，形成標準化組件專題，后續該專題將包含各類語言中的一些常用組件。歡迎大家進行持續關注。

為康樂等地區用戶提供了全套網頁設計制作服務，及康樂網站建設行業解決方案。主營業務為網站設計制作、網站設計、康樂網站設計，以傳統方式定制建設網站，并提供域名空間備案等一條龍服務，秉承以專業、用心的態度為用戶提供真誠的服務。我們深信只要達到每一位用戶的要求，就會得到認可，從而選擇與我們長期合作。這樣，我們也可以走得更遠！

本節我們分享的是基于Golang實現的高性能和彈性的流處理器 benthos ，它能夠以各種代理模式連接各種 源 和 接收器，并對有效負載執行 水合、濃縮、轉換和過濾 。

它帶有 強大的映射語言 ，易于部署和監控，并且可以作為靜態二進制文件、docker 映像或 無服務器函數 放入您的管道，使其成為云原生。

Benthos 是完全聲明性的，流管道在單個配置文件中定義，允許您指定連接器和處理階段列表：

Apache Pulsar, AWS (DynamoDB, Kinesis, S3, SQS, SNS), Azure (Blob storage, Queue storage, Table storage), Cassandra, Elasticsearch, File, GCP (Pub/Sub, Cloud storage), HDFS, HTTP (server and client, including websockets), Kafka, Memcached, MQTT, Nanomsg, NATS, NATS JetStream, NATS Streaming, NSQ, AMQP 0.91 (RabbitMQ), AMQP 1, Redis (streams, list, pubsub, hashes), MongoDB, SQL (MySQL, PostgreSQL, Clickhouse, MSSQL), Stdin/Stdout, TCP UDP, sockets and ZMQ4.

1、docker安裝

具體使用方式可以參見該 文檔

有關如何配置更高級的流處理概念（例如流連接、擴充工作流等）的指導，請查看 說明書部分。

有關在 Go 中構建您自己的自定義插件的指導，請查看 公共 API。

golang有沒有好的開源游戲框架

Go作為近兩年迅速流行起來的編程語言始終致力于使事情簡單化。它并未引入很多新概念，而是聚焦于打造一門簡單的語言，讓開發者使用起來感覺異常快速且簡單。相信有意向深入學習Go語言的小伙伴都在研究Go的開源項目，今天我就把自己覺得不錯的6個Go開源項目推薦給大家，希望大家能獲得收獲和成長。

推薦一：kubernetes 【Star：44418】

Kubernetes基于Docker，其目的是讓用戶通過Kubernetes集群來進行云端容器集群的管理，而無需用戶進行復雜的設置工作。系統會自動選取合適的工作節點來執行具體的容器集群調度處理工作。

推薦二：etcd 【Star：21408】

etcd是由CoreOS開發并維護鍵值存儲系統，它使用Go語言編寫，并通過Raft一致性算法處理日志復制以保證強一致性。目前，Google的容器集群管理系統Kubernetes、開源PaaS平臺Cloud Foundry和CoreOS的Fleet都廣泛使用了etcd。

推薦三：deis 【Star：6093】

Deis是一個基于Docker和CoreOS的開源PaaS平臺，旨在讓部屬和管理服務器上的應用變得輕松容易。它可以運行在AWS、GCE以及Openstack平臺下。

推薦四：flynn 【Star：6936】

Flynn是一個使用Go語言編寫的開源PaaS平臺，可自動構建部署任何應用到Docker容器集群上運行。Flynn項目受到Y Combinator的支持，目前仍在開發中，被稱為是下一代的開源PaaS平臺。

推薦五：lime 【Star：13775】

相對上面的幾款Go語言在云端和服務器端之外，Lime則顯得比較特殊。Lime，則是一款用Go語言寫的桌面編輯器程序，被看做是著名編輯器Sublime Text的開源實現。

六：revel 【Star：10508】

Revel是一個高生產力的Go語言Web框架。Revel框架支持熱編譯，當編輯、保存和刷新源碼時，Revel會自動編譯代碼和模板；全棧特性，支持路由、參數解析、緩存、測試、國際化等功能。

GoLang -- gRPC框架四大服務

在 gRPC 里客戶端應用可以像調用本地對象一樣直接調用另一臺不同的機器上服務端 應用的方法，使得您能夠更容易地創建分布式應用和服務。與許多 RPC 系統類似，gRPC 也是基于以下理念：定義一個服務，指定其能夠被遠程調用的方法（包含參數和返回類型）。在服務端實現這個接口，并運行一個 gRPC 服務器來處理客戶端調用。在客戶端擁有一個存根能夠像服務端一樣的方法。

gRPC 客戶端和服務端可以在多種環境中運行和交互 - 從 google 內部的服務器到你自己的筆記本，并且可以用任何 gRPC 支持的語言來編寫。所以，你可以很容易地用 Java 創建一個 gRPC 服務端，用 Go、Python、Ruby 來創建客戶端。此外，Google 最新 API 將有 gRPC 版本的接口，使你很容易地將 Google 的功能集成到你的應用里。

gRPC 默認使用 protocol buffers，這是 Google 開源的一套成熟的結構數據序列化機制（當然也可以使用其他數據格式如 JSON）。名叫 proto3 的新風格的 protocol buffers，它擁有輕量簡化的語法、一些有用的新功能，并且支持更多新語言。當前針對 Java 和 C++ 發布了 beta 版本，針對 JavaNano（即 Android Java）發布 alpha 版本，在protocol buffers Github 源碼庫里有 Ruby 支持， 在golang/protobuf Github 源碼庫里還有針對 Go 語言的生成器， 對更多語言的支持正在開發中。

有了 gRPC， 我們可以一次性的在一個 .proto 文件中定義服務并使用任何支持它的語言去實現客戶端和服務器，反過來，它們可以在各種環境中，從Google的服務器到你自己的平板電腦—— gRPC 幫你解決了不同語言及環境間通信的復雜性.使用 protocol buffers 還能獲得其他好處，包括高效的序列號，簡單的 IDL 以及容易進行接口更新。

現在讓我們來仔細了解一下當 gRPC 客戶端調用 gRPC 服務端的方法時到底發生了什么。我們不究其實現細節，關于實現細節的部分，你可以在我們的特定語言頁面里找到更為詳盡的內容。

首先我們來了解一下最簡單的 RPC 形式：客戶端發出單個請求，獲得單個響應。

服務端流式 RPC 除了在得到客戶端請求信息后發送回一個應答流之外，與我們的簡單例子一樣。在發送完所有應答后，服務端的狀態詳情(狀態碼和可選的狀態信息)和可選的跟蹤元數據被發送回客戶端，以此來完成服務端的工作。客戶端在接收到所有服務端的應答后也完成了工作。

客戶端流式 RPC 也基本與我們的簡單例子一樣，區別在于客戶端通過發送一個請求流給服務端，取代了原先發送的單個請求。服務端通常（但并不必須）會在接收到客戶端所有的請求后發送回一個應答，其中附帶有它的狀態詳情和可選的跟蹤數據。

雙向流式 RPC ，調用由客戶端調用方法來初始化，而服務端則接收到客戶端的元數據，方法名和截止時間。服務端可以選擇發送回它的初始元數據或等待客戶端發送請求。 下一步怎樣發展取決于應用，因為客戶端和服務端能在任意順序上讀寫 - 這些流的操作是完全獨立的。例如服務端可以一直等直到它接收到所有客戶端的消息才寫應答，或者服務端和客戶端可以像"乒乓球"一樣：服務端后得到一個請求就回送一個應答，接著客戶端根據應答來發送另一個請求，以此類推。

通過運行下面的命令克隆并安裝grpc-go代碼庫：

下載protobuf源碼包

安裝golang-protobuf

第一步使用 protocol buffers去定義 gRPC service 和方法 request 以及 response 的類型。

要定義一個服務，必須在.proto 文件中指定 service：

然后在服務中定義 rpc 方法，指定請求的和響應類型，gRPC 允許定義4種類型的 service 方法。

服務.proto文件如下所示：

go語言web框架beego安裝(go mod方式)

go語言web框架beego安裝(go mod方式)_不忘初心，方得始終-CSDN博客

重要:將bee命令放到GOROOT/bin目錄下，這步很關鍵

cp bee /usr/local/go/bin/

注：或者可以將GOPATH/bin設置為環境變量

echo ’export PATH=" PATH"' ~/.bashrc

source ~/.bashrc

router路由下方法名要大寫,訪問權限

wq保存

生效環境變量: source /etc/profile

go build -o abc.exe可指定編譯后的文件名

Golang常用環境變量說明與設置詳解

環境變量GOBIN表示我們開發程序編譯后二進制命令的安裝目錄。

當我們使用go install命令編譯和打包應用程序時，該命令會將編譯后二進制程序打包GOBIN目錄，一般我們將GOBIN設置為GOPATH/bin目錄。

export GOBIN=$GOPATH/bin

Go get包管理mod

windows下默認項目路徑在go安裝目錄的src下(beego)

GO語言商業案例（十八）：stream

切換到新語言始終是一大步，尤其是當您的團隊成員只有一個時有該語言的先前經驗。現在，Stream 的主要編程語言從 Python 切換到了 Go。這篇文章將解釋stream決定放棄 Python 并轉向 Go 的一些原因。

Go 非常快。性能類似于 Java 或 C++。對于用例，Go 通常比 Python 快 40 倍。

對于許多應用程序來說，編程語言只是應用程序和數據庫之間的粘合劑。語言本身的性能通常并不重要。然而，Stream 是一個API 提供商，為 700 家公司和超過 5 億最終用戶提供提要和聊天平臺。多年來，我們一直在優化 Cassandra、PostgreSQL、Redis 等，但最終，您會達到所使用語言的極限。Python 是一門很棒的語言，但對于序列化/反序列化、排名和聚合等用例，它的性能相當緩慢。我們經常遇到性能問題，Cassandra 需要 1 毫秒來檢索數據，而 Python 會花費接下來的 10 毫秒將其轉換為對象。

看看我如何開始 Go 教程中的一小段 Go 代碼。（這是一個很棒的教程，也是學習 Go 的一個很好的起點。）

如果您是 Go 新手，那么在閱讀那個小代碼片段時不會有太多讓您感到驚訝的事情。它展示了多個賦值、數據結構、指針、格式和一個內置的 HTTP 庫。當我第一次開始編程時，我一直喜歡使用 Python 更高級的功能。Python 允許您在編寫代碼時獲得相當的創意。例如，您可以：

這些功能玩起來很有趣，但是，正如大多數程序員會同意的那樣，在閱讀別人的作品時，它們通常會使代碼更難理解。Go 迫使你堅持基礎。這使得閱讀任何人的代碼并立即了解發生了什么變得非常容易。 注意：當然，它實際上有多“容易”取決于您的用例。如果你想創建一個基本的 CRUD API，我仍然推薦 Django + DRF或 Rails。

作為一門語言，Go 試圖讓事情變得簡單。它沒有引入許多新概念。重點是創建一種非常快速且易于使用的簡單語言。它唯一具有創新性的領域是 goroutine 和通道。（100% 正確CSP的概念始于 1977 年，所以這項創新更多是對舊思想的一種新方法。）Goroutines 是 Go 的輕量級線程方法，通道是 goroutines 之間通信的首選方式。Goroutines 的創建非常便宜，并且只需要幾 KB 的額外內存。因為 Goroutine 非常輕量，所以有可能同時運行數百甚至數千個。您可以使用通道在 goroutine 之間進行通信。Go 運行時處理所有復雜性。goroutines 和基于通道的并發方法使得使用所有可用的 CPU 內核和處理并發 IO 變得非常容易——所有這些都不會使開發復雜化。與 Python/Java 相比，在 goroutine 上運行函數需要最少的樣板代碼。您只需在函數調用前加上關鍵字“go”：

Go 的并發方法很容易使用。與 Node 相比，這是一種有趣的方法，開發人員必須密切關注異步代碼的處理方式。Go 中并發的另一個重要方面是競爭檢測器。這樣可以很容易地確定異步代碼中是否存在任何競爭條件。

我們目前用 Go 編寫的最大的微服務編譯需要 4 秒。與以編譯速度慢而聞名的 Java 和 C++ 等語言相比，Go 的快速編譯時間是一項重大的生產力勝利。我喜歡在程序編譯的時候摸魚，但在我還記得代碼應該做什么的同時完成事情會更好。

首先，讓我們從顯而易見的開始：與 C++ 和 Java 等舊語言相比，Go 開發人員的數量并不多。根據StackOverflow的數據， 38% 的開發人員知道 Java， 19.3% 的人知道 C++，只有 4.6% 的人知道 Go。GitHub 數據顯示了類似的趨勢：Go 比 Erlang、Scala 和 Elixir 等語言使用更廣泛，但不如 Java 和 C++ 流行。幸運的是，Go 是一種非常簡單易學的語言。它提供了您需要的基本功能，僅此而已。它引入的新概念是“延遲”聲明和內置的并發管理與“goroutines”和通道。（對于純粹主義者來說：Go 并不是第一種實現這些概念的語言，只是第一種使它們流行起來的語言。）任何加入團隊的 Python、Elixir、C++、Scala 或 Java 開發人員都可以在一個月內在 Go 上發揮作用，因為它的簡單性。與許多其他語言相比，我們發現組建 Go 開發人員團隊更容易。如果您在博爾德和阿姆斯特丹等競爭激烈的生態系統中招聘人員，這是一項重要的優勢。

對于我們這樣規模的團隊（約 20 人）來說，生態系統很重要。如果您必須重新發明每一個小功能，您根本無法為您的客戶創造價值。Go 對我們使用的工具有很好的支持。實體庫已經可用于 Redis、RabbitMQ、PostgreSQL、模板解析、任務調度、表達式解析和 RocksDB。與 Rust 或 Elixir 等其他較新的語言相比，Go 的生態系統是一個重大勝利。它當然不如 Java、Python 或 Node 之類的語言好，但它很可靠，而且對于許多基本需求，你會發現已經有高質量的包可用。

Gofmt 是一個很棒的命令行實用程序，內置在 Go 編譯器中，用于格式化代碼。就功能而言，它與 Python 的 autopep8 非常相似。我們大多數人并不真正喜歡爭論制表符與空格。格式的一致性很重要，但實際的格式標準并不那么重要。Gofmt 通過使用一種正式的方式來格式化您的代碼來避免所有這些討論。

Go 對協議緩沖區和 gRPC 具有一流的支持。這兩個工具非常適合構建需要通過 RPC 通信的微服務。您只需要編寫一個清單，在其中定義可以進行的 RPC 調用以及它們采用的參數。然后從這個清單中自動生成服務器和客戶端代碼。生成的代碼既快速又具有非常小的網絡占用空間并且易于使用。從同一個清單中，您甚至可以為許多不同的語言生成客戶端代碼，例如 C++、Java、Python 和 Ruby。因此，內部流量不再有模棱兩可的 REST 端點，您每次都必須編寫幾乎相同的客戶端和服務器代碼。.

Go 沒有像 Rails 用于 Ruby、Django 用于 Python 或 Laravel 用于 PHP 那樣的單一主導框架。這是 Go 社區內激烈爭論的話題，因為許多人主張你不應該一開始就使用框架。我完全同意這對于某些用例是正確的。但是，如果有人想構建一個簡單的 CRUD API，他們將更容易使用 Django/DJRF、Rails Laravel 或Phoenix。對于 Stream 的用例，我們更喜歡不使用框架。然而，對于許多希望提供簡單 CRUD API 的新項目來說，缺乏主導框架將是一個嚴重的劣勢。

Go 通過簡單地從函數返回錯誤并期望調用代碼來處理錯誤（或將其返回到調用堆棧）來處理錯誤。雖然這種方法有效，但很容易失去問題的范圍，以確保您可以向用戶提供有意義的錯誤。錯誤包通過允許您向錯誤添加上下文和堆棧跟蹤來解決此問題。另一個問題是很容易忘記處理錯誤。像 errcheck 和 megacheck 這樣的靜態分析工具可以方便地避免犯這些錯誤。雖然這些變通辦法效果很好，但感覺不太對勁。您希望該語言支持正確的錯誤處理。

Go 的包管理絕不是完美的。默認情況下，它無法指定特定版本的依賴項，也無法創建可重現的構建。Python、Node 和 Ruby 都有更好的包管理系統。但是，使用正確的工具，Go 的包管理工作得很好。您可以使用Dep來管理您的依賴項，以允許指定和固定版本。除此之外，我們還貢獻了一個名為的開源工具VirtualGo，它可以更輕松地處理用 Go 編寫的多個項目。

我們進行的一個有趣的實驗是在 Python 中使用我們的排名提要功能并在 Go 中重寫它。看看這個排名方法的例子：

Python 和 Go 代碼都需要執行以下操作來支持這種排名方法：

開發 Python 版本的排名代碼大約花了 3 天時間。這包括編寫代碼、單元測試和文檔。接下來，我們花了大約 2 周的時間優化代碼。其中一項優化是將分數表達式 (simple_gauss(time)*popularity) 轉換為抽象語法樹. 我們還實現了緩存邏輯，可以在未來的特定時間預先計算分數。相比之下，開發此代碼的 Go 版本大約需要 4 天時間。性能不需要任何進一步的優化。因此，雖然 Python 的最初開發速度更快，但基于 Go 的版本最終需要我們團隊的工作量大大減少。另外一個好處是，Go 代碼的執行速度比我們高度優化的 Python 代碼快大約 40 倍。現在，這只是我們通過切換到 Go 體驗到的性能提升的一個示例。

與 Python 相比，我們系統的其他一些組件在 Go 中構建所需的時間要多得多。作為一個總體趨勢，我們看到 開發 Go 代碼需要更多的努力。但是，我們花更少的時間 優化 代碼以提高性能。

我們評估的另一種語言是Elixir.。Elixir 建立在 Erlang 虛擬機之上。這是一種迷人的語言，我們之所以考慮它，是因為我們的一名團隊成員在 Erlang 方面擁有豐富的經驗。對于我們的用例，我們注意到 Go 的原始性能要好得多。Go 和 Elixir 都可以很好地服務數千個并發請求。但是，如果您查看單個請求的性能，Go 對于我們的用例來說要快得多。我們選擇 Go 而不是 Elixir 的另一個原因是生態系統。對于我們需要的組件，Go 有更成熟的庫，而在許多情況下，Elixir 庫還沒有準備好用于生產環境。培訓/尋找開發人員使用 Elixir 也更加困難。這些原因使天平向 Go 傾斜。Elixir 的 Phoenix 框架看起來很棒，絕對值得一看。

Go 是一種非常高性能的語言，對并發有很好的支持。它幾乎與 C++ 和 Java 等語言一樣快。雖然與 Python 或 Ruby 相比，使用 Go 構建東西確實需要更多時間，但您將節省大量用于優化代碼的時間。我們在Stream有一個小型開發團隊，為超過 5 億最終用戶提供動力和聊天。Go 結合了 強大的生態系統 、新開發人員的 輕松入門、快速的性能 、對并發的 可靠支持和高效的編程環境 ，使其成為一個不錯的選擇。Stream 仍然在我們的儀表板、站點和機器學習中利用 Python 來提供個性化的訂閱源. 我們不會很快與 Python 說再見，但今后所有性能密集型代碼都將使用 Go 編寫。我們新的聊天 API也完全用 Go 編寫。

golang實現簡單的流式處理

實現一個最簡單的類似spark的流式處理流程

包含map和filter

數據

map函數

fliter函數

所有數據+1 過濾出偶數 過濾出大于5的數

網站欄目：go語言流處理框架 go語言大數據框架
網頁路徑：http://vcdvsql.cn/article10/hehjdo.html

成都網站建設公司_創新互聯，為您提供云服務器、網站導航、定制開發、ChatGPT、建站公司、網站收錄

廣告

聲明：本網站發布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創新互聯