golang使用Nsq

1. 介紹

創新互聯堅持“要么做到，要么別承諾”的工作理念，服務領域包括：做網站、成都網站設計、企業官網、英文網站、手機端網站、網站推廣等服務，滿足客戶于互聯網時代的杏花嶺網站設計、移動媒體設計的需求，幫助企業找到有效的互聯網解決方案。努力成為您成熟可靠的網絡建設合作伙伴！

最近在研究一些消息中間件，常用的MQ如RabbitMQ,ActiveMQ,Kafka等。NSQ是一個基于Go語言的分布式實時消息平臺，它基于MIT開源協議發布，由bitly公司開源出來的一款簡單易用的消息中間件。

官方和第三方還為NSQ開發了眾多客戶端功能庫，如官方提供的基于HTTP的nsqd、Go客戶端go-nsq、Python客戶端pynsq、基于Node.js的JavaScript客戶端nsqjs、異步C客戶端libnsq、Java客戶端nsq-java以及基于各種語言的眾多第三方客戶端功能庫。

1.1 Features

1). Distributed

NSQ提供了分布式的，去中心化，且沒有單點故障的拓撲結構，穩定的消息傳輸發布保障，能夠具有高容錯和HA（高可用）特性。

2). Scalable易于擴展

NSQ支持水平擴展，沒有中心化的brokers。內置的發現服務簡化了在集群中增加節點。同時支持pub-sub和load-balanced 的消息分發。

3). Ops Friendly

NSQ非常容易配置和部署，生來就綁定了一個管理界面。二進制包沒有運行時依賴。官方有Docker image。

4.Integrated高度集成

官方的 Go 和 Python庫都有提供。而且為大多數語言提供了庫。

1.2 組件

1.3 拓撲結構

NSQ推薦通過他們相應的nsqd實例使用協同定位發布者，這意味著即使面對網絡分區，消息也會被保存在本地，直到它們被一個消費者讀取。更重要的是，發布者不必去發現其他的nsqd節點，他們總是可以向本地實例發布消息。

NSQ

首先，一個發布者向它的本地nsqd發送消息，要做到這點，首先要先打開一個連接，然后發送一個包含topic和消息主體的發布命令，在這種情況下，我們將消息發布到事件topic上以分散到我們不同的worker中。

事件topic會復制這些消息并且在每一個連接topic的channel上進行排隊，在我們的案例中，有三個channel，它們其中之一作為檔案channel。消費者會獲取這些消息并且上傳到S3。

nsqd

每個channel的消息都會進行排隊，直到一個worker把他們消費，如果此隊列超出了內存限制，消息將會被寫入到磁盤中。Nsqd節點首先會向nsqlookup廣播他們的位置信息，一旦它們注冊成功，worker將會從nsqlookup服務器節點上發現所有包含事件topic的nsqd節點。

nsqlookupd

2. Internals

2.1 消息傳遞擔保

1）客戶表示已經準備好接收消息

2）NSQ 發送一條消息，并暫時將數據存儲在本地（在 re-queue 或 timeout）

3）客戶端回復 FIN（結束）或 REQ（重新排隊）分別指示成功或失敗。如果客戶端沒有回復, NSQ 會在設定的時間超時，自動重新排隊消息

這確保了消息丟失唯一可能的情況是不正常結束 nsqd 進程。在這種情況下，這是在內存中的任何信息（或任何緩沖未刷新到磁盤）都將丟失。

如何防止消息丟失是最重要的，即使是這個意外情況可以得到緩解。一種解決方案是構成冗余 nsqd對（在不同的主機上）接收消息的相同部分的副本。因為你實現的消費者是冪等的，以兩倍時間處理這些消息不會對下游造成影響，并使得系統能夠承受任何單一節點故障而不會丟失信息。

2.2 簡化配置和管理

單個 nsqd 實例被設計成可以同時處理多個數據流。流被稱為“話題”和話題有 1 個或多個“通道”。每個通道都接收到一個話題中所有消息的拷貝。在實踐中，一個通道映射到下行服務消費一個話題。

在更底的層面，每個 nsqd 有一個與 nsqlookupd 的長期 TCP 連接，定期推動其狀態。這個數據被 nsqlookupd 用于給消費者通知 nsqd 地址。對于消費者來說，一個暴露的 HTTP /lookup 接口用于輪詢。為話題引入一個新的消費者，只需啟動一個配置了 nsqlookup 實例地址的 NSQ 客戶端。無需為添加任何新的消費者或生產者更改配置，大大降低了開銷和復雜性。

2.3 消除單點故障

NSQ被設計以分布的方式被使用。nsqd 客戶端（通過 TCP ）連接到指定話題的所有生產者實例。沒有中間人，沒有消息代理，也沒有單點故障。

這種拓撲結構消除單鏈，聚合，反饋。相反，你的消費者直接訪問所有生產者。從技術上講，哪個客戶端連接到哪個 NSQ 不重要，只要有足夠的消費者連接到所有生產者，以滿足大量的消息，保證所有東西最終將被處理。對于 nsqlookupd，高可用性是通過運行多個實例來實現。他們不直接相互通信和數據被認為是最終一致。消費者輪詢所有的配置的 nsqlookupd 實例和合并 response。失敗的，無法訪問的，或以其他方式故障的節點不會讓系統陷于停頓。

2.4 效率

對于數據的協議，通過推送數據到客戶端最大限度地提高性能和吞吐量的，而不是等待客戶端拉數據。這個概念，稱之為 RDY 狀態，基本上是客戶端流量控制的一種形式。

efficiency

2.5 心跳和超時

組合應用級別的心跳和 RDY 狀態，避免頭阻塞現象，也可能使心跳無用（即，如果消費者是在后面的處理消息流的接收緩沖區中，操作系統將被填滿，堵心跳）為了保證進度，所有的網絡 IO 時間上限勢必與配置的心跳間隔相關聯。這意味著，你可以從字面上拔掉之間的網絡連接 nsqd 和消費者，它會檢測并正確處理錯誤。當檢測到一個致命錯誤，客戶端連接被強制關閉。在傳輸中的消息會超時而重新排隊等待傳遞到另一個消費者。最后，錯誤會被記錄并累計到各種內部指標。

2.6 分布式

因為NSQ沒有在守護程序之間共享信息，所以它從一開始就是為了分布式操作而生。個別的機器可以隨便宕機隨便啟動而不會影響到系統的其余部分，消息發布者可以在本地發布，即使面對網絡分區。

這種“分布式優先”的設計理念意味著NSQ基本上可以永遠不斷地擴展，需要更高的吞吐量？那就添加更多的nsqd吧。唯一的共享狀態就是保存在lookup節點上，甚至它們不需要全局視圖，配置某些nsqd注冊到某些lookup節點上這是很簡單的配置，唯一關鍵的地方就是消費者可以通過lookup節點獲取所有完整的節點集。清晰的故障事件——NSQ在組件內建立了一套明確關于可能導致故障的的故障權衡機制，這對消息傳遞和恢復都有意義。雖然它們可能不像Kafka系統那樣提供嚴格的保證級別，但NSQ簡單的操作使故障情況非常明顯。

2.7 no replication

不像其他的隊列組件，NSQ并沒有提供任何形式的復制和集群，也正是這點讓它能夠如此簡單地運行，但它確實對于一些高保證性高可靠性的消息發布沒有足夠的保證。我們可以通過降低文件同步的時間來部分避免，只需通過一個標志配置，通過EBS支持我們的隊列。但是這樣仍然存在一個消息被發布后馬上死亡，丟失了有效的寫入的情況。

2.8 沒有嚴格的順序

雖然Kafka由一個有序的日志構成，但NSQ不是。消息可以在任何時間以任何順序進入隊列。在我們使用的案例中，這通常沒有關系，因為所有的數據都被加上了時間戳，但它并不適合需要嚴格順序的情況。

2.9 無數據重復刪除功能

NSQ對于超時系統，它使用了心跳檢測機制去測試消費者是否存活還是死亡。很多原因會導致我們的consumer無法完成心跳檢測，所以在consumer中必須有一個單獨的步驟確保冪等性。

3. 實踐安裝過程

本文將nsq集群具體的安裝過程略去，大家可以自行參考官網，比較簡單。這部分介紹下筆者實驗的拓撲，以及nsqadmin的相關信息。

3.1 拓撲結構

topology

實驗采用3臺NSQD服務，2臺LOOKUPD服務。

采用官方推薦的拓撲，消息發布的服務和NSQD在一臺主機。一共5臺機器。

NSQ基本沒有配置文件，配置通過命令行指定參數。

主要命令如下:

LOOKUPD命令

NSQD命令

工具類，消費后存儲到本地文件。

發布一條消息

3.2 nsqadmin

對Streams的詳細信息進行查看，包括NSQD節點，具體的channel，隊列中的消息數，連接數等信息。

nsqadmin

channel

列出所有的NSQD節點:

nodes

消息的統計:

msgs

lookup主機的列表:

hosts

4. 總結

NSQ基本核心就是簡單性，是一個簡單的隊列，這意味著它很容易進行故障推理和很容易發現bug。消費者可以自行處理故障事件而不會影響系統剩下的其余部分。

事實上，簡單性是我們決定使用NSQ的首要因素，這方便與我們的許多其他軟件一起維護，通過引入隊列使我們得到了堪稱完美的表現，通過隊列甚至讓我們增加了幾個數量級的吞吐量。越來越多的consumer需要一套嚴格可靠性和順序性保障，這已經超過了NSQ提供的簡單功能。

結合我們的業務系統來看，對于我們所需要傳輸的發票消息，相對比較敏感，無法容忍某個nsqd宕機，或者磁盤無法使用的情況，該節點堆積的消息無法找回。這是我們沒有選擇該消息中間件的主要原因。簡單性和可靠性似乎并不能完全滿足。相比Kafka，ops肩負起更多負責的運營。另一方面，它擁有一個可復制的、有序的日志可以提供給我們更好的服務。但對于其他適合NSQ的consumer，它為我們服務的相當好，我們期待著繼續鞏固它的堅實的基礎。

GO語言商業案例（十八）：stream

切換到新語言始終是一大步，尤其是當您的團隊成員只有一個時有該語言的先前經驗。現在，Stream 的主要編程語言從 Python 切換到了 Go。這篇文章將解釋stream決定放棄 Python 并轉向 Go 的一些原因。

Go 非常快。性能類似于 Java 或 C++。對于用例，Go 通常比 Python 快 40 倍。

對于許多應用程序來說，編程語言只是應用程序和數據庫之間的粘合劑。語言本身的性能通常并不重要。然而，Stream 是一個API 提供商，為 700 家公司和超過 5 億最終用戶提供提要和聊天平臺。多年來，我們一直在優化 Cassandra、PostgreSQL、Redis 等，但最終，您會達到所使用語言的極限。Python 是一門很棒的語言，但對于序列化/反序列化、排名和聚合等用例，它的性能相當緩慢。我們經常遇到性能問題，Cassandra 需要 1 毫秒來檢索數據，而 Python 會花費接下來的 10 毫秒將其轉換為對象。

看看我如何開始 Go 教程中的一小段 Go 代碼。（這是一個很棒的教程，也是學習 Go 的一個很好的起點。）

如果您是 Go 新手，那么在閱讀那個小代碼片段時不會有太多讓您感到驚訝的事情。它展示了多個賦值、數據結構、指針、格式和一個內置的 HTTP 庫。當我第一次開始編程時，我一直喜歡使用 Python 更高級的功能。Python 允許您在編寫代碼時獲得相當的創意。例如，您可以：

這些功能玩起來很有趣，但是，正如大多數程序員會同意的那樣，在閱讀別人的作品時，它們通常會使代碼更難理解。Go 迫使你堅持基礎。這使得閱讀任何人的代碼并立即了解發生了什么變得非常容易。 注意：當然，它實際上有多“容易”取決于您的用例。如果你想創建一個基本的 CRUD API，我仍然推薦 Django + DRF或 Rails。

作為一門語言，Go 試圖讓事情變得簡單。它沒有引入許多新概念。重點是創建一種非常快速且易于使用的簡單語言。它唯一具有創新性的領域是 goroutine 和通道。（100% 正確CSP的概念始于 1977 年，所以這項創新更多是對舊思想的一種新方法。）Goroutines 是 Go 的輕量級線程方法，通道是 goroutines 之間通信的首選方式。Goroutines 的創建非常便宜，并且只需要幾 KB 的額外內存。因為 Goroutine 非常輕量，所以有可能同時運行數百甚至數千個。您可以使用通道在 goroutine 之間進行通信。Go 運行時處理所有復雜性。goroutines 和基于通道的并發方法使得使用所有可用的 CPU 內核和處理并發 IO 變得非常容易——所有這些都不會使開發復雜化。與 Python/Java 相比，在 goroutine 上運行函數需要最少的樣板代碼。您只需在函數調用前加上關鍵字“go”：

Go 的并發方法很容易使用。與 Node 相比，這是一種有趣的方法，開發人員必須密切關注異步代碼的處理方式。Go 中并發的另一個重要方面是競爭檢測器。這樣可以很容易地確定異步代碼中是否存在任何競爭條件。

我們目前用 Go 編寫的最大的微服務編譯需要 4 秒。與以編譯速度慢而聞名的 Java 和 C++ 等語言相比，Go 的快速編譯時間是一項重大的生產力勝利。我喜歡在程序編譯的時候摸魚，但在我還記得代碼應該做什么的同時完成事情會更好。

首先，讓我們從顯而易見的開始：與 C++ 和 Java 等舊語言相比，Go 開發人員的數量并不多。根據StackOverflow的數據， 38% 的開發人員知道 Java， 19.3% 的人知道 C++，只有 4.6% 的人知道 Go。GitHub 數據顯示了類似的趨勢：Go 比 Erlang、Scala 和 Elixir 等語言使用更廣泛，但不如 Java 和 C++ 流行。幸運的是，Go 是一種非常簡單易學的語言。它提供了您需要的基本功能，僅此而已。它引入的新概念是“延遲”聲明和內置的并發管理與“goroutines”和通道。（對于純粹主義者來說：Go 并不是第一種實現這些概念的語言，只是第一種使它們流行起來的語言。）任何加入團隊的 Python、Elixir、C++、Scala 或 Java 開發人員都可以在一個月內在 Go 上發揮作用，因為它的簡單性。與許多其他語言相比，我們發現組建 Go 開發人員團隊更容易。如果您在博爾德和阿姆斯特丹等競爭激烈的生態系統中招聘人員，這是一項重要的優勢。

對于我們這樣規模的團隊（約 20 人）來說，生態系統很重要。如果您必須重新發明每一個小功能，您根本無法為您的客戶創造價值。Go 對我們使用的工具有很好的支持。實體庫已經可用于 Redis、RabbitMQ、PostgreSQL、模板解析、任務調度、表達式解析和 RocksDB。與 Rust 或 Elixir 等其他較新的語言相比，Go 的生態系統是一個重大勝利。它當然不如 Java、Python 或 Node 之類的語言好，但它很可靠，而且對于許多基本需求，你會發現已經有高質量的包可用。

Gofmt 是一個很棒的命令行實用程序，內置在 Go 編譯器中，用于格式化代碼。就功能而言，它與 Python 的 autopep8 非常相似。我們大多數人并不真正喜歡爭論制表符與空格。格式的一致性很重要，但實際的格式標準并不那么重要。Gofmt 通過使用一種正式的方式來格式化您的代碼來避免所有這些討論。

Go 對協議緩沖區和 gRPC 具有一流的支持。這兩個工具非常適合構建需要通過 RPC 通信的微服務。您只需要編寫一個清單，在其中定義可以進行的 RPC 調用以及它們采用的參數。然后從這個清單中自動生成服務器和客戶端代碼。生成的代碼既快速又具有非常小的網絡占用空間并且易于使用。從同一個清單中，您甚至可以為許多不同的語言生成客戶端代碼，例如 C++、Java、Python 和 Ruby。因此，內部流量不再有模棱兩可的 REST 端點，您每次都必須編寫幾乎相同的客戶端和服務器代碼。.

Go 沒有像 Rails 用于 Ruby、Django 用于 Python 或 Laravel 用于 PHP 那樣的單一主導框架。這是 Go 社區內激烈爭論的話題，因為許多人主張你不應該一開始就使用框架。我完全同意這對于某些用例是正確的。但是，如果有人想構建一個簡單的 CRUD API，他們將更容易使用 Django/DJRF、Rails Laravel 或Phoenix。對于 Stream 的用例，我們更喜歡不使用框架。然而，對于許多希望提供簡單 CRUD API 的新項目來說，缺乏主導框架將是一個嚴重的劣勢。

Go 通過簡單地從函數返回錯誤并期望調用代碼來處理錯誤（或將其返回到調用堆棧）來處理錯誤。雖然這種方法有效，但很容易失去問題的范圍，以確保您可以向用戶提供有意義的錯誤。錯誤包通過允許您向錯誤添加上下文和堆棧跟蹤來解決此問題。另一個問題是很容易忘記處理錯誤。像 errcheck 和 megacheck 這樣的靜態分析工具可以方便地避免犯這些錯誤。雖然這些變通辦法效果很好，但感覺不太對勁。您希望該語言支持正確的錯誤處理。

Go 的包管理絕不是完美的。默認情況下，它無法指定特定版本的依賴項，也無法創建可重現的構建。Python、Node 和 Ruby 都有更好的包管理系統。但是，使用正確的工具，Go 的包管理工作得很好。您可以使用Dep來管理您的依賴項，以允許指定和固定版本。除此之外，我們還貢獻了一個名為的開源工具VirtualGo，它可以更輕松地處理用 Go 編寫的多個項目。

我們進行的一個有趣的實驗是在 Python 中使用我們的排名提要功能并在 Go 中重寫它。看看這個排名方法的例子：

Python 和 Go 代碼都需要執行以下操作來支持這種排名方法：

開發 Python 版本的排名代碼大約花了 3 天時間。這包括編寫代碼、單元測試和文檔。接下來，我們花了大約 2 周的時間優化代碼。其中一項優化是將分數表達式 (simple_gauss(time)*popularity) 轉換為抽象語法樹. 我們還實現了緩存邏輯，可以在未來的特定時間預先計算分數。相比之下，開發此代碼的 Go 版本大約需要 4 天時間。性能不需要任何進一步的優化。因此，雖然 Python 的最初開發速度更快，但基于 Go 的版本最終需要我們團隊的工作量大大減少。另外一個好處是，Go 代碼的執行速度比我們高度優化的 Python 代碼快大約 40 倍。現在，這只是我們通過切換到 Go 體驗到的性能提升的一個示例。

與 Python 相比，我們系統的其他一些組件在 Go 中構建所需的時間要多得多。作為一個總體趨勢，我們看到 開發 Go 代碼需要更多的努力。但是，我們花更少的時間 優化 代碼以提高性能。

我們評估的另一種語言是Elixir.。Elixir 建立在 Erlang 虛擬機之上。這是一種迷人的語言，我們之所以考慮它，是因為我們的一名團隊成員在 Erlang 方面擁有豐富的經驗。對于我們的用例，我們注意到 Go 的原始性能要好得多。Go 和 Elixir 都可以很好地服務數千個并發請求。但是，如果您查看單個請求的性能，Go 對于我們的用例來說要快得多。我們選擇 Go 而不是 Elixir 的另一個原因是生態系統。對于我們需要的組件，Go 有更成熟的庫，而在許多情況下，Elixir 庫還沒有準備好用于生產環境。培訓/尋找開發人員使用 Elixir 也更加困難。這些原因使天平向 Go 傾斜。Elixir 的 Phoenix 框架看起來很棒，絕對值得一看。

Go 是一種非常高性能的語言，對并發有很好的支持。它幾乎與 C++ 和 Java 等語言一樣快。雖然與 Python 或 Ruby 相比，使用 Go 構建東西確實需要更多時間，但您將節省大量用于優化代碼的時間。我們在Stream有一個小型開發團隊，為超過 5 億最終用戶提供動力和聊天。Go 結合了 強大的生態系統 、新開發人員的 輕松入門、快速的性能 、對并發的 可靠支持和高效的編程環境 ，使其成為一個不錯的選擇。Stream 仍然在我們的儀表板、站點和機器學習中利用 Python 來提供個性化的訂閱源. 我們不會很快與 Python 說再見，但今后所有性能密集型代碼都將使用 Go 編寫。我們新的聊天 API也完全用 Go 編寫。

GitHub Go項目推薦｜Golang下的命令行顏色渲染工具庫｜支持windows

Golang下的命令行色彩使用庫, 擁有豐富的色彩渲染輸出，通用的API方法，兼容Windows系統

倉庫名稱 ：color

標星(star) ：221 （不錯哦，潛力股項目）

標星趨勢

拷貝(fork) ：21

貢獻人數 ：3

倉庫大小 ：1 MB

主要開發語言：Go

語言分布：Go:99.75%、Batchfile:0.25%

代碼提交周期分布 ：

作者動態 ：

2星

Golang下的命令行色彩使用庫, 擁有豐富的色彩渲染輸出，通用的API方法，兼容Windows系統

功能特色

程序員新視界：分享有趣、有料的程序員話題，每天進步一點點。

新聞名稱：給go語言商城加推薦系統 go語言介紹
網站路徑：http://vcdvsql.cn/article30/ddigsso.html

成都網站建設公司_創新互聯，為您提供網站設計公司、品牌網站建設、Google、電子商務、動態網站、軟件開發

廣告

聲明：本網站發布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創新互聯