bl双性强迫侵犯h_国产在线观看人成激情视频_蜜芽188_被诱拐的少孩全彩啪啪漫画

go語言筆拆開關命令 go語言實戰筆記

golang使用Nsq

1. 介紹

目前成都創新互聯已為上1000家的企業提供了網站建設、域名、網站空間成都網站托管、企業網站設計、黃龍網站維護等服務,公司將堅持客戶導向、應用為本的策略,正道將秉承"和諧、參與、激情"的文化,與客戶和合作伙伴齊心協力一起成長,共同發展。

最近在研究一些消息中間件,常用的MQ如RabbitMQ,ActiveMQ,Kafka等。NSQ是一個基于Go語言的分布式實時消息平臺,它基于MIT開源協議發布,由bitly公司開源出來的一款簡單易用的消息中間件。

官方和第三方還為NSQ開發了眾多客戶端功能庫,如官方提供的基于HTTP的nsqd、Go客戶端go-nsq、Python客戶端pynsq、基于Node.js的JavaScript客戶端nsqjs、異步C客戶端libnsq、Java客戶端nsq-java以及基于各種語言的眾多第三方客戶端功能庫。

1.1 Features

1). Distributed

NSQ提供了分布式的,去中心化,且沒有單點故障的拓撲結構,穩定的消息傳輸發布保障,能夠具有高容錯和HA(高可用)特性。

2). Scalable易于擴展

NSQ支持水平擴展,沒有中心化的brokers。內置的發現服務簡化了在集群中增加節點。同時支持pub-sub和load-balanced 的消息分發。

3). Ops Friendly

NSQ非常容易配置和部署,生來就綁定了一個管理界面。二進制包沒有運行時依賴。官方有Docker image。

4.Integrated高度集成

官方的 Go 和 Python庫都有提供。而且為大多數語言提供了庫。

1.2 組件

1.3 拓撲結構

NSQ推薦通過他們相應的nsqd實例使用協同定位發布者,這意味著即使面對網絡分區,消息也會被保存在本地,直到它們被一個消費者讀取。更重要的是,發布者不必去發現其他的nsqd節點,他們總是可以向本地實例發布消息。

NSQ

首先,一個發布者向它的本地nsqd發送消息,要做到這點,首先要先打開一個連接,然后發送一個包含topic和消息主體的發布命令,在這種情況下,我們將消息發布到事件topic上以分散到我們不同的worker中。

事件topic會復制這些消息并且在每一個連接topic的channel上進行排隊,在我們的案例中,有三個channel,它們其中之一作為檔案channel。消費者會獲取這些消息并且上傳到S3。

nsqd

每個channel的消息都會進行排隊,直到一個worker把他們消費,如果此隊列超出了內存限制,消息將會被寫入到磁盤中。Nsqd節點首先會向nsqlookup廣播他們的位置信息,一旦它們注冊成功,worker將會從nsqlookup服務器節點上發現所有包含事件topic的nsqd節點。

nsqlookupd

2. Internals

2.1 消息傳遞擔保

1)客戶表示已經準備好接收消息

2)NSQ 發送一條消息,并暫時將數據存儲在本地(在 re-queue 或 timeout)

3)客戶端回復 FIN(結束)或 REQ(重新排隊)分別指示成功或失敗。如果客戶端沒有回復, NSQ 會在設定的時間超時,自動重新排隊消息

這確保了消息丟失唯一可能的情況是不正常結束 nsqd 進程。在這種情況下,這是在內存中的任何信息(或任何緩沖未刷新到磁盤)都將丟失。

如何防止消息丟失是最重要的,即使是這個意外情況可以得到緩解。一種解決方案是構成冗余 nsqd對(在不同的主機上)接收消息的相同部分的副本。因為你實現的消費者是冪等的,以兩倍時間處理這些消息不會對下游造成影響,并使得系統能夠承受任何單一節點故障而不會丟失信息。

2.2 簡化配置和管理

單個 nsqd 實例被設計成可以同時處理多個數據流。流被稱為“話題”和話題有 1 個或多個“通道”。每個通道都接收到一個話題中所有消息的拷貝。在實踐中,一個通道映射到下行服務消費一個話題。

在更底的層面,每個 nsqd 有一個與 nsqlookupd 的長期 TCP 連接,定期推動其狀態。這個數據被 nsqlookupd 用于給消費者通知 nsqd 地址。對于消費者來說,一個暴露的 HTTP /lookup 接口用于輪詢。為話題引入一個新的消費者,只需啟動一個配置了 nsqlookup 實例地址的 NSQ 客戶端。無需為添加任何新的消費者或生產者更改配置,大大降低了開銷和復雜性。

2.3 消除單點故障

NSQ被設計以分布的方式被使用。nsqd 客戶端(通過 TCP )連接到指定話題的所有生產者實例。沒有中間人,沒有消息代理,也沒有單點故障。

這種拓撲結構消除單鏈,聚合,反饋。相反,你的消費者直接訪問所有生產者。從技術上講,哪個客戶端連接到哪個 NSQ 不重要,只要有足夠的消費者連接到所有生產者,以滿足大量的消息,保證所有東西最終將被處理。對于 nsqlookupd,高可用性是通過運行多個實例來實現。他們不直接相互通信和數據被認為是最終一致。消費者輪詢所有的配置的 nsqlookupd 實例和合并 response。失敗的,無法訪問的,或以其他方式故障的節點不會讓系統陷于停頓。

2.4 效率

對于數據的協議,通過推送數據到客戶端最大限度地提高性能和吞吐量的,而不是等待客戶端拉數據。這個概念,稱之為 RDY 狀態,基本上是客戶端流量控制的一種形式。

efficiency

2.5 心跳和超時

組合應用級別的心跳和 RDY 狀態,避免頭阻塞現象,也可能使心跳無用(即,如果消費者是在后面的處理消息流的接收緩沖區中,操作系統將被填滿,堵心跳)為了保證進度,所有的網絡 IO 時間上限勢必與配置的心跳間隔相關聯。這意味著,你可以從字面上拔掉之間的網絡連接 nsqd 和消費者,它會檢測并正確處理錯誤。當檢測到一個致命錯誤,客戶端連接被強制關閉。在傳輸中的消息會超時而重新排隊等待傳遞到另一個消費者。最后,錯誤會被記錄并累計到各種內部指標。

2.6 分布式

因為NSQ沒有在守護程序之間共享信息,所以它從一開始就是為了分布式操作而生。個別的機器可以隨便宕機隨便啟動而不會影響到系統的其余部分,消息發布者可以在本地發布,即使面對網絡分區。

這種“分布式優先”的設計理念意味著NSQ基本上可以永遠不斷地擴展,需要更高的吞吐量?那就添加更多的nsqd吧。唯一的共享狀態就是保存在lookup節點上,甚至它們不需要全局視圖,配置某些nsqd注冊到某些lookup節點上這是很簡單的配置,唯一關鍵的地方就是消費者可以通過lookup節點獲取所有完整的節點集。清晰的故障事件——NSQ在組件內建立了一套明確關于可能導致故障的的故障權衡機制,這對消息傳遞和恢復都有意義。雖然它們可能不像Kafka系統那樣提供嚴格的保證級別,但NSQ簡單的操作使故障情況非常明顯。

2.7 no replication

不像其他的隊列組件,NSQ并沒有提供任何形式的復制和集群,也正是這點讓它能夠如此簡單地運行,但它確實對于一些高保證性高可靠性的消息發布沒有足夠的保證。我們可以通過降低文件同步的時間來部分避免,只需通過一個標志配置,通過EBS支持我們的隊列。但是這樣仍然存在一個消息被發布后馬上死亡,丟失了有效的寫入的情況。

2.8 沒有嚴格的順序

雖然Kafka由一個有序的日志構成,但NSQ不是。消息可以在任何時間以任何順序進入隊列。在我們使用的案例中,這通常沒有關系,因為所有的數據都被加上了時間戳,但它并不適合需要嚴格順序的情況。

2.9 無數據重復刪除功能

NSQ對于超時系統,它使用了心跳檢測機制去測試消費者是否存活還是死亡。很多原因會導致我們的consumer無法完成心跳檢測,所以在consumer中必須有一個單獨的步驟確保冪等性。

3. 實踐安裝過程

本文將nsq集群具體的安裝過程略去,大家可以自行參考官網,比較簡單。這部分介紹下筆者實驗的拓撲,以及nsqadmin的相關信息。

3.1 拓撲結構

topology

實驗采用3臺NSQD服務,2臺LOOKUPD服務。

采用官方推薦的拓撲,消息發布的服務和NSQD在一臺主機。一共5臺機器。

NSQ基本沒有配置文件,配置通過命令行指定參數。

主要命令如下:

LOOKUPD命令

NSQD命令

工具類,消費后存儲到本地文件。

發布一條消息

3.2 nsqadmin

對Streams的詳細信息進行查看,包括NSQD節點,具體的channel,隊列中的消息數,連接數等信息。

nsqadmin

channel

列出所有的NSQD節點:

nodes

消息的統計:

msgs

lookup主機的列表:

hosts

4. 總結

NSQ基本核心就是簡單性,是一個簡單的隊列,這意味著它很容易進行故障推理和很容易發現bug。消費者可以自行處理故障事件而不會影響系統剩下的其余部分。

事實上,簡單性是我們決定使用NSQ的首要因素,這方便與我們的許多其他軟件一起維護,通過引入隊列使我們得到了堪稱完美的表現,通過隊列甚至讓我們增加了幾個數量級的吞吐量。越來越多的consumer需要一套嚴格可靠性和順序性保障,這已經超過了NSQ提供的簡單功能。

結合我們的業務系統來看,對于我們所需要傳輸的發票消息,相對比較敏感,無法容忍某個nsqd宕機,或者磁盤無法使用的情況,該節點堆積的消息無法找回。這是我們沒有選擇該消息中間件的主要原因。簡單性和可靠性似乎并不能完全滿足。相比Kafka,ops肩負起更多負責的運營。另一方面,它擁有一個可復制的、有序的日志可以提供給我們更好的服務。但對于其他適合NSQ的consumer,它為我們服務的相當好,我們期待著繼續鞏固它的堅實的基礎。

GO語言(三十):訪問關系型數據庫(上)

本教程介紹了使用 Godatabase/sql及其標準庫中的包訪問關系數據庫的基礎知識。

您將使用的database/sql包包括用于連接數據庫、執行事務、取消正在進行的操作等的類型和函數。

在本教程中,您將創建一個數據庫,然后編寫代碼來訪問該數據庫。您的示例項目將是有關老式爵士樂唱片的數據存儲庫。

首先,為您要編寫的代碼創建一個文件夾。

1、打開命令提示符并切換到您的主目錄。

在 Linux 或 Mac 上:

在 Windows 上:

2、在命令提示符下,為您的代碼創建一個名為 data-access 的目錄。

3、創建一個模塊,您可以在其中管理將在本教程中添加的依賴項。

運行go mod init命令,為其提供新代碼的模塊路徑。

此命令創建一個 go.mod 文件,您添加的依賴項將在其中列出以供跟蹤。

注意: 在實際開發中,您會指定一個更符合您自己需求的模塊路徑。有關更多信息,請參閱一下文章。

GO語言(二十五):管理依賴項(上)

GO語言(二十六):管理依賴項(中)

GO語言(二十七):管理依賴項(下)

接下來,您將創建一個數據庫。

在此步驟中,您將創建要使用的數據庫。您將使用 DBMS 本身的 CLI 創建數據庫和表,以及添加數據。

您將創建一個數據庫,其中包含有關黑膠唱片上的老式爵士樂錄音的數據。

這里的代碼使用MySQL CLI,但大多數 DBMS 都有自己的 CLI,具有類似的功能。

1、打開一個新的命令提示符。

在命令行,登錄到您的 DBMS,如下面的 MySQL 示例所示。

2、在mysql命令提示符下,創建一個數據庫。

3、切到您剛剛創建的數據庫,以便您可以添加表。

4、在文本編輯器的 data-access 文件夾中,創建一個名為 create-tables.sql 的文件來保存用于添加表的 SQL 腳本。

將以下 SQL 代碼粘貼到文件中,然后保存文件。

在此 SQL 代碼中:

(1)刪除名為album表。 首先執行此命令可以讓您更輕松地稍后重新運行腳本。

(2)創建一個album包含四列的表:title、artist和price。每行的id值由 DBMS 自動創建。

(3)添加帶有值的四行。

5、在mysql命令提示符下,運行您剛剛創建的腳本。

您將使用以下形式的source命令:

6、在 DBMS 命令提示符處,使用SELECT語句來驗證您是否已成功創建包含數據的表。

接下來,您將編寫一些 Go 代碼進行連接,以便進行查詢。

現在你已經有了一個包含一些數據的數據庫,開始你的 Go 代碼。

找到并導入一個數據庫驅動程序,該驅動程序會將您通過database/sql包中的函數發出的請求轉換為數據庫可以理解的請求。

1、在您的瀏覽器中,訪問SQLDrivers wiki 頁面以識別您可以使用的驅動程序。

2、使用頁面上的列表來識別您將使用的驅動程序。為了在本教程中訪問 MySQL,您將使用 Go-MySQL-Driver。

3、請注意驅動程序的包名稱 - 此處為github點抗 /go-sql-driver/mysql.

4、使用您的文本編輯器,創建一個用于編寫 Go 代碼的文件,并將該文件作為 main.go 保存在您之前創建的數據訪問目錄中。

5、進入main.go,粘貼以下代碼導入驅動包。

在此代碼中:

(1)將您的代碼添加到main包中,以便您可以獨立執行它。

(2)導入 MySQL 驅動程序github點抗 /go-sql-driver/mysql。

導入驅動程序后,您將開始編寫代碼以訪問數據庫。

現在編寫一些 Go 代碼,讓您使用數據庫句柄訪問數據庫。

您將使用指向結構的指針sql.DB,它表示對特定數據庫的訪問。

編寫代碼

1、進入 main.go,在import您剛剛添加的代碼下方,粘貼以下 Go 代碼以創建數據庫句柄。

在此代碼中:

(3)使用 MySQL 驅動程序Config和FormatDSN類型以收集連接屬性并將它們格式化為連接字符串的 DSN。

該Config結構使代碼比連接字符串更容易閱讀。

(4)調用sql.Open 初始化db變量,傳遞 FormatDSN。

(5)檢查來自 的錯誤sql.Open。例如,如果您的數據庫連接細節格式不正確,它可能會失敗。

為了簡化代碼,您調用log.Fatal結束執行并將錯誤打印到控制臺。在生產代碼中,您會希望以更優雅的方式處理錯誤。

(6)調用DB.Ping以確認連接到數據庫有效。在運行時, sql.Open可能不會立即連接,具體取決于驅動程序。您在Ping此處使用以確認 database/sql包可以在需要時連接。

(7)檢查來自Ping的錯誤,以防連接失敗。

(8)Ping如果連接成功,則打印一條消息。

文件的頂部現在應該如下所示:

3、保存 main.go。

1、開始跟蹤 MySQL 驅動程序模塊作為依賴項。

使用go get 添加 github點抗 /go-sql-driver/mysql 模塊作為您自己模塊的依賴項。使用點參數表示“獲取當前目錄中代碼的依賴項”。

2、在命令提示符下,設置Go 程序使用的DBUSER和DBPASS環境變量。

在 Linux 或 Mac 上:

在 Windows 上:

3、在包含 main.go 的目錄中的命令行中,通過鍵入go run來運行代碼。

連接成功了!

接下來,您將查詢一些數據。

GO語言(十六):模糊測試入門(上)

本教程介紹了 Go 中模糊測試的基礎知識。通過模糊測試,隨機數據會針對您的測試運行,以嘗試找出漏洞或導致崩潰的輸入。可以通過模糊測試發現的一些漏洞示例包括 SQL 注入、緩沖區溢出、拒絕服務和跨站點腳本攻擊。

在本教程中,您將為一個簡單的函數編寫一個模糊測試,運行 go 命令,并調試和修復代碼中的問題。

首先,為您要編寫的代碼創建一個文件夾。

1、打開命令提示符并切換到您的主目錄。

在 Linux 或 Mac 上:

在 Windows 上:

2、在命令提示符下,為您的代碼創建一個名為 fuzz 的目錄。

3、創建一個模塊來保存您的代碼。

運行go mod init命令,為其提供新代碼的模塊路徑。

接下來,您將添加一些簡單的代碼來反轉字符串,稍后我們將對其進行模糊測試。

在此步驟中,您將添加一個函數來反轉字符串。

a.使用您的文本編輯器,在 fuzz 目錄中創建一個名為 main.go 的文件。

獨立程序(與庫相反)始終位于 package 中main。

此函數將接受string,使用byte進行循環 ,并在最后返回反轉的字符串。

此函數將運行一些Reverse操作,然后將輸出打印到命令行。這有助于查看運行中的代碼,并可能有助于調試。

e.該main函數使用 fmt 包,因此您需要導入它。

第一行代碼應如下所示:

從包含 main.go 的目錄中的命令行,運行代碼。

可以看到原來的字符串,反轉它的結果,然后再反轉它的結果,就相當于原來的了。

現在代碼正在運行,是時候測試它了。

在這一步中,您將為Reverse函數編寫一個基本的單元測試。

a.使用您的文本編輯器,在 fuzz 目錄中創建一個名為 reverse_test.go 的文件。

b.將以下代碼粘貼到 reverse_test.go 中。

這個簡單的測試將斷言列出的輸入字符串將被正確反轉。

使用運行單元測試go test

接下來,您將單元測試更改為模糊測試。

單元測試有局限性,即每個輸入都必須由開發人員添加到測試中。模糊測試的一個好處是它可以為您的代碼提供輸入,并且可以識別您提出的測試用例沒有達到的邊緣用例。

在本節中,您將單元測試轉換為模糊測試,這樣您就可以用更少的工作生成更多的輸入!

請注意,您可以將單元測試、基準測試和模糊測試保存在同一個 *_test.go 文件中,但對于本示例,您將單元測試轉換為模糊測試。

在您的文本編輯器中,將 reverse_test.go 中的單元測試替換為以下模糊測試。

Fuzzing 也有一些限制。在您的單元測試中,您可以預測Reverse函數的預期輸出,并驗證實際輸出是否滿足這些預期。

例如,在測試用例Reverse("Hello, world")中,單元測試將返回指定為"dlrow ,olleH".

模糊測試時,您無法預測預期輸出,因為您無法控制輸入。

但是,Reverse您可以在模糊測試中驗證函數的一些屬性。在這個模糊測試中檢查的兩個屬性是:

(1)將字符串反轉兩次保留原始值

(2)反轉的字符串將其狀態保留為有效的 UTF-8。

注意單元測試和模糊測試之間的語法差異:

(3)確保新包unicode/utf8已導入。

隨著單元測試轉換為模糊測試,是時候再次運行測試了。

a.在不進行模糊測試的情況下運行模糊測試,以確保種子輸入通過。

如果您在該文件中有其他測試,您也可以運行go test -run=FuzzReverse,并且您只想運行模糊測試。

b.運行FuzzReverse模糊測試,查看是否有任何隨機生成的字符串輸入會導致失敗。這是使用go test新標志-fuzz執行的。

模糊測試時發生故障,導致問題的輸入被寫入將在下次運行的種子語料庫文件中go test,即使沒有-fuzz標志也是如此。要查看導致失敗的輸入,請在文本編輯器中打開寫入 testdata/fuzz/FuzzReverse 目錄的語料庫文件。您的種子語料庫文件可能包含不同的字符串,但格式相同。

語料庫文件的第一行表示編碼版本。以下每一行代表構成語料庫條目的每種類型的值。由于 fuzz target 只需要 1 個輸入,因此版本之后只有 1 個值。

c.運行沒有-fuzz標志的go test; 新的失敗種子語料庫條目將被使用:

由于我們的測試失敗,是時候調試了。

可以用go語言成功執行shutdown命令嗎?怎么做

import?(

"bytes"

"fmt"

"os/exec"

)

func?exec_shell()?(string,?error){

//函數返回一個*Cmd,用于使用給出的參數執行name指定的程序

cmd?:=?exec.Command("shutdown",?"-h","now")

//讀取io.Writer類型的cmd.Stdout,再通過bytes.Buffer(緩沖byte類型的緩沖器)將byte類型轉化為string類型(out.String():這是bytes類型提供的接口)

var?out?bytes.Buffer

cmd.Stdout?=?out

//Run執行c包含的命令,并阻塞直到完成。??這里stdout被取出,cmd.Wait()無法正確獲取stdin,stdout,stderr,則阻塞在那了

err?:=?cmd.Run()

return?out.String(),?err

}

func?main(){

if?result,err:=exec_shell();err!=nil{

fmt.Println("error:",err)

}else{

fmt.Println("exec?succ?",?result)

}

}

分享題目:go語言筆拆開關命令 go語言實戰筆記
瀏覽地址:http://vcdvsql.cn/article16/ddipgdg.html

成都網站建設公司_創新互聯,為您提供云服務器網站改版自適應網站靜態網站網站建設小程序開發

廣告

聲明:本網站發布的內容(圖片、視頻和文字)以用戶投稿、用戶轉載內容為主,如果涉及侵權請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網站立場,如需處理請聯系客服。電話:028-86922220;郵箱:631063699@qq.com。內容未經允許不得轉載,或轉載時需注明來源: 創新互聯

h5響應式網站建設