bl双性强迫侵犯h_国产在线观看人成激情视频_蜜芽188_被诱拐的少孩全彩啪啪漫画

用代碼詳解Go語言HTTP請求流式寫入body

這篇文章主要用代碼詳解Go語言HTTP請求流式寫入body，內容清晰明了，對此有興趣的小伙伴可以學習一下，相信大家閱讀完之后會有幫助。

網站建設哪家好，找創新互聯建站！專注于網頁設計、網站建設、微信開發、小程序設計、集團企業網站建設等服務項目。為回饋新老客戶創新互聯還提供了襄垣免費建站歡迎大家使用！

背景

最近在開發一個功能時，需要通過 http 協議上報大量的日志內容，但是在 Go 標準庫里的 http client 的 API 是這樣的：

http.NewRequest(method, url string, body io.Reader)

body 是通過 io.Reader 接口來傳遞，并沒有暴露一個 io.Writer 接口來提供寫入的辦法，先來看看正常情況下怎么寫入一個 body ，示例：

需要先把要寫

buf := bytes.NewBuffer([]byte("hello"))
http.Post("localhost:8099/report","text/pain",buf)

入的數據放在 Buffer 中，放內存緩存著，但是我需要寫入 大量 的數據，如果都放內存里肯定要 OOM 了，http client 并沒有提供 流式寫入 的方法，我這么大的數據量直接用 Buffer 肯定是不行的，最后在 google 了一番之后找到了解決辦法。

使用 io.pipe

調用 io.pipe() 方法會返回 Reader 和 Writer 接口實現對象，通過 Writer 寫數據， Reader 就可以讀到，利用這個特性就可以實現流式的寫入，開一個協程來寫，然后把 Reader 傳遞到方法中，就可以實現 http client body 的流式寫入了。

代碼示例：

pr, rw := io.Pipe()
// 開協程寫入大量數據
go func(){
 for i := 0; i < 100000; i++ {
 rw.Write([]byte(fmt.Sprintf("line:%d\r\n", i)))
 }
 rw.Close()
}()
// 傳遞Reader
http.Post("localhost:8099/report","text/pain",buf)

源碼閱讀 目的

了解 go 中 http client 對于 body 的傳輸是如何處理的。

開始

在構建 Request 的時候，會斷言 body 參數的類型，當類型為 *bytes.Buffer 、 *bytes.Reader 、 *strings.Reader 的時候，可以直接通過 Len() 方法取出長度，用于 Content-Length 請求頭，相關代碼net/http/request.go#L872-L914 ：

if body != nil {
 switch v := body.(type) {
 case *bytes.Buffer:
 req.ContentLength = int64(v.Len())
 buf := v.Bytes()
 req.GetBody = func() (io.ReadCloser, error) {
  r := bytes.NewReader(buf)
  return ioutil.NopCloser(r), nil
 }
 case *bytes.Reader:
 req.ContentLength = int64(v.Len())
 snapshot := *v
 req.GetBody = func() (io.ReadCloser, error) {
  r := snapshot
  return ioutil.NopCloser(&r), nil
 }
 case *strings.Reader:
 req.ContentLength = int64(v.Len())
 snapshot := *v
 req.GetBody = func() (io.ReadCloser, error) {
  r := snapshot
  return ioutil.NopCloser(&r), nil
 }
 default:
 }
 if req.GetBody != nil && req.ContentLength == 0 {
 req.Body = NoBody
 req.GetBody = func() (io.ReadCloser, error) { return NoBody, nil }
 }
}

在鏈接建立的時候，會通過 body 和上一步中得到的 ContentLength 來進行判斷，如果 body!=nil 并且 ContentLength==0 時，可能就會啟用 Chunked 編碼進行傳輸，相關代碼 net/http/transfer.go#L82-L96  ：

case *Request:
 if rr.ContentLength != 0 && rr.Body == nil {
 return nil, fmt.Errorf("http: Request.ContentLength=%d with nil Body", rr.ContentLength)
 }
 t.Method = valueOrDefault(rr.Method, "GET")
 t.Close = rr.Close
 t.TransferEncoding = rr.TransferEncoding
 t.Header = rr.Header
 t.Trailer = rr.Trailer
 t.Body = rr.Body
 t.BodyCloser = rr.Body
 // 當body為非nil，并且ContentLength==0時，這里返回-1
 t.ContentLength = rr.outgoingLength()
 // TransferEncoding沒有手動設置，并且請求方法為PUT、POST、PATCH時，會啟用chunked編碼傳輸
 if t.ContentLength < 0 && len(t.TransferEncoding) == 0 && t.shouldSendChunkedRequestBody() {
 t.TransferEncoding = []string{"chunked"}
 }

驗證(一)

按照對源碼的理解，可以得知在使用 io.pipe() 方法進行流式傳輸時，會使用 chunked 編碼進行傳輸，通過以下代碼進行驗證：

服務端

func main(){
 http.HandleFunc("/report", func(writer http.ResponseWriter, request *http.Request) {

 })
 http.ListenAndServe(":8099", nil)
}

客戶端

func main(){
 pr, rw := io.Pipe()
 go func(){
 for i := 0; i < 100; i++ {
  rw.Write([]byte(fmt.Sprintf("line:%d\r\n", i)))
 }
 rw.Close()
 }()
 http.Post("localhost:8099/report","text/pain",buf)
}

先運行服務端，然后運行客戶端，并且使用 WireShake 進行抓包分析，結果如下：

用代碼詳解Go語言HTTP請求流式寫入body

可以看到和預想的結果一樣。

驗證(二)

在數據量大的時候 chunked 編碼會增加額外的開銷，包括編解碼和額外的報文開銷，能不能不用 chunked 編碼來進行 流式傳輸 呢？通過源碼可以得知，當 ContentLength 不為 0 時，如果能預先計算出待傳輸的 body size ，是不是就能避免 chunked 編碼呢？思路就到這，接著就是寫代碼驗證：

服務端

func main(){
 http.HandleFunc("/report", func(writer http.ResponseWriter, request *http.Request) {

 })
 http.ListenAndServe(":8099", nil)
}

客戶端

count := 100
line := []byte("line\r\n")
pr, rw := io.Pipe()
go func() {
 for i := 0; i < count; i++ {
 rw.Write(line)
 }
 rw.Close()
}()
// 構造request對象
request, err := http.NewRequest("POST", "http://localhost:8099/report", pr)
if err != nil {
 log.Fatal(err)
}
// 提前計算出ContentLength
request.ContentLength = int64(len(line) * count)
// 發起請求
http.DefaultClient.Do(request)

抓包結果：

用代碼詳解Go語言HTTP請求流式寫入body

可以看到確實直接使用的 Content-Length 進行傳輸，沒有進行 chunked 編碼了。

總結

本文的目的主要是記錄 go 語言中 http client 如何進行流式的寫入，并通過閱讀源碼了解 http client 內部對 body 的寫入是如何進行處理的，通過兩個驗證可以得知，如果能提前計算出 ContentLength 并且對性能要求比較苛刻的情況下，可以通過手動設置 ContentLength 來優化性能。

看完上述內容，是不是對用代碼詳解Go語言HTTP請求流式寫入body有進一步的了解，如果還想學習更多內容，歡迎關注創新互聯行業資訊頻道。

網站標題：用代碼詳解Go語言HTTP請求流式寫入body
URL標題：http://vcdvsql.cn/article46/pejieg.html

成都網站建設公司_創新互聯，為您提供網頁設計公司、靜態網站、品牌網站制作、網站收錄、云服務器、微信小程序

廣告

聲明：本網站發布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創新互聯

網站建設網站維護公司