Golang 網(wǎng)絡(luò)編程絲綢之路 - TCP/UDP 地址解析

TL;DR 在使用 Golang 編寫 TCP/UDP socket 的時候，第一步做的就是地址解析。

成都創(chuàng)新互聯(lián)公司主要從事成都做網(wǎng)站、成都網(wǎng)站建設(shè)、網(wǎng)頁設(shè)計、企業(yè)做網(wǎng)站、公司建網(wǎng)站等業(yè)務(wù)。立足成都服務(wù)焦作,十余年網(wǎng)站建設(shè)經(jīng)驗(yàn),價格優(yōu)惠、服務(wù)專業(yè),歡迎來電咨詢建站服務(wù):18980820575

該函數(shù)返回的地址包含的信息如下：

TCPAddr 里， IP 既可以是 IPv4 地址，也可以是 IPv6 地址。 Port 就是端口了。 Zone 是 IPv6 本地地址所在的區(qū)域。

從返回結(jié)果看該函數(shù)的參數(shù)， network 指 address 的網(wǎng)絡(luò)類型； address 指要解析的地址，會從中解析出我們想要的 IP , Port 和 Zone 。

從源碼中可以看出，參數(shù) network 只能是如下四個值，否則會得到一個錯誤。

解析過程跟 ResolveTCPAddr 的一樣，不過得到的是 *UDPAddr 。

UDPAddr 包含的信息如下：

golang udp編程

用戶數(shù)據(jù)報協(xié)議（User Datagram Protocol，縮寫為UDP），又稱用戶數(shù)據(jù)報文協(xié)議，是一個簡單的面向數(shù)據(jù)報(package-oriented)的傳輸層協(xié)議，正式規(guī)范為RFC 768。

UDP只提供數(shù)據(jù)的不可靠傳遞，它一旦把應(yīng)用程序發(fā)給網(wǎng)絡(luò)層的數(shù)據(jù)發(fā)送出去，就不保留數(shù)據(jù)備份（所以UDP有時候也被認(rèn)為是不可靠的數(shù)據(jù)報協(xié)議）。

UDP在IP數(shù)據(jù)報的頭部僅僅加入了復(fù)用和數(shù)據(jù)校驗(yàn)。

由于缺乏可靠性且屬于非連接導(dǎo)向協(xié)議，UDP應(yīng)用一般必須允許一定量的丟包、出錯和復(fù)制粘貼。

1 在接收udp包時，如果接收包時給定的buffer太小的話，就要自己解決粘包問題。

2 udp包的發(fā)送和接收不保證一定成功，不保證按正確順序抵達(dá)。

3 如果不允許丟包的情況出現(xiàn)的話，要有重發(fā)機(jī)制來保證，如：反饋機(jī)制確認(rèn)。

服務(wù)端

客戶端

go面試題整理（附帶部分自己的解答）

原文：【 】

如果有解答的不對的，麻煩各位在評論寫出來~

go的調(diào)度原理是基于GMP模型，G代表一個goroutine，不限制數(shù)量；M=machine，代表一個線程，最大1萬，所有G任務(wù)還是在M上執(zhí)行；P=processor代表一個處理器，每一個允許的M都會綁定一個G，默認(rèn)與邏輯CPU數(shù)量相等（通過runtime.GOMAXPROCS(runtime.NumCPU())設(shè)置）。

go調(diào)用過程：

可以能，也可以不能。

因?yàn)間o存在不能使用==判斷類型：map、slice，如果struct包含這些類型的字段，則不能比較。

這兩種類型也不能作為map的key。

類似棧操作，后進(jìn)先出。

因?yàn)間o的return是一個非原子性操作，比如語句 return i ，實(shí)際上分兩步進(jìn)行，即將i值存入棧中作為返回值，然后執(zhí)行跳轉(zhuǎn)，而defer的執(zhí)行時機(jī)正是跳轉(zhuǎn)前，所以說defer執(zhí)行時還是有機(jī)會操作返回值的。

select的case的表達(dá)式必須是一個channel類型，所有case都會被求值，求值順序自上而下，從左至右。如果多個case可以完成，則會隨機(jī)執(zhí)行一個case，如果有default分支，則執(zhí)行default分支語句。如果連default都沒有，則select語句會一直阻塞，直到至少有一個IO操作可以進(jìn)行。

break關(guān)鍵字可跳出select的執(zhí)行。

goroutine管理、信息傳遞。context的意思是上下文，在線程、協(xié)程中都有這個概念，它指的是程序單元的一個運(yùn)行狀態(tài)、現(xiàn)場、快照，包含。context在多個goroutine中是并發(fā)安全的。

應(yīng)用場景：

例子參考：

waitgroup

channel

len：切片的長度，訪問時間復(fù)雜度為O(1)，go的slice底層是對數(shù)組的引用。

cap：切片的容量，擴(kuò)容是以這個值為標(biāo)準(zhǔn)。默認(rèn)擴(kuò)容是2倍，當(dāng)達(dá)到1024的長度后，按1.25倍。

擴(kuò)容：每次擴(kuò)容slice底層都將先分配新的容量的內(nèi)存空間，再將老的數(shù)組拷貝到新的內(nèi)存空間，因?yàn)檫@個操作不是并發(fā)安全的。所以并發(fā)進(jìn)行append操作，讀到內(nèi)存中的老數(shù)組可能為同一個，最終導(dǎo)致append的數(shù)據(jù)丟失。

共享：slice的底層是對數(shù)組的引用，因此如果兩個切片引用了同一個數(shù)組片段，就會形成共享底層數(shù)組。當(dāng)sliec發(fā)生內(nèi)存的重新分配（如擴(kuò)容）時，會對共享進(jìn)行隔斷。詳細(xì)見下面例子：

make([]Type,len,cap)

map的底層是hash table(hmap類型)，對key值進(jìn)行了hash，并將結(jié)果的低八位用于確定key/value存在于哪個bucket（bmap類型）。再將高八位與bucket的tophash進(jìn)行依次比較，確定是否存在。出現(xiàn)hash沖撞時，會通過bucket的overflow指向另一個bucket，形成一個單向鏈表。每個bucket存儲8個鍵值對。

如果要實(shí)現(xiàn)map的順序讀取，需要使用一個slice來存儲map的key并按照順序進(jìn)行排序。

利用map，如果要求并發(fā)安全，就用sync.map

要注意下set中的delete函數(shù)需要使用 delete(map) 來實(shí)現(xiàn)，但是這個并不會釋放內(nèi)存，除非value也是一個子map。當(dāng)進(jìn)行多次delete后，可以使用make來重建map。

使用sync.Map來管理topic，用channel來做隊列。

參考：

多路歸并法:

pre class="vditor-reset" placeholder="" contenteditable="true" spellcheck="false"p data-block="0"(1)假設(shè)有K路a href=""數(shù)據(jù)流/a，流內(nèi)部是有序的，且流間同為升序或降序；

/pp data-block="0"(2)首先讀取每個流的第一個數(shù)，如果已經(jīng)EOF，pass；

/pp data-block="0"(3)將有效的k(k可能小于K)個數(shù)比較，選出最小的那路mink，輸出，讀取mink的下一個；

/pp data-block="0"(4)直到所有K路都EOF。

/p/pre

假設(shè)文件又1個G，內(nèi)存只有256M，無法將1個G的文件全部讀到內(nèi)存進(jìn)行排序。

第一步：

可以分為10段讀取，每段讀取100M的數(shù)據(jù)并排序好寫入硬盤。

假設(shè)寫入后的文件為A,B，C...10

第二步:

將A，B,C...10的第一個字符拿出來，對這10個字符進(jìn)行排序，并將結(jié)果寫入硬盤，同時記錄被寫入的字符的文件指針P。

第三步：

將剛剛排序好的9個字符再加上從指針P讀取到的P+1位數(shù)據(jù)進(jìn)行排序，并寫入硬盤。

重復(fù)二、三步驟。

go文件讀寫參考：

保證排序前兩個相等的數(shù)其在序列的前后位置順序和排序后它們兩個的前后位置順序相同的排序叫穩(wěn)定排序。

快速排序、希爾排序、堆排序、直接選擇排序不是穩(wěn)定的排序算法。

基數(shù)排序、冒泡排序、直接插入排序、折半插入排序、歸并排序是穩(wěn)定的排序算法。

參考：

head只請求頁面的首部。多用來判斷網(wǎng)頁是否被修改和超鏈接的有效性。

get請求頁面信息，并返回實(shí)例的主體。

參考:

401：未授權(quán)的訪問。

403: 拒絕訪問。

普通的http連接是客戶端連接上服務(wù)端，然后結(jié)束請求后，由客戶端或者服務(wù)端進(jìn)行http連接的關(guān)閉。下次再發(fā)送請求的時候，客戶端再發(fā)起一個連接，傳送數(shù)據(jù)，關(guān)閉連接。這么個流程反復(fù)。但是一旦客戶端發(fā)送connection:keep-alive頭給服務(wù)端，且服務(wù)端也接受這個keep-alive的話，兩邊對上暗號，這個連接就可以復(fù)用了，一個http處理完之后，另外一個http數(shù)據(jù)直接從這個連接走了。減少新建和斷開TCP連接的消耗。這個可以在Nginx設(shè)置，

這個keepalive_timout時間值意味著：一個http產(chǎn)生的tcp連接在傳送完最后一個響應(yīng)后，還需要hold住keepalive_timeout秒后，才開始關(guān)閉這個連接。

特別注意TCP層的keep alive和http不是一個意思。TCP的是指：tcp連接建立后，如果客戶端很長一段時間不發(fā)送消息，當(dāng)連接很久沒有收到報文，tcp會主動發(fā)送一個為空的報文（偵測包）給對方，如果對方收到了并且回復(fù)了，證明對方還在。如果對方?jīng)]有報文返回，重試多次之后則確認(rèn)連接丟失，斷開連接。

tcp的keep alive可通過

net.ipv4.tcp_keepalive_intvl = 75 // 當(dāng)探測沒有確認(rèn)時，重新發(fā)送探測的頻度。缺省是75秒。

net.ipv4.tcp_keepalive_probes = 9 //在認(rèn)定連接失效之前，發(fā)送多少個TCP的keepalive探測包。缺省值是9。這個值乘以tcp_keepalive_intvl之后決定了，一個連接發(fā)送了keepalive之后可以有多少時間沒有回應(yīng)

net.ipv4.tcp_keepalive_time = 7200 //當(dāng)keepalive起用的時候，TCP發(fā)送keepalive消息的頻度。缺省是2小時。一般設(shè)置為30分鐘1800

修改：

可以

tcp是面向連接的，upd是無連接狀態(tài)的。

udp相比tcp沒有建立連接的過程，所以更快，同時也更安全，不容易被攻擊。upd沒有阻塞控制，因此出現(xiàn)網(wǎng)絡(luò)阻塞不會使源主機(jī)的發(fā)送效率降低。upd支持一對多，多對多等，tcp是點(diǎn)對點(diǎn)傳輸。tcp首部開銷20字節(jié)，udp8字節(jié)。

udp使用場景：視頻通話、im聊天等。

time-wait表示客戶端等待服務(wù)端返回關(guān)閉信息的狀態(tài)，closed_wait表示服務(wù)端得知客戶端想要關(guān)閉連接，進(jìn)入半關(guān)閉狀態(tài)并返回一段TCP報文。

time-wait作用：

解決辦法：

close_wait:

被動關(guān)閉，通常是由于客戶端忘記關(guān)閉tcp連接導(dǎo)致。

根據(jù)業(yè)務(wù)來啊~

重要指標(biāo)是cardinality（不重復(fù)數(shù)量），這個數(shù)量/總行數(shù)如果過小（趨近于0）代表索引基本沒意義，比如sex性別這種。

另外查詢不要使用select *，根據(jù)select的條件+where條件做組合索引，盡量實(shí)現(xiàn)覆蓋索引，避免回表。

僵尸進(jìn)程：

即子進(jìn)程先于父進(jìn)程退出后，子進(jìn)程的PCB需要其父進(jìn)程釋放，但是父進(jìn)程并沒有釋放子進(jìn)程的PCB，這樣的子進(jìn)程就稱為僵尸進(jìn)程，僵尸進(jìn)程實(shí)際上是一個已經(jīng)死掉的進(jìn)程。

孤兒進(jìn)程：

一個父進(jìn)程退出，而它的一個或多個子進(jìn)程還在運(yùn)行，那么那些子進(jìn)程將成為孤兒進(jìn)程。孤兒進(jìn)程將被init進(jìn)程(進(jìn)程號為1)所收養(yǎng)，并由init進(jìn)程對它們完成狀態(tài)收集工作。

子進(jìn)程死亡需要父進(jìn)程來處理，那么意味著正常的進(jìn)程應(yīng)該是子進(jìn)程先于父進(jìn)程死亡。當(dāng)父進(jìn)程先于子進(jìn)程死亡時，子進(jìn)程死亡時沒父進(jìn)程處理，這個死亡的子進(jìn)程就是孤兒進(jìn)程。

但孤兒進(jìn)程與僵尸進(jìn)程不同的是，由于父進(jìn)程已經(jīng)死亡，系統(tǒng)會幫助父進(jìn)程回收處理孤兒進(jìn)程。所以孤兒進(jìn)程實(shí)際上是不占用資源的，因?yàn)樗K究是被系統(tǒng)回收了。不會像僵尸進(jìn)程那樣占用ID,損害運(yùn)行系統(tǒng)。

原文鏈接：

產(chǎn)生死鎖的四個必要條件：

（1） 互斥條件：一個資源每次只能被一個進(jìn)程使用。

（2） 請求與保持條件：一個進(jìn)程因請求資源而阻塞時，對已獲得的資源保持不放。

（3） 不剝奪條件：進(jìn)程已獲得的資源，在末使用完之前，不能強(qiáng)行剝奪。

（4） 循環(huán)等待條件：若干進(jìn)程之間形成一種頭尾相接的循環(huán)等待資源關(guān)系。

避免方法：

端口占用：lsof -i:端口號 或者 nestat

cpu、內(nèi)存占用：top

發(fā)送信號：kill -l 列出所有信號，然后用 kill [信號變化] [進(jìn)程號]來執(zhí)行。如kill -9 453。強(qiáng)制殺死453進(jìn)程

git log:查看提交記錄

git diff ：查看變更記錄

git merge：目標(biāo)分支改變，而源分支保持原樣。優(yōu)點(diǎn)：保留提交歷史，保留分支結(jié)構(gòu)。但會有大量的merge記錄

git rebase：將修改拼接到最新，復(fù)雜的記錄變得優(yōu)雅，單個操作變得(revert)很簡單；缺點(diǎn)：

git revert:反做指定版本，會新生成一個版本

git reset:重置到某個版本，中間版本全部丟失

etcd、Consul

pprof

節(jié)省空間（非葉子節(jié)點(diǎn)不存儲數(shù)據(jù)，相對b tree的優(yōu)勢），減少I/O次數(shù)（節(jié)省的空間全部存指針地址，讓樹變的矮胖），范圍查找方便（相對hash的優(yōu)勢）。

explain

其他的見：

runtime2.go 中關(guān)于 p 的定義： 其中 runnext 指針決定了下一個要運(yùn)行的 g，根據(jù)英文的注釋大致意思是說：

所以當(dāng)設(shè)置 runtime.GOMAXPROCS(1) 時，此時只有一個 P，創(chuàng)建的 g 依次加入 P， 當(dāng)最后一個即 i==9 時，加入的最后 一個 g 將會繼承當(dāng)前主 goroutinue 的剩余時間片繼續(xù)執(zhí)行，所以會先輸出 9， 之后再依次執(zhí)行 P 隊列中其它的 g。

方法一：

方法二：

[圖片上傳失敗...(image-4ef445-1594976286098)]

方法1：to_days，返回給的日期從0開始算的天數(shù)。

方法2：data_add。向日期添加指定時間間隔

[圖片上傳失敗...(image-b67b10-1594976286098)]

Go 語言自我提升 (三次握手 - 四次揮手 - TCP狀態(tài)圖 - udp - 網(wǎng)絡(luò)文件傳輸)

三次握手：

1. 主動發(fā)起連接請求端（客戶端），發(fā)送 SYN 標(biāo)志位，攜帶數(shù)據(jù)包、包號

2. 被動接收連接請求端（服務(wù)器），接收 SYN，回復(fù) ACK，攜帶應(yīng)答序列號。同時，發(fā)送SYN標(biāo)志位，攜帶數(shù)據(jù)包、包號

3. 主動發(fā)起連接請求端（客戶端），接收SYN 標(biāo)志位，回復(fù) ACK。

被動端（服務(wù)器）接收 ACK —— 標(biāo)志著 三次握手建立完成（ Accept()/Dial() 返回 ）

四次揮手：

1. 主動請求斷開連接端（客戶端）， 發(fā)送 FIN標(biāo)志，攜帶數(shù)據(jù)包

2. 被動接受斷開連接端（服務(wù)器）， 發(fā)送 ACK標(biāo)志，攜帶應(yīng)答序列號。 —— 半關(guān)閉完成。

3. 被動接受斷開連接端（服務(wù)器）， 發(fā)送 FIN標(biāo)志，攜帶數(shù)據(jù)包

4. 主動請求斷開連接端（客戶端）， 發(fā)送 最后一個 ACK標(biāo)志，攜帶應(yīng)答序列號。—— 發(fā)送完成，客戶端不會直接退出，等 2MSL時長。

等 2MSL待目的：確保服務(wù)器 收到最后一個ACK

滑動窗口：

通知對端本地存儲數(shù)據(jù)的 緩沖區(qū)容量。—— write 函數(shù)在對端 緩沖區(qū)滿時，有可能阻塞。

TCP狀態(tài)轉(zhuǎn)換：

1. 主動發(fā)起連接請求端：

CLOSED —— 發(fā)送SYN —— SYN_SENT(了解) —— 接收ACK、SYN，回發(fā) ACK —— ESTABLISHED (數(shù)據(jù)通信)

2. 主動關(guān)閉連接請求端：

ESTABLISHED —— 發(fā)送FIN —— FIN_WAIT_1 —— 接收ACK —— FIN_WAIT_2 (半關(guān)閉、主動端)

—— 接收FIN、回復(fù)ACK —— TIME_WAIT (主動端) —— 等 2MSL 時長 —— CLOSED

3. 被動建立連接請求端：

CLOSED —— LISTEN —— 接收SYN、發(fā)送ACK、SYN —— SYN_RCVD —— 接收 ACK —— ESTABLISHED (數(shù)據(jù)通信)

4. 被動斷開連接請求端：

ESTABLISHED —— 接收 FIN、發(fā)送 ACK —— CLOSE_WAIT —— 發(fā)送 FIN —— LAST_ACK —— 接收ACK —— CLOSED

windows下查看TCP狀態(tài)轉(zhuǎn)換：

netstat -an | findstr? 端口號

Linux下查看TCP狀態(tài)轉(zhuǎn)換：

netstat -an | grep? 端口號

TCP和UDP對比:?

TCP: 面向連接的可靠的數(shù)據(jù)包傳遞。 針對不穩(wěn)定的 網(wǎng)絡(luò)層，完全彌補(bǔ)。ACK

UDP：無連接不可靠的報文傳輸。 針對不穩(wěn)定的 網(wǎng)絡(luò)層，完全不彌補(bǔ)。還原網(wǎng)絡(luò)真實(shí)狀態(tài)。

優(yōu)點(diǎn)???????????????????????????????????????????????????????????? 缺點(diǎn)

TCP： 可靠、順序、穩(wěn)定 ???????????????????????????????????? 系統(tǒng)資源消耗大，程序?qū)崿F(xiàn)繁復(fù)、速度慢

UDP：系統(tǒng)資源消耗小，程序?qū)崿F(xiàn)簡單、速度快 ???????????????????????? 不可靠、無序、不穩(wěn)定

使用場景：

TCP：大文件、可靠數(shù)據(jù)傳輸。 對數(shù)據(jù)的 穩(wěn)定性、準(zhǔn)確性、一致性要求較高的場合。

UDP：應(yīng)用于對數(shù)據(jù)時效性要求較高的場合。 網(wǎng)絡(luò)直播、電話會議、視頻直播、網(wǎng)絡(luò)游戲。

UDP-CS-Server實(shí)現(xiàn)流程：

1.? 創(chuàng)建 udp地址結(jié)構(gòu) ResolveUDPAddr(“協(xié)議”， “IP：port”) —— udpAddr 本質(zhì) struct{IP、port}

2.? 創(chuàng)建用于 數(shù)據(jù)通信的 socket ListenUDP(“協(xié)議”, udpAddr ) —— udpConn (socket)

3.? 從客戶端讀取數(shù)據(jù)，獲取對端的地址 udpConn.ReadFromUDP() —— 返回：n，clientAddr， err

4.? 發(fā)送數(shù)據(jù)包給 客戶端 udpConn.WriteToUDP("數(shù)據(jù)"， clientAddr)

UDP-CS-Client實(shí)現(xiàn)流程：

1.? 創(chuàng)建用于通信的 socket。 net.Dial("udp", "服務(wù)器IP：port") —— udpConn (socket)

2.? 以后流程參見 TCP客戶端實(shí)現(xiàn)源碼。

UDPserver默認(rèn)就支持并發(fā)！

------------------------------------

命令行參數(shù)： 在main函數(shù)啟動時，向整個程序傳參。 【重點(diǎn)】

語法： go run xxx.go ? argv1 argv2? argv3? argv4 。。。

xxx.exe:? 第 0 個參數(shù)。

argv1 ：第 1 個參數(shù)。

argv2 ：第 2 個參數(shù)。

argv3 ：第 3 個參數(shù)。

argv4 ：第 4 個參數(shù)。

使用： list := os.Args? 提取所有命令行參數(shù)。

獲取文件屬性函數(shù)：

os.stat(文件訪問絕對路徑) —— fileInfo 接口

fileInfo 包含 兩個接口。

Name() 獲取文件名。 不帶訪問路徑

Size() 獲取文件大小。

網(wǎng)絡(luò)文件傳輸 —— 發(fā)送端（客戶端）

1.? 獲取命令行參數(shù)，得到文件名（帶路徑）filePath list := os.Args

2.? 使用 os.stat() 獲取 文件名（不帶路徑）fileName

3.? 創(chuàng)建 用于數(shù)據(jù)傳輸?shù)?socket? net.Dial("tcp"， “服務(wù)器IP+port”) —— conn

4.? 發(fā)送文件名(不帶路徑)? 給接收端， conn.write()

5.? 讀取 接收端回發(fā)“ok”，判斷無誤。封裝函數(shù) sendFile(filePath, conn) 發(fā)送文件內(nèi)容

6.? 實(shí)現(xiàn) sendFile(filePath,? conn)

1) 只讀打開文件 os.Open(filePath)

for {

2) 從文件中讀數(shù)據(jù)? f.Read(buf)

3) 將讀到的數(shù)據(jù)寫到socket中? conn.write(buf[:n])

4）判斷讀取文件的 結(jié)尾。 io.EOF. 跳出循環(huán)

}

網(wǎng)絡(luò)文件傳輸 —— 接收端（服務(wù)器）

1. 創(chuàng)建用于監(jiān)聽的 socket net.Listen() —— listener

2. 借助listener 創(chuàng)建用于 通信的 socket listener.Accpet()? —— conn

3. 讀取 conn.read() 發(fā)送端的 文件名， 保存至本地。

4. 回發(fā) “ok”應(yīng)答 發(fā)送端。

5. 封裝函數(shù)，接收文件內(nèi)容 recvFile(文件路徑)

1) f = os.Create(帶有路徑的文件名)

for {

2）從 socket中讀取發(fā)送端發(fā)送的 文件內(nèi)容 。 conn.read(buf)

3)? 將讀到的數(shù)據(jù) 保存至本地文件 f.Write(buf[:n])

4)? 判斷 讀取conn 結(jié)束， 代表文件傳輸完成。 n == 0? break

}

網(wǎng)站題目：go語言解udp報文,go udp編程
網(wǎng)頁網(wǎng)址：http://vcdvsql.cn/article44/hsssee.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站設(shè)計公司、動態(tài)網(wǎng)站、關(guān)鍵詞優(yōu)化、建站公司、微信小程序、全網(wǎng)營銷推廣

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)