25張圖，一萬(wàn)字，拆解Linux網(wǎng)絡(luò)包發(fā)送過(guò)程（超級(jí)詳細(xì)~）

半年前我以源碼的方式描述了網(wǎng)絡(luò)包的接收過(guò)程。之后不斷有粉絲提醒我還沒聊發(fā)送過(guò)程呢。好 ，安排！

在開始今天的文章之前，我先來(lái)請(qǐng)大家思考幾個(gè)小問(wèn)題。

• 問(wèn)1 ：我們?cè)诓榭磧?nèi)核發(fā)送數(shù)據(jù)消耗的 CPU 時(shí) ，是應(yīng)該看 sy 還是 si ？
• 問(wèn)2：為什么你服務(wù)器上的 /proc/softirqs 里 NET_RX 要比 NET_TX 大的多的多？
• 問(wèn)3 ：發(fā)送網(wǎng)絡(luò)數(shù)據(jù)的時(shí)候都涉及到哪些內(nèi)存拷貝操作？

這些問(wèn)題雖然在線上經(jīng)?？吹?，但我們似乎很少去深究。如果真的能透徹地把這些問(wèn)題理解到位，我們對(duì)性能的掌控能力將會(huì)變得更強(qiáng) 。

帶著這三個(gè)問(wèn)題，我們開始今天對(duì) Linux 內(nèi)核網(wǎng)絡(luò)發(fā)送過(guò)程的深度剖析 。還是按照我們之前的傳統(tǒng) ，先從一段簡(jiǎn)單的代碼作為切入。如下代碼是一個(gè)典型服務(wù)器程序的典型的縮微代碼 ：

int main(){  fd = socket(AF_INET, SOCK_STREAM, 0); bind(fd, ...); listen(fd, ...); cfd = accept(fd, ...); // 接收用戶請(qǐng)求 read(cfd, ...); // 用戶請(qǐng)求處理 dosometing();  // 給用戶返回結(jié)果 send(cfd, buf, sizeof(buf), 0);}

今天我們來(lái)討論上述代碼中，調(diào)用 send 之后內(nèi)核是怎么樣把數(shù)據(jù)包發(fā)送出去的。本文基于Linux 3.10 ，網(wǎng)卡驅(qū)動(dòng)采用Intel的igb網(wǎng)卡舉例。

一、Linux 網(wǎng)絡(luò)發(fā)送過(guò)程總覽

我覺得看 Linux 源碼最重要的是得有整體上的把握 ，而不是一開始就陷入各種細(xì)節(jié)。

我這里先給大家準(zhǔn)備了一個(gè)總的流程圖