1. 从一次丢包说起收包链路到底卡在哪网卡驱动、网络层、网桥、NAPI、非NAPI这几个词放在一起很多人第一反应是“面试八股”。但真到线上排障比如你发现某台做网桥转发的机器ethtool -S里 rx_dropped 一直涨或者软中断ksoftirqd把某个 CPU 核吃满这时候能不能把报文从网卡驱动到网络层的路径讲清楚直接决定你往哪个方向调参。这篇聚焦 Linux 网络收包链路从网卡驱动中断处理一路走到网络层或网桥分发重点对比非 NAPI 和 NAPI 两种模式。你会看到可复制的内核参数与驱动配置骨架一套 config.toml 风格的示例以及用抓包和/proc中断计数做验证的具体动作。适合已经会看ifconfig、想进一步定位收包瓶颈的运维和内核方向读者。先给一个整体印象报文到达网卡后先由 DMA 写入内存网卡触发硬中断驱动在中断处理里决定是走非 NAPI 的netif_rx()把 skb 塞进共享队列还是走 NAPI 的napi_schedule()把设备挂到轮询表。之后软中断NET_RX_SOFTIRQ被触发net_rx_action调用 poll 或process_backlog最终把 skb 交给netif_receive_skb再进入协议栈或网桥的 hook 点。整条链路里中断合并、队列长度、CPU 亲和性都会影响吞吐。2. 非 NAPI 与 NAPI 的分水岭2.1 非 NAPI共享队列 软中断兜底非 NAPI 的内核接口是netif_rx()。驱动在硬中断里调用net_rx()为 skb 分配内存并从网卡拷贝数据然后netif_rx()做三件事把 skb 放到当前 CPU 的softnet_data-input_pkt_queue也就是enqueue_to_backlog里的__skb_queue_tail把process_backlog这个 napi 结构挂到poll_list最后__raise_softirq_irqoff(NET_RX_SOFTIRQ)触发软中断。它的特点是所有非 NAPI 设备共享同一个 CPU 队列。流量一大input_pkt_queue很快到上限超出的包直接丢而且中断优先级高于软中断CPU 大量时间在响应中断softnet 队列却处理不过来等于用宝贵资源做无用功。2.2 NAPI轮询表 设备内存NAPI 的内核接口是napi_schedule()。它把特定于硬件的poll_list挂到当前 CPU 的softnet_data-poll_list通过container_of从 poll_list 反推出napi_struct从而拿到驱动的poll()方法然后同样触发NET_RX_SOFTIRQ。关键区别在于NAPI 的 skb 直接从设备内存或驱动接收环获得不用自己维护共享内存。NAPI 的实现原理可以这样理解。假定适配器此前没有分组到达之后分组高频到来第一个分组触发 IRQ驱动在硬中断里关闭该适配器的 Rx IRQ把适配器放到轮询表只要还有分组要处理内核就持续轮询处理完再重新启用 Rx 中断。低流量时回到中断驱动高流量时切到轮询这就是它兼顾两者的地方。2.3 两种模式对照维度非 NAPINAPI内核接口netif_rx()napi_schedule()数据存放共享input_pkt_queue设备内存/接收环中断行为每包一次中断首个包中断之后关 Rx 中断轮询高流量表现中断风暴队列溢出丢包中断缓和早丢包适用场景低速率、老驱动高速率、现代网卡NAPI 需要设备满足两个条件能保留多个接收分组比如 DMA 环形缓冲区能禁用用于分组接收的 IRQ同时发送等其他 IRQ 仍启用。系统里多个设备时通过循环轮询各个设备来解决。3. TaoToken 前置统一 Key 与 API 通道在动手改内核参数之前先把观测和调用通道准备好。TaoToken 提供统一的 Key 和 API 通道方便你在同一套凭证下调用模型对话、编码计划等能力做收包链路的辅助分析和脚本生成时不用来回切换配置。官网入口https://taotoken.net/?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_contentAPI 基址https://taotoken.net/api按用途分流避免只记首页排障、接入相关先看 API Keys 和接入文档https://taotoken.net/api-keys?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content 与 https://taotoken.net/doc?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content想先验证模型是否通用模型对话https://taotoken.net/chat?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content长期编码或跑 Agent用 Coding Planhttps://taotoken.net/coding-plan?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content管理控制台https://taotoken.net/console?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content注意Key 只放在环境变量或本地配置文件里不要写进会提交到仓库的脚本。4. 可复制配置内核参数与驱动骨架4.1 内核参数骨架下面这份 config.toml 风格示例把收包链路相关的可调项集中起来方便你按机器角色套用。字段名对应 sysctl 路径值按需改。# net_rx_tuning.toml [backlog] # 每个 CPU 的 backlog 队列上限非 NAPI 共享队列受它约束 net_core_netdev_max_backlog 1000 # 软中断预算单次 net_rx_action 最多处理多少包 net_core_dev_weight 64 [busy_poll] # 开启后软中断处理时会短暂轮询网卡降低延迟 net_core_busy_poll 50 net_core_busy_read 50 [gro] # 通用接收卸载合并小包减少上层处理次数 net_core_gro_normal_list 8 [irq_affinity] # 把网卡中断绑到固定 CPU避免跨核抖动 enabled true cpu_mask 0-3对应落地命令sudo sysctl -w net.core.netdev_max_backlog1000 sudo sysctl -w net.core.dev_weight64 sudo sysctl -w net.core.busy_poll50 sudo sysctl -w net.core.busy_read50netdev_max_backlog对非 NAPI 尤其关键队列满了就是丢包。dev_weight决定一次软中断能处理多少包调大能减少软中断触发次数但单次占用 CPU 时间变长。4.2 驱动与中断配置骨架以常见多队列网卡为例先看队列和中断分布ethtool -l eth0 ethtool -S eth0 | grep -E rx_|drop|miss cat /proc/interrupts | grep eth0把中断绑到指定 CPU# 查看 eth0 各队列中断号 grep eth0 /proc/interrupts | awk {print $1} | tr -d : # 假设中断号 130绑到 CPU2 echo 4 | sudo tee /proc/irq/130/smp_affinity开启或关闭 GRO、调整 ring buffersudo ethtool -K eth0 gro on sudo ethtool -G eth0 rx 4096 tx 4096ring buffer 太小会在驱动层就丢包ethtool -S里的rx_missed_errors或rx_no_buffer_count能反映出来。4.3 网桥场景的额外项如果这台机器做网桥转发报文在netif_receive_skb后会进入网桥 hook。此时除了上面的项还要关注# 查看网桥转发相关计数 bridge -s fdb cat /proc/net/dev | grep -E br0|eth # 关闭网桥的 netfilter 调用可减少开销按需 sudo sysctl -w net.bridge.bridge-nf-call-iptables0网桥的br_forward会重新走一遍发送路径收包瓶颈有时不在收而在转发判断。5. 验证请求与成功结果5.1 用 /proc 中断计数看中断频率先记录基线再打流对比中断增量# 基线 grep eth0 /proc/interrupts /tmp/irq_before.txt # 打流 10 秒用另一台机器或本机 loopback 工具 # 之后对比 grep eth0 /proc/interrupts /tmp/irq_after.txt diff /tmp/irq_before.txt /tmp/irq_after.txt如果中断数随包数线性暴涨说明还在非 NAPI 或中断合并没生效如果中断增长平缓而吞吐上去了NAPI 轮询在起作用。5.2 用 /proc/net/softnet_stat 看软中断cat /proc/net/softnet_stat每列含义里第一列是处理的包数第二列是 dropped第三列是 time_squeeze。time_squeeze增长说明单次软中断预算用完还有包没处理可以调大net.core.dev_weight或增加队列。5.3 抓包确认路径sudo tcpdump -i eth0 -nn -c 100 -w /tmp/rx.pcap sudo tcpdump -i br0 -nn -c 100在 eth0 抓到包但 br0 没抓到说明卡在网桥 hook 或转发判断两边都抓到但应用没收到往协议栈上层查。5.4 用 TaoToken 辅助分析把softnet_stat和ethtool -S的输出整理后通过统一 API 通道让模型帮你归纳异常列比人肉对列快。验证模型连通性可以用模型对话入口长期跑分析脚本则用 Coding Plan。6. 本篇常见错排查6.1 改了 sysctl 没生效sysctl -w是临时的重启即失效。要持久化写进/etc/sysctl.d/下的 conf 文件再sysctl -p加载。另外有些项被驱动或容器命名空间覆盖容器里改宿主机项不生效。6.2 中断绑核后反而更差把所有队列中断绑到同一个 CPU会让那个核的软中断堆积。多队列网卡应该把不同队列分散到不同 CPU配合RPS或RSS。检查/proc/interrupts里各 CPU 列是否均衡。6.3 ring buffer 调大后内存吃紧ethtool -G调大 rx/tx 会占用更多驱动内存小内存机器要权衡。调完用ethtool -g eth0确认实际生效值有些网卡有上限。6.4 网桥场景丢包但网卡计数正常网卡rx_dropped不涨但br0的RX dropped涨问题在网桥层。检查 fdb 表是否溢出、bridge-nf-call-iptables是否带来额外开销、STP 状态是否在震荡。6.5 NAPI 没启用不是所有驱动都支持 NAPI。用ethtool -i eth0看驱动名和版本老驱动可能只有netif_rx路径。升级驱动或换支持 NAPI 的网卡是根本解法。7. 继续深入的方向收包链路调优没有一劳永逸的参数关键是建立“观测—调整—验证”的循环。你可以先从softnet_stat的time_squeeze和dropped两列入手判断是预算不够还是队列溢出再决定调dev_weight还是netdev_max_backlog。中断侧用/proc/interrupts看分布驱动侧用ethtool -S看 ring buffer 和 miss 计数。需要查接入细节时API Keys 和接入文档在 https://taotoken.net/api-keys?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content 和 https://taotoken.net/doc?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content 想先跑通模型验证思路用模型对话 https://taotoken.net/chat?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content 要把分析脚本长期跑起来Coding Plan 更合适 https://taotoken.net/coding-plan?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content 。把这些观测点固定成巡检项下次再遇到收包瓶颈你手里就有数据可依。
网络收包流程拆解：报文从网卡驱动到网络层（非NAPI、NAPI）的配置与验证
1. 从一次丢包说起收包链路到底卡在哪网卡驱动、网络层、网桥、NAPI、非NAPI这几个词放在一起很多人第一反应是“面试八股”。但真到线上排障比如你发现某台做网桥转发的机器ethtool -S里 rx_dropped 一直涨或者软中断ksoftirqd把某个 CPU 核吃满这时候能不能把报文从网卡驱动到网络层的路径讲清楚直接决定你往哪个方向调参。这篇聚焦 Linux 网络收包链路从网卡驱动中断处理一路走到网络层或网桥分发重点对比非 NAPI 和 NAPI 两种模式。你会看到可复制的内核参数与驱动配置骨架一套 config.toml 风格的示例以及用抓包和/proc中断计数做验证的具体动作。适合已经会看ifconfig、想进一步定位收包瓶颈的运维和内核方向读者。先给一个整体印象报文到达网卡后先由 DMA 写入内存网卡触发硬中断驱动在中断处理里决定是走非 NAPI 的netif_rx()把 skb 塞进共享队列还是走 NAPI 的napi_schedule()把设备挂到轮询表。之后软中断NET_RX_SOFTIRQ被触发net_rx_action调用 poll 或process_backlog最终把 skb 交给netif_receive_skb再进入协议栈或网桥的 hook 点。整条链路里中断合并、队列长度、CPU 亲和性都会影响吞吐。2. 非 NAPI 与 NAPI 的分水岭2.1 非 NAPI共享队列 软中断兜底非 NAPI 的内核接口是netif_rx()。驱动在硬中断里调用net_rx()为 skb 分配内存并从网卡拷贝数据然后netif_rx()做三件事把 skb 放到当前 CPU 的softnet_data-input_pkt_queue也就是enqueue_to_backlog里的__skb_queue_tail把process_backlog这个 napi 结构挂到poll_list最后__raise_softirq_irqoff(NET_RX_SOFTIRQ)触发软中断。它的特点是所有非 NAPI 设备共享同一个 CPU 队列。流量一大input_pkt_queue很快到上限超出的包直接丢而且中断优先级高于软中断CPU 大量时间在响应中断softnet 队列却处理不过来等于用宝贵资源做无用功。2.2 NAPI轮询表 设备内存NAPI 的内核接口是napi_schedule()。它把特定于硬件的poll_list挂到当前 CPU 的softnet_data-poll_list通过container_of从 poll_list 反推出napi_struct从而拿到驱动的poll()方法然后同样触发NET_RX_SOFTIRQ。关键区别在于NAPI 的 skb 直接从设备内存或驱动接收环获得不用自己维护共享内存。NAPI 的实现原理可以这样理解。假定适配器此前没有分组到达之后分组高频到来第一个分组触发 IRQ驱动在硬中断里关闭该适配器的 Rx IRQ把适配器放到轮询表只要还有分组要处理内核就持续轮询处理完再重新启用 Rx 中断。低流量时回到中断驱动高流量时切到轮询这就是它兼顾两者的地方。2.3 两种模式对照维度非 NAPINAPI内核接口netif_rx()napi_schedule()数据存放共享input_pkt_queue设备内存/接收环中断行为每包一次中断首个包中断之后关 Rx 中断轮询高流量表现中断风暴队列溢出丢包中断缓和早丢包适用场景低速率、老驱动高速率、现代网卡NAPI 需要设备满足两个条件能保留多个接收分组比如 DMA 环形缓冲区能禁用用于分组接收的 IRQ同时发送等其他 IRQ 仍启用。系统里多个设备时通过循环轮询各个设备来解决。3. TaoToken 前置统一 Key 与 API 通道在动手改内核参数之前先把观测和调用通道准备好。TaoToken 提供统一的 Key 和 API 通道方便你在同一套凭证下调用模型对话、编码计划等能力做收包链路的辅助分析和脚本生成时不用来回切换配置。官网入口https://taotoken.net/?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_contentAPI 基址https://taotoken.net/api按用途分流避免只记首页排障、接入相关先看 API Keys 和接入文档https://taotoken.net/api-keys?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content 与 https://taotoken.net/doc?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content想先验证模型是否通用模型对话https://taotoken.net/chat?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content长期编码或跑 Agent用 Coding Planhttps://taotoken.net/coding-plan?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content管理控制台https://taotoken.net/console?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content注意Key 只放在环境变量或本地配置文件里不要写进会提交到仓库的脚本。4. 可复制配置内核参数与驱动骨架4.1 内核参数骨架下面这份 config.toml 风格示例把收包链路相关的可调项集中起来方便你按机器角色套用。字段名对应 sysctl 路径值按需改。# net_rx_tuning.toml [backlog] # 每个 CPU 的 backlog 队列上限非 NAPI 共享队列受它约束 net_core_netdev_max_backlog 1000 # 软中断预算单次 net_rx_action 最多处理多少包 net_core_dev_weight 64 [busy_poll] # 开启后软中断处理时会短暂轮询网卡降低延迟 net_core_busy_poll 50 net_core_busy_read 50 [gro] # 通用接收卸载合并小包减少上层处理次数 net_core_gro_normal_list 8 [irq_affinity] # 把网卡中断绑到固定 CPU避免跨核抖动 enabled true cpu_mask 0-3对应落地命令sudo sysctl -w net.core.netdev_max_backlog1000 sudo sysctl -w net.core.dev_weight64 sudo sysctl -w net.core.busy_poll50 sudo sysctl -w net.core.busy_read50netdev_max_backlog对非 NAPI 尤其关键队列满了就是丢包。dev_weight决定一次软中断能处理多少包调大能减少软中断触发次数但单次占用 CPU 时间变长。4.2 驱动与中断配置骨架以常见多队列网卡为例先看队列和中断分布ethtool -l eth0 ethtool -S eth0 | grep -E rx_|drop|miss cat /proc/interrupts | grep eth0把中断绑到指定 CPU# 查看 eth0 各队列中断号 grep eth0 /proc/interrupts | awk {print $1} | tr -d : # 假设中断号 130绑到 CPU2 echo 4 | sudo tee /proc/irq/130/smp_affinity开启或关闭 GRO、调整 ring buffersudo ethtool -K eth0 gro on sudo ethtool -G eth0 rx 4096 tx 4096ring buffer 太小会在驱动层就丢包ethtool -S里的rx_missed_errors或rx_no_buffer_count能反映出来。4.3 网桥场景的额外项如果这台机器做网桥转发报文在netif_receive_skb后会进入网桥 hook。此时除了上面的项还要关注# 查看网桥转发相关计数 bridge -s fdb cat /proc/net/dev | grep -E br0|eth # 关闭网桥的 netfilter 调用可减少开销按需 sudo sysctl -w net.bridge.bridge-nf-call-iptables0网桥的br_forward会重新走一遍发送路径收包瓶颈有时不在收而在转发判断。5. 验证请求与成功结果5.1 用 /proc 中断计数看中断频率先记录基线再打流对比中断增量# 基线 grep eth0 /proc/interrupts /tmp/irq_before.txt # 打流 10 秒用另一台机器或本机 loopback 工具 # 之后对比 grep eth0 /proc/interrupts /tmp/irq_after.txt diff /tmp/irq_before.txt /tmp/irq_after.txt如果中断数随包数线性暴涨说明还在非 NAPI 或中断合并没生效如果中断增长平缓而吞吐上去了NAPI 轮询在起作用。5.2 用 /proc/net/softnet_stat 看软中断cat /proc/net/softnet_stat每列含义里第一列是处理的包数第二列是 dropped第三列是 time_squeeze。time_squeeze增长说明单次软中断预算用完还有包没处理可以调大net.core.dev_weight或增加队列。5.3 抓包确认路径sudo tcpdump -i eth0 -nn -c 100 -w /tmp/rx.pcap sudo tcpdump -i br0 -nn -c 100在 eth0 抓到包但 br0 没抓到说明卡在网桥 hook 或转发判断两边都抓到但应用没收到往协议栈上层查。5.4 用 TaoToken 辅助分析把softnet_stat和ethtool -S的输出整理后通过统一 API 通道让模型帮你归纳异常列比人肉对列快。验证模型连通性可以用模型对话入口长期跑分析脚本则用 Coding Plan。6. 本篇常见错排查6.1 改了 sysctl 没生效sysctl -w是临时的重启即失效。要持久化写进/etc/sysctl.d/下的 conf 文件再sysctl -p加载。另外有些项被驱动或容器命名空间覆盖容器里改宿主机项不生效。6.2 中断绑核后反而更差把所有队列中断绑到同一个 CPU会让那个核的软中断堆积。多队列网卡应该把不同队列分散到不同 CPU配合RPS或RSS。检查/proc/interrupts里各 CPU 列是否均衡。6.3 ring buffer 调大后内存吃紧ethtool -G调大 rx/tx 会占用更多驱动内存小内存机器要权衡。调完用ethtool -g eth0确认实际生效值有些网卡有上限。6.4 网桥场景丢包但网卡计数正常网卡rx_dropped不涨但br0的RX dropped涨问题在网桥层。检查 fdb 表是否溢出、bridge-nf-call-iptables是否带来额外开销、STP 状态是否在震荡。6.5 NAPI 没启用不是所有驱动都支持 NAPI。用ethtool -i eth0看驱动名和版本老驱动可能只有netif_rx路径。升级驱动或换支持 NAPI 的网卡是根本解法。7. 继续深入的方向收包链路调优没有一劳永逸的参数关键是建立“观测—调整—验证”的循环。你可以先从softnet_stat的time_squeeze和dropped两列入手判断是预算不够还是队列溢出再决定调dev_weight还是netdev_max_backlog。中断侧用/proc/interrupts看分布驱动侧用ethtool -S看 ring buffer 和 miss 计数。需要查接入细节时API Keys 和接入文档在 https://taotoken.net/api-keys?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content 和 https://taotoken.net/doc?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content 想先跑通模型验证思路用模型对话 https://taotoken.net/chat?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content 要把分析脚本长期跑起来Coding Plan 更合适 https://taotoken.net/coding-plan?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content 。把这些观测点固定成巡检项下次再遇到收包瓶颈你手里就有数据可依。
