做400G网络有一阵子了从最初的100G互联到现在的400G规模化上线踩过的坑不少总结下来的经验也足够写几篇文章。今天想完整聊聊Mellanox CX7网卡搭配400G光模块这件事从选型逻辑、硬件安装、驱动部署到链路调优和故障排查一次性讲透。这篇文章适合正在规划400G组网、或者已经拿着CX7网卡准备上线的运维和网络工程师也适合那些被光模块兼容性和驱动版本折腾到头大的朋友按图索骥能省不少时间。1. 选型逻辑为什么是CX7以及光模块怎么选1.1 从CX6到CX7我看重的那几个点Mellanox现在叫NVIDIA Networking的ConnectX系列网卡在高速数据中心领域属于绕不开的选项。CX6支持200GCX7直接跳到400G单端口速率翻倍同时还有PCIe 4.0 x16的带宽兜底跑满400G线速完全没有瓶颈。放到实际场景里这意味着原本需要4张100G网卡才能撑起来的聚合带宽现在一张双口CX7就能扛住机箱槽位和功耗预算都能省下一大截。我选择CX7还有几个具体的理由流表缓存和RDMA能力CX7内置的转发引擎比CX6更强具体到RoCEv2场景同等QP数量下的CPU占用要低不少这对HPC和分布式存储业务非常关键。连接性灵活一个物理端口可以拆成多个SFSub-Function做容器网络或虚拟化卸载时非常方便不需要额外插卡。生态成熟度NVIDIA的驱动和固件更新节奏比较快对主流Linux发行版和虚拟化平台比如VMware、KVM的支持都算及时遇到问题查资料也方便。当然如果你只是跑普通的TCP业务暂时没有RDMA规划那么CX6或者友商的200G方案也够用。但如果是新项目上线我建议一步到位选CX7省得明年带宽瓶颈了再来一轮更换的折腾。1.2 400G光模块的几种形态400G光模块不像10G/25G那样形态单一它的封装和光口方案非常多选错一个细节就得重新下单。目前主流的400G模块大概分这几类模块型号封装光纤类型传输距离适用场景QSFP-DD SR8QSFP-DD多模MPO-16100米内机柜内、短距离互联QSFP-DD DR4QSFP-DD单模MPO-12或LC分支500米-2公里园区/楼栋互联QSFP-DD FR4QSFP-DD单模双工LC2公里园区核心互联QSFP-DD LR4QSFP-DD单模双工LC10公里城域/DCI互联OSFP SR8OSFP多模MPO-16100米内短距离高性能计算CX7的端口形态是OSFP或QSFP-DD具体视网卡型号而定。我手上这块CX713106A是双口QSFP-DD所以配套用的都是QSFP-DD封装的模块。如果你买的是CX713106B或者带OSFP端口的型号那模块封装就得跟着换不能直接混插。1.3 兼容性的关键我还是更建议认证模块光模块和网卡的兼容性是400G组网里最容易踩坑的环节。CX7对光模块的固件信息非常挑剔它会在初始化阶段读取模块的EEPROM信息比对厂商ID、型号、序列号、波长等参数如果对不上就直接报“Unsupported Module”或者干脆不亮link。市面上的模块分三类NVIDIA原厂认证模块、第三方兼容模块、杂牌模块。NVIDIA原厂模块插上去最省心固件识别非常稳但是价格贵备货周期长。第三方兼容模块价格大概是原厂的60%-70%前提是厂商有做兼容性适配并且在模块固件里写入了正确的厂商信息。我实测过几家口碑较好的国产模块厂基本都能被CX7正常识别但这需要提前和厂商确认“兼容ConnectX-7”让他们发样品验证后再批量采购。杂牌模块不建议在生产环境碰。早期我贪便宜买过一批结果有三分之一插上后link不起来要么是DSP数字信号处理芯片的功耗和散热设计不达标要么是EEPROM参数写得有问题排查起来极其痛苦。所以我的建议是如果你在搭建测试环境可以买少量第三方兼容模块试错如果直接上生产尤其在RoCEv2场景优先选认证模块省下的那点钱还不够扛一次故障的。1.4 一台服务器、两块网卡、多端口场景下的规划这里补充一个实际部署经常忽略的规划问题一台双路服务器通常有两个PCIe插槽能给网卡提供x16的通道如果插两张CX7双口网卡就有4个400G口。这时候要考虑的是CPU NUMA亲和性网卡插在哪个CPU的PCIe root complex下就尽量把处理网卡中断的CPU绑定到同一NUMA节点否则跨NUMA访问会增加延迟。端口用途划分建议将一张网卡的两个口配置为主业务链路走存储RoCEv2另一张网卡的两个口配置为管理/备份链路走普通TCP避免业务流量互相挤兑。散热和供电CX7功耗不低配上光模块后单卡整体功耗约40W-50W机箱风道如果不好很容易触发降频。插满两张大卡时要确认服务器电源余量充足并在BIOS里把PCIe链路功耗策略设为“性能优先”。2. 部署前的准备动作2.1 固件、驱动、OS版本三件套准备工作看着琐碎却直接决定后续部署的成败。我的习惯是先定OS版本再定驱动版本最后刷固件三个版本必须能对得上不能随手装最新版。以我的环境为例OSUbuntu 22.04.3 LTS内核版本6.2.0驱动MLNX_OFED 23.10适用于内核6.2固件CX7最新release固件我用的是28.39.2010为什么不用内核自带的inbox驱动inbox驱动就是系统自带的mlx5_core虽然也能识别CX7但在RDMA、vDPA、硬件卸载这些功能上支持不完整性能调优参数也比较有限。跑普通TCP勉强能用但既然上了400G网卡多半是要用到RoCEv2或者DPDK的所以建议直接装MLNX_OFED。2.2 硬件安装与基本识别这个环节比较直接但有两个细节值得提醒PCIe插槽必须是x16且最好是Gen4以上。CX7虽然是PCIe 4.0的规格但如果你插在PCIe 3.0的槽位上链路速率会降到Gen3理论带宽只有64GB/s左右单向虽然未必立刻成为瓶颈但跑400G全双工时会有压力。光口清洁新开箱的模块和光纤连接器可能有灰尘插之前可以用光纤清洁笔处理一下避免光口被污染导致收发光功率异常。别嫌麻烦这个动作能省掉后续很多“查不出原因”的故障。装好之后进系统跑一下lspci | grep Mellanox如果能看得到网卡设备说明硬件层面已经识别了。确认无误后再开始刷固件和装驱动。3. 驱动安装与固件刷写3.1 安装MLNX_OFED的正确姿势NVIDIA官方把驱动打包成MLNX_OFED安装过程其实比较傻瓜但有几个细节会影响成功率。首先从官网下载对应版本的MLNX_OFED解压后直接执行cd MLNX_OFED_LINUX-23.10-* ./mlnxofedinstall --add-kernel-support这里有个坑--add-kernel-support参数会在本地编译dkms模块如果系统还没有安装build-essential和内核头文件编译会失败。所以装驱动之前先把基础包补齐apt install -y build-essential linux-headers-$(uname -r) dkms另外提醒一句装驱动前最好确保网卡固件已经刷到对应版本因为MLNX_OFED的某些特性比如硬件卸载对固件版本有最低要求驱动装上后如果发现某些功能不可用先检查固件版本。安装完成后执行ibv_devinfo或ibstat能看到端口状态、链路速率这些信息。能看到就说明驱动装载成功。3.2 固件刷写实操固件刷写用的是NVIDIA官方的MFTMellanox Firmware Tools工具。先下载安装MFT然后执行# 查看当前固件版本 flint -d /dev/mst/mt4123_pciconf0 q # 刷写新固件 flint -d /dev/mst/mt4123_pciconf0 -i fw-ConnectX7-rel-28_39_2010.bin burn注意flint刷写前会自动检测板卡当前固件版本和板卡型号如果固件包和板卡型号不匹配它会拒绝刷写。如果出现“FW image is not compatible”的报错多半就是下载错固件包了去官网按型号重新下载即可。MVFMellanox Virtual Fabric或者Secure Boot环境下刷写会多一步签名验证。此时需要在BIOS里临时关闭UEFI Secure Boot刷完再开否则会报Burn failed: Authentication failure。还有一点刷写完成后务必reboot让新固件完全生效。刷完后开机用mlxup -d /dev/mst/mt4123_pciconf0再看一次版本号确认已经是目标版本。4. 网络配置与链路调优4.1 IP、MTU、多队列一个不能少驱动和固件就绪后就到了配置环节。先用常规命令配置IPip link set enp3s0f0np0 up ip addr add 192.168.1.1/24 dev enp3s0f0np0但这里有个400G环境特有的问题默认MTU是1500这会让RoCEv2性能大打折扣。RDMA报文一般会做超大帧传输所以建议把MTU调到9000ip link set enp3s0f0np0 mtu 9000MTU不一致是链路时通时断的头号隐形杀手。我在一次实际排障中明明看到端口状态是Up但ping大包就是不通最后发现是对端交换机的MTU没改两边MTU不一致导致分片被丢弃。记住链路两端MTU必须一致。多队列配置也是CX7性能释放的关键。CX7默认会按CPU核数生成多个RSS队列你可以用ethtool -l enp3s0f0np0查看队列数然后用ethtool -L调整到与业务并发量匹配的值。我一般会把队列数设为物理核数的一半避免过多队列导致中断开销反而变大。4.2 收发光功率怎么看光模块安装后需要确认收发光功率在正常范围内不然link虽然能Up但误码率可能很高。先看模块信息ethool -m enp3s0f0np0这个命令会输出模块的EEPROM信息包括型号、序列号、生产日期以及实时收发光功率。输出里的Rx Power和Tx Power就是我们关心的指标。关于“光模块左边是收光还是发光”这种疑问我可以明确回答收发以模块的接口定义为准不同型号定义不同不能笼统地说左边还是右边。最稳妥的做法是看模块壳体上的TX/RX标识或者看接口内部的防呆口分布。在命令输出里Laser output power是发光功率Received optical power是收光功率。收光功率如果在灵敏度阈值附近比如-15dBm以下说明光纤链路衰减过大需要清洁或更换光纤。4.3 DPDK环境快速验证既然热搜里有人提到“mellanox网卡dpdk测试”我就顺带把这个环节讲透。CX7搭配DPDK是高性能包处理方案的经典组合验证步骤大致如下先拉取DPDK源码并编译git clone git://dpdk.org/dpdk cd dpdk meson build ninja -C build然后加载vfio驱动并绑定网卡modprobe vfio-pci dpdk-devbind.py -b vfio-pci 0000:03:00.0这里有个前提BIOS里要打开VT-d并且内核启动参数要加iommupt intel_iommuon否则vfio-pci绑定时会报“no iommu group”一类的错误。绑定成功后跑testpmd做转发验证dpdk-testpmd -l 0-3 -a 0000:03:00.0 -- --nb-cores3 --rxd1024 --txd1024testpmd起来后在命令行里启动流量testpmd start如果两端都在跑testpmd能看到TX/RX计数在快速增长说明DPDK数据通路是通的。之前有人遇到过“testpmd起来后收不到包”多半是网卡没解绑内核驱动或者vfio-pci没绑成功用dpdk-devbind.py -s看下端口状态就好。4.4 网卡bond的简单补充如果是需要冗余或多链路负载均衡的场景CX7同样支持内核bonding。常见做法是mode 4LACP配合交换机的静态LACP或动态LACP注意两端模式要一致。mode 1active-backup也可以配置简单但带宽不会叠加。400G带宽本身已经很高如果业务没有明确的冗余需求不建议为了“看起来带宽大”去强行做bond这会引入额外的哈希不均问题。5. 常见问题与排查技巧实录5.1 光模块“不识别”或“不亮link”这是400G部署中出现频率最高的问题。可能的原因很多我按出现概率排个序现象排查方向dmesg报“Unsupported Module”模块EEPROM信息不兼容换认证模块模块信息能读出来但link不起来检查光纤收发是否接反看模块TX/RX标识link闪断时好时坏检查收光功率是否在临界值清洁光纤接头插上模块后端口不up确认对端设备也支持400G且接口状态正常其中最容易被忽略的是“光纤接反”的问题。400G QSFP-DD模块通常有8个通道多模MPO-16接口的收发排列有A/B极性如果两头用的跳线极性不匹配就会导致同一侧的收发光路错配link完全无法建立。解决方法是换一对极性相反的跳线或者把模块的A/B口对调再插一次试试。5.2 固件刷写中途失败或重启后失联刷固件时如果断电、断连可能会导致网卡进入恢复模式。这种情况下网卡可能从普通网卡设备变成一个叫mt*_config的配置设备甚至直接不识别。处理方法是重启进BIOS确认网卡在PCIe设备列表里还能看到哪怕驱动加载失败然后重新运行MFT工具flint -d /dev/mst/mt4123_pciconf0 --allow_psid_change burn--allow_psid_change不是必须的但如果之前刷错了PSID区域可能需要用它来强制重建。如果重启后MFT完全找不到设备那基本可以判定硬件损坏只能返修了。所以刷固件前务必确认电源稳定最好接上UPS。5.3 带宽跑不满的排查“明明链路是400G为什么iperf只跑到280G”这个问题我也被问过很多次。首先要明白iperf单流的性能上限受制于CPU单核处理能力尤其是小包场景。如果你想测线速至少要有并发的多流或者用DPDK testpmd这种零拷贝工具。我通常用两台机器对跑iperf3 -P 8并观察CPU使用率和软中断分布。如果CPU软中断集中在某几个核上说明RSS哈希不均需要检查网卡队列数和RSS key设置。另外一个常见因素是PCIe带宽如果网卡被插在PCIe 3.0的x8槽上理论速率会减半自然跑不满。5.4 多网卡共存的中断绑核问题服务器上装了两张CX7后中断分配可能会互相干扰。我遇到过一种情况两张网卡的中断都落到了同一个NUMA节点的同一组CPU核上导致第一张卡业务量大时第二张卡的延迟明显升高。解决办法是用set_irq_affinity.shMLNX_OFED自带脚本结合htop观察手动把各网卡中断绑定到不同的CPU集合。脚本在/opt/mellanox/scripts/set_irq_affinity.sh用法示例/opt/mellanox/scripts/set_irq_affinity.sh 0 31 enp3s0f0np0这会为网卡的中断请求绑定到CPU 0-31你可以按物理核的划分再细调确保两张网卡的绑核范围不重叠。5.5 其他几个值得留意的坑PCIe AER报错如果在dmesg里频繁看到AER: Corrected error received通常是PCIe链路信号质量问题先检查网卡插槽是否插到位或者换个PCIe插槽测试。RoCEv2的ECN配置RoCEv2要跑稳交换机侧的PFC和ECN必须配合配好否则出现拥塞丢包时性能会急剧下降。这部分我在另一篇关于无损网络的笔记里详细聊过这里只提醒一句不要只看网卡侧交换机侧的QoS配置一定要同步验收。监控和告警400G链路承载的业务体量大一旦故障影响面也不小。建议把CX7的温度、光模块收发光功率、端口丢包率都接入监控设置阈值告警。网上社区里有不少现成的Prometheus exporter可以做这事厂商的文档里也有对应的SNMP OID说明。6. 最后再分享几个细节经验这篇文章写下来回想自己从选型踩坑到稳定运行的过程最想强调的一句话是400G组网细节决定成败采购要谨慎调优要耐心。如果只让我说三个最值得注意的点我会列这三条光模块不要贪便宜跳过兼容性验证认证模块虽然贵但稳定性和售后保障是值得的。驱动、固件、OS三者的版本关系一定要提前对齐最好是同一个release周期内的组合别混搭。网卡装好后优先检查PCIe链路速率和光模块收发光功率这两项基础健康指标它们决定后续性能调优的基调。另外CX7配合DPDK这套组合在高速包处理场景里的潜力还很大。如果你后续打算做负载均衡、流量分析、vSwitch卸载这些功能建议花点时间把硬件卸载和SR-IOV方案也研究一下收益会比单纯跑TCP高很多。我个人的体会是400G不是简单的“带宽翻倍”从选型到部署都会遇到和100G时代完全不同的细节问题把这些细节处理好网络才能稳定跑满。希望这篇文章能帮你少走些弯路。
Mellanox CX7网卡搭配400G光模块：从选型到调优的完整实战指南
做400G网络有一阵子了从最初的100G互联到现在的400G规模化上线踩过的坑不少总结下来的经验也足够写几篇文章。今天想完整聊聊Mellanox CX7网卡搭配400G光模块这件事从选型逻辑、硬件安装、驱动部署到链路调优和故障排查一次性讲透。这篇文章适合正在规划400G组网、或者已经拿着CX7网卡准备上线的运维和网络工程师也适合那些被光模块兼容性和驱动版本折腾到头大的朋友按图索骥能省不少时间。1. 选型逻辑为什么是CX7以及光模块怎么选1.1 从CX6到CX7我看重的那几个点Mellanox现在叫NVIDIA Networking的ConnectX系列网卡在高速数据中心领域属于绕不开的选项。CX6支持200GCX7直接跳到400G单端口速率翻倍同时还有PCIe 4.0 x16的带宽兜底跑满400G线速完全没有瓶颈。放到实际场景里这意味着原本需要4张100G网卡才能撑起来的聚合带宽现在一张双口CX7就能扛住机箱槽位和功耗预算都能省下一大截。我选择CX7还有几个具体的理由流表缓存和RDMA能力CX7内置的转发引擎比CX6更强具体到RoCEv2场景同等QP数量下的CPU占用要低不少这对HPC和分布式存储业务非常关键。连接性灵活一个物理端口可以拆成多个SFSub-Function做容器网络或虚拟化卸载时非常方便不需要额外插卡。生态成熟度NVIDIA的驱动和固件更新节奏比较快对主流Linux发行版和虚拟化平台比如VMware、KVM的支持都算及时遇到问题查资料也方便。当然如果你只是跑普通的TCP业务暂时没有RDMA规划那么CX6或者友商的200G方案也够用。但如果是新项目上线我建议一步到位选CX7省得明年带宽瓶颈了再来一轮更换的折腾。1.2 400G光模块的几种形态400G光模块不像10G/25G那样形态单一它的封装和光口方案非常多选错一个细节就得重新下单。目前主流的400G模块大概分这几类模块型号封装光纤类型传输距离适用场景QSFP-DD SR8QSFP-DD多模MPO-16100米内机柜内、短距离互联QSFP-DD DR4QSFP-DD单模MPO-12或LC分支500米-2公里园区/楼栋互联QSFP-DD FR4QSFP-DD单模双工LC2公里园区核心互联QSFP-DD LR4QSFP-DD单模双工LC10公里城域/DCI互联OSFP SR8OSFP多模MPO-16100米内短距离高性能计算CX7的端口形态是OSFP或QSFP-DD具体视网卡型号而定。我手上这块CX713106A是双口QSFP-DD所以配套用的都是QSFP-DD封装的模块。如果你买的是CX713106B或者带OSFP端口的型号那模块封装就得跟着换不能直接混插。1.3 兼容性的关键我还是更建议认证模块光模块和网卡的兼容性是400G组网里最容易踩坑的环节。CX7对光模块的固件信息非常挑剔它会在初始化阶段读取模块的EEPROM信息比对厂商ID、型号、序列号、波长等参数如果对不上就直接报“Unsupported Module”或者干脆不亮link。市面上的模块分三类NVIDIA原厂认证模块、第三方兼容模块、杂牌模块。NVIDIA原厂模块插上去最省心固件识别非常稳但是价格贵备货周期长。第三方兼容模块价格大概是原厂的60%-70%前提是厂商有做兼容性适配并且在模块固件里写入了正确的厂商信息。我实测过几家口碑较好的国产模块厂基本都能被CX7正常识别但这需要提前和厂商确认“兼容ConnectX-7”让他们发样品验证后再批量采购。杂牌模块不建议在生产环境碰。早期我贪便宜买过一批结果有三分之一插上后link不起来要么是DSP数字信号处理芯片的功耗和散热设计不达标要么是EEPROM参数写得有问题排查起来极其痛苦。所以我的建议是如果你在搭建测试环境可以买少量第三方兼容模块试错如果直接上生产尤其在RoCEv2场景优先选认证模块省下的那点钱还不够扛一次故障的。1.4 一台服务器、两块网卡、多端口场景下的规划这里补充一个实际部署经常忽略的规划问题一台双路服务器通常有两个PCIe插槽能给网卡提供x16的通道如果插两张CX7双口网卡就有4个400G口。这时候要考虑的是CPU NUMA亲和性网卡插在哪个CPU的PCIe root complex下就尽量把处理网卡中断的CPU绑定到同一NUMA节点否则跨NUMA访问会增加延迟。端口用途划分建议将一张网卡的两个口配置为主业务链路走存储RoCEv2另一张网卡的两个口配置为管理/备份链路走普通TCP避免业务流量互相挤兑。散热和供电CX7功耗不低配上光模块后单卡整体功耗约40W-50W机箱风道如果不好很容易触发降频。插满两张大卡时要确认服务器电源余量充足并在BIOS里把PCIe链路功耗策略设为“性能优先”。2. 部署前的准备动作2.1 固件、驱动、OS版本三件套准备工作看着琐碎却直接决定后续部署的成败。我的习惯是先定OS版本再定驱动版本最后刷固件三个版本必须能对得上不能随手装最新版。以我的环境为例OSUbuntu 22.04.3 LTS内核版本6.2.0驱动MLNX_OFED 23.10适用于内核6.2固件CX7最新release固件我用的是28.39.2010为什么不用内核自带的inbox驱动inbox驱动就是系统自带的mlx5_core虽然也能识别CX7但在RDMA、vDPA、硬件卸载这些功能上支持不完整性能调优参数也比较有限。跑普通TCP勉强能用但既然上了400G网卡多半是要用到RoCEv2或者DPDK的所以建议直接装MLNX_OFED。2.2 硬件安装与基本识别这个环节比较直接但有两个细节值得提醒PCIe插槽必须是x16且最好是Gen4以上。CX7虽然是PCIe 4.0的规格但如果你插在PCIe 3.0的槽位上链路速率会降到Gen3理论带宽只有64GB/s左右单向虽然未必立刻成为瓶颈但跑400G全双工时会有压力。光口清洁新开箱的模块和光纤连接器可能有灰尘插之前可以用光纤清洁笔处理一下避免光口被污染导致收发光功率异常。别嫌麻烦这个动作能省掉后续很多“查不出原因”的故障。装好之后进系统跑一下lspci | grep Mellanox如果能看得到网卡设备说明硬件层面已经识别了。确认无误后再开始刷固件和装驱动。3. 驱动安装与固件刷写3.1 安装MLNX_OFED的正确姿势NVIDIA官方把驱动打包成MLNX_OFED安装过程其实比较傻瓜但有几个细节会影响成功率。首先从官网下载对应版本的MLNX_OFED解压后直接执行cd MLNX_OFED_LINUX-23.10-* ./mlnxofedinstall --add-kernel-support这里有个坑--add-kernel-support参数会在本地编译dkms模块如果系统还没有安装build-essential和内核头文件编译会失败。所以装驱动之前先把基础包补齐apt install -y build-essential linux-headers-$(uname -r) dkms另外提醒一句装驱动前最好确保网卡固件已经刷到对应版本因为MLNX_OFED的某些特性比如硬件卸载对固件版本有最低要求驱动装上后如果发现某些功能不可用先检查固件版本。安装完成后执行ibv_devinfo或ibstat能看到端口状态、链路速率这些信息。能看到就说明驱动装载成功。3.2 固件刷写实操固件刷写用的是NVIDIA官方的MFTMellanox Firmware Tools工具。先下载安装MFT然后执行# 查看当前固件版本 flint -d /dev/mst/mt4123_pciconf0 q # 刷写新固件 flint -d /dev/mst/mt4123_pciconf0 -i fw-ConnectX7-rel-28_39_2010.bin burn注意flint刷写前会自动检测板卡当前固件版本和板卡型号如果固件包和板卡型号不匹配它会拒绝刷写。如果出现“FW image is not compatible”的报错多半就是下载错固件包了去官网按型号重新下载即可。MVFMellanox Virtual Fabric或者Secure Boot环境下刷写会多一步签名验证。此时需要在BIOS里临时关闭UEFI Secure Boot刷完再开否则会报Burn failed: Authentication failure。还有一点刷写完成后务必reboot让新固件完全生效。刷完后开机用mlxup -d /dev/mst/mt4123_pciconf0再看一次版本号确认已经是目标版本。4. 网络配置与链路调优4.1 IP、MTU、多队列一个不能少驱动和固件就绪后就到了配置环节。先用常规命令配置IPip link set enp3s0f0np0 up ip addr add 192.168.1.1/24 dev enp3s0f0np0但这里有个400G环境特有的问题默认MTU是1500这会让RoCEv2性能大打折扣。RDMA报文一般会做超大帧传输所以建议把MTU调到9000ip link set enp3s0f0np0 mtu 9000MTU不一致是链路时通时断的头号隐形杀手。我在一次实际排障中明明看到端口状态是Up但ping大包就是不通最后发现是对端交换机的MTU没改两边MTU不一致导致分片被丢弃。记住链路两端MTU必须一致。多队列配置也是CX7性能释放的关键。CX7默认会按CPU核数生成多个RSS队列你可以用ethtool -l enp3s0f0np0查看队列数然后用ethtool -L调整到与业务并发量匹配的值。我一般会把队列数设为物理核数的一半避免过多队列导致中断开销反而变大。4.2 收发光功率怎么看光模块安装后需要确认收发光功率在正常范围内不然link虽然能Up但误码率可能很高。先看模块信息ethool -m enp3s0f0np0这个命令会输出模块的EEPROM信息包括型号、序列号、生产日期以及实时收发光功率。输出里的Rx Power和Tx Power就是我们关心的指标。关于“光模块左边是收光还是发光”这种疑问我可以明确回答收发以模块的接口定义为准不同型号定义不同不能笼统地说左边还是右边。最稳妥的做法是看模块壳体上的TX/RX标识或者看接口内部的防呆口分布。在命令输出里Laser output power是发光功率Received optical power是收光功率。收光功率如果在灵敏度阈值附近比如-15dBm以下说明光纤链路衰减过大需要清洁或更换光纤。4.3 DPDK环境快速验证既然热搜里有人提到“mellanox网卡dpdk测试”我就顺带把这个环节讲透。CX7搭配DPDK是高性能包处理方案的经典组合验证步骤大致如下先拉取DPDK源码并编译git clone git://dpdk.org/dpdk cd dpdk meson build ninja -C build然后加载vfio驱动并绑定网卡modprobe vfio-pci dpdk-devbind.py -b vfio-pci 0000:03:00.0这里有个前提BIOS里要打开VT-d并且内核启动参数要加iommupt intel_iommuon否则vfio-pci绑定时会报“no iommu group”一类的错误。绑定成功后跑testpmd做转发验证dpdk-testpmd -l 0-3 -a 0000:03:00.0 -- --nb-cores3 --rxd1024 --txd1024testpmd起来后在命令行里启动流量testpmd start如果两端都在跑testpmd能看到TX/RX计数在快速增长说明DPDK数据通路是通的。之前有人遇到过“testpmd起来后收不到包”多半是网卡没解绑内核驱动或者vfio-pci没绑成功用dpdk-devbind.py -s看下端口状态就好。4.4 网卡bond的简单补充如果是需要冗余或多链路负载均衡的场景CX7同样支持内核bonding。常见做法是mode 4LACP配合交换机的静态LACP或动态LACP注意两端模式要一致。mode 1active-backup也可以配置简单但带宽不会叠加。400G带宽本身已经很高如果业务没有明确的冗余需求不建议为了“看起来带宽大”去强行做bond这会引入额外的哈希不均问题。5. 常见问题与排查技巧实录5.1 光模块“不识别”或“不亮link”这是400G部署中出现频率最高的问题。可能的原因很多我按出现概率排个序现象排查方向dmesg报“Unsupported Module”模块EEPROM信息不兼容换认证模块模块信息能读出来但link不起来检查光纤收发是否接反看模块TX/RX标识link闪断时好时坏检查收光功率是否在临界值清洁光纤接头插上模块后端口不up确认对端设备也支持400G且接口状态正常其中最容易被忽略的是“光纤接反”的问题。400G QSFP-DD模块通常有8个通道多模MPO-16接口的收发排列有A/B极性如果两头用的跳线极性不匹配就会导致同一侧的收发光路错配link完全无法建立。解决方法是换一对极性相反的跳线或者把模块的A/B口对调再插一次试试。5.2 固件刷写中途失败或重启后失联刷固件时如果断电、断连可能会导致网卡进入恢复模式。这种情况下网卡可能从普通网卡设备变成一个叫mt*_config的配置设备甚至直接不识别。处理方法是重启进BIOS确认网卡在PCIe设备列表里还能看到哪怕驱动加载失败然后重新运行MFT工具flint -d /dev/mst/mt4123_pciconf0 --allow_psid_change burn--allow_psid_change不是必须的但如果之前刷错了PSID区域可能需要用它来强制重建。如果重启后MFT完全找不到设备那基本可以判定硬件损坏只能返修了。所以刷固件前务必确认电源稳定最好接上UPS。5.3 带宽跑不满的排查“明明链路是400G为什么iperf只跑到280G”这个问题我也被问过很多次。首先要明白iperf单流的性能上限受制于CPU单核处理能力尤其是小包场景。如果你想测线速至少要有并发的多流或者用DPDK testpmd这种零拷贝工具。我通常用两台机器对跑iperf3 -P 8并观察CPU使用率和软中断分布。如果CPU软中断集中在某几个核上说明RSS哈希不均需要检查网卡队列数和RSS key设置。另外一个常见因素是PCIe带宽如果网卡被插在PCIe 3.0的x8槽上理论速率会减半自然跑不满。5.4 多网卡共存的中断绑核问题服务器上装了两张CX7后中断分配可能会互相干扰。我遇到过一种情况两张网卡的中断都落到了同一个NUMA节点的同一组CPU核上导致第一张卡业务量大时第二张卡的延迟明显升高。解决办法是用set_irq_affinity.shMLNX_OFED自带脚本结合htop观察手动把各网卡中断绑定到不同的CPU集合。脚本在/opt/mellanox/scripts/set_irq_affinity.sh用法示例/opt/mellanox/scripts/set_irq_affinity.sh 0 31 enp3s0f0np0这会为网卡的中断请求绑定到CPU 0-31你可以按物理核的划分再细调确保两张网卡的绑核范围不重叠。5.5 其他几个值得留意的坑PCIe AER报错如果在dmesg里频繁看到AER: Corrected error received通常是PCIe链路信号质量问题先检查网卡插槽是否插到位或者换个PCIe插槽测试。RoCEv2的ECN配置RoCEv2要跑稳交换机侧的PFC和ECN必须配合配好否则出现拥塞丢包时性能会急剧下降。这部分我在另一篇关于无损网络的笔记里详细聊过这里只提醒一句不要只看网卡侧交换机侧的QoS配置一定要同步验收。监控和告警400G链路承载的业务体量大一旦故障影响面也不小。建议把CX7的温度、光模块收发光功率、端口丢包率都接入监控设置阈值告警。网上社区里有不少现成的Prometheus exporter可以做这事厂商的文档里也有对应的SNMP OID说明。6. 最后再分享几个细节经验这篇文章写下来回想自己从选型踩坑到稳定运行的过程最想强调的一句话是400G组网细节决定成败采购要谨慎调优要耐心。如果只让我说三个最值得注意的点我会列这三条光模块不要贪便宜跳过兼容性验证认证模块虽然贵但稳定性和售后保障是值得的。驱动、固件、OS三者的版本关系一定要提前对齐最好是同一个release周期内的组合别混搭。网卡装好后优先检查PCIe链路速率和光模块收发光功率这两项基础健康指标它们决定后续性能调优的基调。另外CX7配合DPDK这套组合在高速包处理场景里的潜力还很大。如果你后续打算做负载均衡、流量分析、vSwitch卸载这些功能建议花点时间把硬件卸载和SR-IOV方案也研究一下收益会比单纯跑TCP高很多。我个人的体会是400G不是简单的“带宽翻倍”从选型到部署都会遇到和100G时代完全不同的细节问题把这些细节处理好网络才能稳定跑满。希望这篇文章能帮你少走些弯路。
