做网络硬件和机房运维这些年被问得最多的问题里光模块绝对排前三。尤其是QSFP这个家族QSFP、QSFP28、QSFP-DD三个名字长得像三胞胎参数却差着辈分采购一疏忽就把40G的模块怼进了100G的端口或者反过来100G的模块插在40G的交换机上直接不识别。这篇文章我就把这三代QSFP模块的来龙去脉、参数差异、选型逻辑和兼容性实测全摊开讲透帮你在下次下单前把坑都填平。我不打算抄规格书规格书上的数据你又不能直接搬进机房。我会从实际网络建设和运维的角度把“为什么会有这么多变种”“参数怎么换算”“不同设备之间到底能不能混插”这些实操问题讲清楚。无论你是数据中心运维、企业网络管理员还是刚入行的硬件工程师这篇文章都值得花十分钟慢慢看完。1. 一张图理清QSFP家族的来历和关系1.1 QSFP到底是什么为什么叫“四通道”QSFP的完整名称是Quad Small Form-factor Pluggable直译过来就是“四通道小型可插拔”光模块。重点先落在“Quad”这个词上意思是它内部同时具备4个独立的收发通道。与之相对的是此前更常见的SFPSmall Form-factor Pluggable模块SFP只有1个通道一根光纤收发一路信号。四通道带来的直接好处就是在同样一个面板宽度上可以塞进去4倍的信息流。早期万兆时代一个SFP模块跑10G如果端口速率要提到40G方案有三个把SFP的体积做大、把单通道速率做高、或者把4个通道打包进一个模块。QSFP走的就是第三条路用一个比SFP略大一点点的外壳把4个并行的通道整合在一起实现4x10Gbps的传输速率这就是QSFP的由来。通道数的设计思路后来一直延续了下来。QSFP28是把每个通道从10G提升到25G4个通道合起来就是100GQSFP-DD则是在QSFP28的基础上做了“Double Density”把通道数从4个翻倍到8个每个通道还是25G起步整体速率轻松突破200G甚至400G。所以看名字就能猜个大概加号代表升级28代表28Gbps的通道速率DD代表双倍密度。1.2 从QSFP到QSFP28再到QSFP-DD每一代解决了什么问题QSFP是2010年前后大规模商用的最初的标准速率是40Gbps链路用4条10G的通道并行。那时候云计算刚起步数据中心内网从10G往40G过渡靠的就是它。我记得那会儿机房里的TOR交换机通常上面板是40G的QSFP口下连服务器用的是10G的SFP口。QSFP的一大优势是向下兼容通过一根一分四的扇出线缆Breakout Cable一个40G端口可以拆成4个10G口使用这对于当时机房内部署密度非常友好。QSFP28的出现正好卡在100G网络爆发的节点上。2015年以后数据中心流量增长速度远超预期40G端口做骨干明显不够用100G成为新的主流。QSFP28把单通道速率从10G拉到了25G4个通道叠加成为100G。很多人第一次见到QSFP28会疑问外观尺寸和QSFP几乎一模一样怎么速率翻了一倍多实际上QSFP28的封装外形确实沿用QSFP的规格但电气接口换成了更高带宽的版本信号完整性要求也水涨船高。这也是为什么很多设备上QSFP和QSFP28的物理插槽是通用的能不能混插完全取决于电气设计和固件策略。QSFP-DD则是奔着400G去的。传统QSFP的4通道方案就算把单通道抬到50G也就是PAM4调制QSFP56标准也只能做到200G再往上就碰到了物理极限。QSFP-DD的思路是把通道数翻番用8个通道并行传输。双密度带来的最直观变化是模块体积变大、金手指引脚变多、功耗也上去了。为了防止用户把400G的QSFP-DD插进100G的QSFP28端口导致硬件损坏QSFP-DD的物理接口做了差异化设计插不进去这部分后面我会专门讲兼容性测试。2. 核心参数对比与选型判断2.1 速率、密度、功耗、成本四大维度的横向对比选光模块核心就看四个维度速率、密度、功耗、成本。这四个维度互相拉扯没有一个模块能在四项指标上全部占优。从速率看QSFP主流是40GQSFP28主流是100GQSFP-DD则覆盖200G到400G。这个速率指的是模块的聚合带宽不是单通道速率。40G的QSFP实际是4路10G并行100G的QSFP28是4路25G并行400G的QSFP-DD有8路25G并行加PAM4调制的也有8路50G并行的具体要看是哪个版本。从面板密度看QSFP和QSFP28的外形尺寸基本一致所以在同一台交换机上如果硬件设计支持端口数量可以做到相同。QSFP-DD因为体积变大同样面板宽度下的端口数会减半比如QSFP28能做32个100G口的设备改成QSFP-DD就只能做16个400G口但聚合带宽反而翻倍。这就是“密度”的取舍你期待的是总带宽更大而不是端口数更多。功耗是很多人忽略的硬指标。40G的QSFP SR4模块典型功耗大概在1.5W到2W之间100G的QSFP28 SR4在3.5W到4.5W而400G的QSFP-DD即便是SR8功耗也能到10W以上DR8甚至接近14W。功耗直接影响散热设计和机房电费如果你在旧机柜里强行插满QSFP-DD很可能触发交换机过热告警甚至直接宕机换板子。我有一次在测试机房插满了一台32口QSFP-DD交换机半小时内温度警报就响了后来不得不调低风扇策略才压住温度。成本就更直观了。同等传输距离下QSFP28的价格大概是QSFP的两倍左右QSFP-DD又比QSFP28贵出一大截。这个价格差异来自更复杂的光电芯片、更高的封装工艺和更严格的测试标准。采购的时候不要单纯看模块单价还要算上交换机端口成本。如果你只是把服务器从10G升级到25G没必要一定上QSFP28用QSFP配合一分四线缆反而更省钱。2.2 光纤类型、传输距离和波长如何影响选型光模块不光是速率和接口的问题光纤类型和传输距离决定了你买的是SR、LR还是ER版本。SR代表短距离一般搭配多模光纤QSFP SR4可以跑到100米到150米QSFP28 SR4可以跑到100米左右。LR代表长距离需要单模光纤10公里是常见规格。ER是超长距离30公里到40公里主要用于城域网或跨楼宇互联。注意SR和LR模块虽然外形一样但不能混用光纤类型。你把SR模块插到单模光纤上或者把LR模块插到多模光纤上轻则丢包严重重则光模块直接报错。为什么因为SR多模模块用的是850nm短波长激光器多模光纤纤芯粗、模式多适合短距离内传输LR单模模块用的是1310nm或1550nm波长激光器光束更集中必须配纤芯细的单模光纤才能把光信号集中送出去。两种光纤混用模式失配损耗非常大接收端光功率直接掉到灵敏度以下。还有一个容易被忽略的细节是光模块接口的光纤芯数。40G SR4和100G SR4用的是MPO接口需要8芯或12芯的多模光纤跳线内部4芯发4芯收。而LR4和ER4这类模块用的是双工LC接口单根光纤通过波分复用承载4个波长通道。采购前一定要确认你的光纤跳线类型对不对MPO买了LC的跳线插都插不上。2.3 bidi光模块和单纤双向架构的特殊应用场景提到选型必须单独说一说bidi光模块。Bidi是Bidirectional的缩写中文叫单纤双向。常规光模块用两根光纤一根发一根收bidi模块只需要一根光纤用两个不同的波长在同一根光纤上同时收发。比如常见的1G bidi模块用1310nm发送、1550nm接收或反过来。bidi最典型的应用场景是光纤资源紧张的场景。比如做存量光纤扩容时管道里原来的光缆芯数不够又不想重新敷设用bidi模块就能把容量翻倍。还有在PON接入网里局端OLT和用户端ONU天然就是单纤双向的设计1310nm上行、1490nm下行。但bidi模块有个让很多人栽跟头的坑成对使用。bidi模块一定是成对出现的一端模块的发送波长必须和另一端模块的接收波长匹配。如果你A端用的是1310nm发送/1550nm接收B端就必须是1550nm发送/1310nm接收。买的时候如果只买一只或者买了两只同波长的插上必不通。我在某项目上就遇到过现场工程师拿了两只同波长的bidi模块对接折腾了半天查不出问题后来一查模块型号才发现波长全错了。3. 应用场景拆解什么时候选QSFP、QSFP28、QSFP-DD3.1 数据中心内部拓扑与模块选型的对应关系数据中心网络架构通常分三层核心层、汇聚层、接入层。不同层次的流量模型不一样光模块选型也就不同。接入层一般连接服务器网卡速率相对较低。目前绝大多数服务器还是25G接入对应QSFP28模块或者用SFP28模块。如果是老一点的数据中心10G接入很常见用SFP就行。部分高密度计算场景已经上到100G接入这类服务器网卡直接配QSFP28端口和交换机的100G口对接。汇聚层承担的是南北向流量的汇聚带宽需求大。常见的组网方式是用100G上行到核心QSFP28是绝对主力。在大型云数据中心汇聚到核心可能会用200G或400G链路这时候QSFP-DD或者OSFP就登场了。我接触过的方案里400G链路用QSFP-DD的占比越来越高原因是QSFP-DD在交换机面板密度方面更有优势同一台设备能提供更多的400G口。核心层是整张网的带宽瓶颈所在一般直接上400G。如果你在规划新机房建议直接考虑400G的QSFP-DD方案不要走40G到100G再到400G的逐步升级老路因为换设备的人工成本和停机损失远超模块差价。不过前提是你的业务流量确实需要撑到400G如果只是几十台服务器的规模100G已经足够强行上400G只会让成本失控。3.2 光模块耦合与光电协同仿真的工程意义这个问题比较抽象但对实际选型影响很大。光模块耦合指的是光模块内部的光引擎和光纤接口之间通过透镜、隔离器等光学元件完成光路的对准和能量转换。耦合质量直接决定模块的插损、回损和长期可靠性。早期光模块封装工艺粗放耦合偏差大导致批次性故障率高。现在高端光模块厂商都在推自动化耦合平台通过六轴调整架加视觉算法把透镜和激光器的相对位置精度控制在微米级。选型时如果能拿到耦合工艺的良率数据可以作为模块可靠性的参考指标之一。光电协同仿真则是设计阶段的工具通过联合仿真光电芯片的高频信号完整性和光学链路的传输性能提前评估模块的误码率和眼图质量。做高速模块选型时如果厂商能提供详细的仿真报告说明模块设计比较扎实实际工程踩雷概率会低不少。我见过有的项目因为贪便宜买了没有经过完整仿真的模块结果批量上架后出现端口协商不稳定最后只能全部返工。3.3 直连铜缆与有光缆的取舍光模块不是唯一的选择。短距离场景特别是机柜内部TOR到服务器直连铜缆DAC更常见。DAC分为无源铜缆和有源铜缆ACC/AEC无源铜缆功耗几乎为零成本极低25G速率下能支持到3米左右有源铜缆内置均衡芯片可以做到7米甚至更长。100G场景下DAC也能做到3米到5米。很多人纠结同一台交换机上到底用DAC还是光模块加光纤。我的建议是机柜内相邻交换机互联、服务器与TOR互联优先用DAC便宜且故障率低。跨机柜、跨列、跨机房之间的互联老老实实上光模块和光纤链路因为DAC线缆太长不仅信号衰减严重线材又粗又硬理线也是灾难。光模块虽然单价贵但光纤布线灵活支持距离远故障排查也方便。4. 兼容性实测同一端口插不同模块的真实表现4.1 测试环境和拓扑设计为了验证QSFP系列模块的兼容性我在实验室搭了一套测试环境目标是搞清楚几个关键问题QSFP模块插到QSFP28端口能不能用反过来又怎样同一台交换机上不同品牌模块混插会不会出问题交换机端口速率配置与实际模块速率不匹配时系统表现是什么测试设备包括一台支持40G/100G双速率的TOR交换机一台支持400G的框式交换机加上两台业务服务器分别配置了40G网卡和100G网卡。模块方面准备了三组原厂40G QSFP、兼容厂商40G QSFP原厂100G QSFP28、兼容厂商100G QSFP28以及QSFP-DD的400G模块和对应的一分二线缆。光纤链路使用标准MPO多模跳线长度30米满足SR4端口的传输距离。测试工具用打流仪和交换机自带的诊断命令重点记录链路是否up、协商速率、光功率、误码率四个指标。为了统一口径所有模块先在标准设备上单测一遍确认模块本身没有问题再进入兼容性测试环节。4.2 实测数据与结果分析第一组测试把40G QSFP模块插入100G QSFP28端口。在支持速率的交换机上如果端口配置为40G强制模式QSFP模块是可以直接工作的前提是交换机的固件支持4x10G或40G速率协商。实测中大多数主流交换机可以识别QSFP模块并正常工作。但如果端口配置成自动协商部分交换机会优先协商成100G模式这时QSFP模块因为只有40G能力链路起不来。所以实际配置时建议把端口速率手动固定到模块能力范围内。第二组测试把100G QSFP28模块插入40G QSFP端口。这个做法基本不可行因为QSFP28模块在40G端口上无法协商到100G的物理层速率且40G端口的电气设计没有针对25G通道做优化链路根本起不来。强制把端口配成40G也不管用因为QSFP28的固件能力和端口芯片的时钟不匹配。如果你手上有QSFP28模块又想跑40G链路最简单的办法是用一根40G的QSFP模块或者选能降速协商的模块但这类模块一般需要针对交换机型号做专门的兼容适配不建议通用场景使用。第三组测试同一台交换机上混插原厂和兼容厂商模块。实测中支持厂商码校验的交换机在默认配置下会直接拒绝非原厂模块表现为端口灯不亮或者模块报unrecognized。这其实不是模块坏了而是交换机的安全策略在起作用。解决方案有两个一是找兼容模块厂商提供“同码”版本让模块厂商把模块内的厂商信息改成交换机认可的格式二是看交换机是否支持关闭厂商校验部分设备比如某些型号的Mellanox可以通过命令关闭Cisco和Arista则比较严格。第四组测试QSFP-DD模块通过一分二线缆连接两个100G端口。这个场景我重点测了链路是否能正常独立收发。实测结果只要交换机固件支持QSFP-DD的一分二拓扑两个100G端口都能正常up打流无丢包。但如果交换机的端口策略要求所有虚拟端口强制同开同关或者要求同时调速配置起来会比较麻烦。购买前务必和交换机厂商确认QSFP-DD的端口拆分功能是否完整支持。4.3 兼容性结论与避坑建议结合实测我把QSFP家族的兼容性规律总结成三条直接抄作业即可第一外形兼容不代表电气兼容。打不到协商速率的模块物理插上也没用。第二上游链路速度和应用需求决定模块选择。数据中心内部如果全部是25G接入100G骨干那么QSFP基本可以退居二线只在接入层或遗留系统中使用。第三兼容厂商模块不一定不稳定但一定要测。建议在首次采购小批量测试重点验证批量模块在高温高负载下的稳定性跑3天以上。批量上架后一旦出事排查成本远超模块节省的那点差价。5. 常见问题与排查技巧实录5.1 插上不亮、协商失败等高频故障排查光模块出问题症状基本就几类插上端口灯不亮、协商速率迟迟不up、up之后频繁down、丢包严重。遇到这些问题经验丰富的工程师不会一上来就换模块而是按下面这个顺序排查。第一步查端口配置。端口速率、自协商开关、FEC配置三个关键参数先看一遍。很多“插上不亮”其实是端口被关了自动协商导致速率不匹配。FEC方面25G以上的高速链路默认需要用RS-FEC或FC-FEC如果交换机开启而模块端不支持链路同样起不来。第二步查模块信息和管理日志。通过命令行查看模块的厂商、型号、序列号、光功率、温度、电压。如果模块信息读不到大概率是模块与设备不兼容或者金手指接触不良。温度过高导致的收发光功率异常也很常见特别是长时间满载运行的光模块85°C以上故障率激增。第三步清洁光纤端面和重新插拔这步成本最低但最有效。光纤MPO头端面一旦沾灰光功率会明显下降。机房施工环境脏这个问题尤其突出。我第一次排查100G链路丢包问题折腾了两个小时没找到原因最后是借了个光纤端面检测仪发现接头上有一层灰清洁后问题立即消失。从那以后但凡光链路出问题我第一件事一定是查端面。第四步用光功率计或交换机自带诊断确认接收光功率是否在模块灵敏度范围内。接收光功率过低可能是光纤损耗超标或连接头松动过高则可能是衰减器缺失或模块距离不匹配。5.2 模块温度高、光功率异常的工程判断QSFP-DD模块功耗高发热量大在整机满配条件下散热不够容易触发模块的高温告警。正常来说光模块工作温度范围在0°C至70°C工业级可以到85°C但长时间在60°C以上运行会加速光器件老化发射光功率下降、接收灵敏度变差。如果模块温度持续偏高先检查交换机风扇策略确认风扇是不是在节能模式再看设备摆放位置是否机柜通风不畅。光功率异常分两类发射光功率异常和接收光功率异常。发射光功率异常一般指向模块本身问题比如激光器驱动电路故障、光纤接口没插好接收光功率异常的原因比较多可能是发送端发射功率过低、光纤跳线损耗过大、连接器污染或者链路中的法兰/适配器松动。排查时先确认两端模块状态再逐步排除链路因素。还有一个被很多人忽略的隐性坑端口光衰与模块灵敏度的匹配。有些时候光功率显示在正常范围但实际已接近灵敏度下限这样链路在高温环境下会因为余量不足而产生突发丢包。建议在实际业务负载下压测观察误码率不要只看状态灯。5.3 常见问题速查表故障现象可能原因首选排查动作端口灯不亮端口被禁用、速率不匹配检查端口配置确认模块类型协商速率上不去自协商关闭、FEC不匹配恢复自协商同步两端FEC策略链路频繁down/up光纤接头脏污、光功率临界清洁端面查看光功率并记录趋势模块温度过高设备散热不足、机房温度过高调整风扇策略检查机柜通风混插被拒收厂商校验开启关闭校验或更换同码模块模块能被读到但无光模块损坏或接口不到位重新插拔必要时更换模块测试6. 最后再分享几个选型实操小经验关于光模块选型我踩过不少坑也总结了几个实用经验。现网设备选型时尽量让同一批设备的模块保持相同批次或相同品牌避免混合太多品牌导致排查难度增加。不同品牌的模块虽然可以混插但一旦出现链路问题两边厂商都会先推卸责任最后吃苦的还是运维人员。老设备扩容时不要只看端口速率是否匹配还要确认交换机的硬件版本和固件是否支持新模块。很多老交换机支持100G端口但固件没更新到支持第三方QSFP28模块插上就是不亮。这种问题一般可以通过升级固件解决但升级前一定要先看厂商发布说明有的固件版本会改变模块兼容性策略反而把原来能用的模块搞挂了。光模块的采购存储也是个容易被忽略的细节。光模块是静电敏感器件保存时要放在防静电袋里工作时拿取要戴防静电手环。长期不用的模块最好放在干燥柜里潮湿会导致内部光学透镜起雾严重影响光功率。我有一次从仓库拿了一批放了半年的模块上架后光功率普遍偏低后来才反应过来是存放环境湿度超标了。如果你自己搭建测试网络建议常备一对好的光纤清洁笔和一根光功率计这两个工具能解决80%的链路排查问题。光模块的故障不是玄学每一个异常背后都有数据支撑剩下的只是你能不能把数据读出来并解释清楚。这套思路用在QSFP、QSFP28、QSFP-DD上面完全适用。
QSFP+、QSFP28、QSFP-DD全解析：选型与兼容性实战指南
做网络硬件和机房运维这些年被问得最多的问题里光模块绝对排前三。尤其是QSFP这个家族QSFP、QSFP28、QSFP-DD三个名字长得像三胞胎参数却差着辈分采购一疏忽就把40G的模块怼进了100G的端口或者反过来100G的模块插在40G的交换机上直接不识别。这篇文章我就把这三代QSFP模块的来龙去脉、参数差异、选型逻辑和兼容性实测全摊开讲透帮你在下次下单前把坑都填平。我不打算抄规格书规格书上的数据你又不能直接搬进机房。我会从实际网络建设和运维的角度把“为什么会有这么多变种”“参数怎么换算”“不同设备之间到底能不能混插”这些实操问题讲清楚。无论你是数据中心运维、企业网络管理员还是刚入行的硬件工程师这篇文章都值得花十分钟慢慢看完。1. 一张图理清QSFP家族的来历和关系1.1 QSFP到底是什么为什么叫“四通道”QSFP的完整名称是Quad Small Form-factor Pluggable直译过来就是“四通道小型可插拔”光模块。重点先落在“Quad”这个词上意思是它内部同时具备4个独立的收发通道。与之相对的是此前更常见的SFPSmall Form-factor Pluggable模块SFP只有1个通道一根光纤收发一路信号。四通道带来的直接好处就是在同样一个面板宽度上可以塞进去4倍的信息流。早期万兆时代一个SFP模块跑10G如果端口速率要提到40G方案有三个把SFP的体积做大、把单通道速率做高、或者把4个通道打包进一个模块。QSFP走的就是第三条路用一个比SFP略大一点点的外壳把4个并行的通道整合在一起实现4x10Gbps的传输速率这就是QSFP的由来。通道数的设计思路后来一直延续了下来。QSFP28是把每个通道从10G提升到25G4个通道合起来就是100GQSFP-DD则是在QSFP28的基础上做了“Double Density”把通道数从4个翻倍到8个每个通道还是25G起步整体速率轻松突破200G甚至400G。所以看名字就能猜个大概加号代表升级28代表28Gbps的通道速率DD代表双倍密度。1.2 从QSFP到QSFP28再到QSFP-DD每一代解决了什么问题QSFP是2010年前后大规模商用的最初的标准速率是40Gbps链路用4条10G的通道并行。那时候云计算刚起步数据中心内网从10G往40G过渡靠的就是它。我记得那会儿机房里的TOR交换机通常上面板是40G的QSFP口下连服务器用的是10G的SFP口。QSFP的一大优势是向下兼容通过一根一分四的扇出线缆Breakout Cable一个40G端口可以拆成4个10G口使用这对于当时机房内部署密度非常友好。QSFP28的出现正好卡在100G网络爆发的节点上。2015年以后数据中心流量增长速度远超预期40G端口做骨干明显不够用100G成为新的主流。QSFP28把单通道速率从10G拉到了25G4个通道叠加成为100G。很多人第一次见到QSFP28会疑问外观尺寸和QSFP几乎一模一样怎么速率翻了一倍多实际上QSFP28的封装外形确实沿用QSFP的规格但电气接口换成了更高带宽的版本信号完整性要求也水涨船高。这也是为什么很多设备上QSFP和QSFP28的物理插槽是通用的能不能混插完全取决于电气设计和固件策略。QSFP-DD则是奔着400G去的。传统QSFP的4通道方案就算把单通道抬到50G也就是PAM4调制QSFP56标准也只能做到200G再往上就碰到了物理极限。QSFP-DD的思路是把通道数翻番用8个通道并行传输。双密度带来的最直观变化是模块体积变大、金手指引脚变多、功耗也上去了。为了防止用户把400G的QSFP-DD插进100G的QSFP28端口导致硬件损坏QSFP-DD的物理接口做了差异化设计插不进去这部分后面我会专门讲兼容性测试。2. 核心参数对比与选型判断2.1 速率、密度、功耗、成本四大维度的横向对比选光模块核心就看四个维度速率、密度、功耗、成本。这四个维度互相拉扯没有一个模块能在四项指标上全部占优。从速率看QSFP主流是40GQSFP28主流是100GQSFP-DD则覆盖200G到400G。这个速率指的是模块的聚合带宽不是单通道速率。40G的QSFP实际是4路10G并行100G的QSFP28是4路25G并行400G的QSFP-DD有8路25G并行加PAM4调制的也有8路50G并行的具体要看是哪个版本。从面板密度看QSFP和QSFP28的外形尺寸基本一致所以在同一台交换机上如果硬件设计支持端口数量可以做到相同。QSFP-DD因为体积变大同样面板宽度下的端口数会减半比如QSFP28能做32个100G口的设备改成QSFP-DD就只能做16个400G口但聚合带宽反而翻倍。这就是“密度”的取舍你期待的是总带宽更大而不是端口数更多。功耗是很多人忽略的硬指标。40G的QSFP SR4模块典型功耗大概在1.5W到2W之间100G的QSFP28 SR4在3.5W到4.5W而400G的QSFP-DD即便是SR8功耗也能到10W以上DR8甚至接近14W。功耗直接影响散热设计和机房电费如果你在旧机柜里强行插满QSFP-DD很可能触发交换机过热告警甚至直接宕机换板子。我有一次在测试机房插满了一台32口QSFP-DD交换机半小时内温度警报就响了后来不得不调低风扇策略才压住温度。成本就更直观了。同等传输距离下QSFP28的价格大概是QSFP的两倍左右QSFP-DD又比QSFP28贵出一大截。这个价格差异来自更复杂的光电芯片、更高的封装工艺和更严格的测试标准。采购的时候不要单纯看模块单价还要算上交换机端口成本。如果你只是把服务器从10G升级到25G没必要一定上QSFP28用QSFP配合一分四线缆反而更省钱。2.2 光纤类型、传输距离和波长如何影响选型光模块不光是速率和接口的问题光纤类型和传输距离决定了你买的是SR、LR还是ER版本。SR代表短距离一般搭配多模光纤QSFP SR4可以跑到100米到150米QSFP28 SR4可以跑到100米左右。LR代表长距离需要单模光纤10公里是常见规格。ER是超长距离30公里到40公里主要用于城域网或跨楼宇互联。注意SR和LR模块虽然外形一样但不能混用光纤类型。你把SR模块插到单模光纤上或者把LR模块插到多模光纤上轻则丢包严重重则光模块直接报错。为什么因为SR多模模块用的是850nm短波长激光器多模光纤纤芯粗、模式多适合短距离内传输LR单模模块用的是1310nm或1550nm波长激光器光束更集中必须配纤芯细的单模光纤才能把光信号集中送出去。两种光纤混用模式失配损耗非常大接收端光功率直接掉到灵敏度以下。还有一个容易被忽略的细节是光模块接口的光纤芯数。40G SR4和100G SR4用的是MPO接口需要8芯或12芯的多模光纤跳线内部4芯发4芯收。而LR4和ER4这类模块用的是双工LC接口单根光纤通过波分复用承载4个波长通道。采购前一定要确认你的光纤跳线类型对不对MPO买了LC的跳线插都插不上。2.3 bidi光模块和单纤双向架构的特殊应用场景提到选型必须单独说一说bidi光模块。Bidi是Bidirectional的缩写中文叫单纤双向。常规光模块用两根光纤一根发一根收bidi模块只需要一根光纤用两个不同的波长在同一根光纤上同时收发。比如常见的1G bidi模块用1310nm发送、1550nm接收或反过来。bidi最典型的应用场景是光纤资源紧张的场景。比如做存量光纤扩容时管道里原来的光缆芯数不够又不想重新敷设用bidi模块就能把容量翻倍。还有在PON接入网里局端OLT和用户端ONU天然就是单纤双向的设计1310nm上行、1490nm下行。但bidi模块有个让很多人栽跟头的坑成对使用。bidi模块一定是成对出现的一端模块的发送波长必须和另一端模块的接收波长匹配。如果你A端用的是1310nm发送/1550nm接收B端就必须是1550nm发送/1310nm接收。买的时候如果只买一只或者买了两只同波长的插上必不通。我在某项目上就遇到过现场工程师拿了两只同波长的bidi模块对接折腾了半天查不出问题后来一查模块型号才发现波长全错了。3. 应用场景拆解什么时候选QSFP、QSFP28、QSFP-DD3.1 数据中心内部拓扑与模块选型的对应关系数据中心网络架构通常分三层核心层、汇聚层、接入层。不同层次的流量模型不一样光模块选型也就不同。接入层一般连接服务器网卡速率相对较低。目前绝大多数服务器还是25G接入对应QSFP28模块或者用SFP28模块。如果是老一点的数据中心10G接入很常见用SFP就行。部分高密度计算场景已经上到100G接入这类服务器网卡直接配QSFP28端口和交换机的100G口对接。汇聚层承担的是南北向流量的汇聚带宽需求大。常见的组网方式是用100G上行到核心QSFP28是绝对主力。在大型云数据中心汇聚到核心可能会用200G或400G链路这时候QSFP-DD或者OSFP就登场了。我接触过的方案里400G链路用QSFP-DD的占比越来越高原因是QSFP-DD在交换机面板密度方面更有优势同一台设备能提供更多的400G口。核心层是整张网的带宽瓶颈所在一般直接上400G。如果你在规划新机房建议直接考虑400G的QSFP-DD方案不要走40G到100G再到400G的逐步升级老路因为换设备的人工成本和停机损失远超模块差价。不过前提是你的业务流量确实需要撑到400G如果只是几十台服务器的规模100G已经足够强行上400G只会让成本失控。3.2 光模块耦合与光电协同仿真的工程意义这个问题比较抽象但对实际选型影响很大。光模块耦合指的是光模块内部的光引擎和光纤接口之间通过透镜、隔离器等光学元件完成光路的对准和能量转换。耦合质量直接决定模块的插损、回损和长期可靠性。早期光模块封装工艺粗放耦合偏差大导致批次性故障率高。现在高端光模块厂商都在推自动化耦合平台通过六轴调整架加视觉算法把透镜和激光器的相对位置精度控制在微米级。选型时如果能拿到耦合工艺的良率数据可以作为模块可靠性的参考指标之一。光电协同仿真则是设计阶段的工具通过联合仿真光电芯片的高频信号完整性和光学链路的传输性能提前评估模块的误码率和眼图质量。做高速模块选型时如果厂商能提供详细的仿真报告说明模块设计比较扎实实际工程踩雷概率会低不少。我见过有的项目因为贪便宜买了没有经过完整仿真的模块结果批量上架后出现端口协商不稳定最后只能全部返工。3.3 直连铜缆与有光缆的取舍光模块不是唯一的选择。短距离场景特别是机柜内部TOR到服务器直连铜缆DAC更常见。DAC分为无源铜缆和有源铜缆ACC/AEC无源铜缆功耗几乎为零成本极低25G速率下能支持到3米左右有源铜缆内置均衡芯片可以做到7米甚至更长。100G场景下DAC也能做到3米到5米。很多人纠结同一台交换机上到底用DAC还是光模块加光纤。我的建议是机柜内相邻交换机互联、服务器与TOR互联优先用DAC便宜且故障率低。跨机柜、跨列、跨机房之间的互联老老实实上光模块和光纤链路因为DAC线缆太长不仅信号衰减严重线材又粗又硬理线也是灾难。光模块虽然单价贵但光纤布线灵活支持距离远故障排查也方便。4. 兼容性实测同一端口插不同模块的真实表现4.1 测试环境和拓扑设计为了验证QSFP系列模块的兼容性我在实验室搭了一套测试环境目标是搞清楚几个关键问题QSFP模块插到QSFP28端口能不能用反过来又怎样同一台交换机上不同品牌模块混插会不会出问题交换机端口速率配置与实际模块速率不匹配时系统表现是什么测试设备包括一台支持40G/100G双速率的TOR交换机一台支持400G的框式交换机加上两台业务服务器分别配置了40G网卡和100G网卡。模块方面准备了三组原厂40G QSFP、兼容厂商40G QSFP原厂100G QSFP28、兼容厂商100G QSFP28以及QSFP-DD的400G模块和对应的一分二线缆。光纤链路使用标准MPO多模跳线长度30米满足SR4端口的传输距离。测试工具用打流仪和交换机自带的诊断命令重点记录链路是否up、协商速率、光功率、误码率四个指标。为了统一口径所有模块先在标准设备上单测一遍确认模块本身没有问题再进入兼容性测试环节。4.2 实测数据与结果分析第一组测试把40G QSFP模块插入100G QSFP28端口。在支持速率的交换机上如果端口配置为40G强制模式QSFP模块是可以直接工作的前提是交换机的固件支持4x10G或40G速率协商。实测中大多数主流交换机可以识别QSFP模块并正常工作。但如果端口配置成自动协商部分交换机会优先协商成100G模式这时QSFP模块因为只有40G能力链路起不来。所以实际配置时建议把端口速率手动固定到模块能力范围内。第二组测试把100G QSFP28模块插入40G QSFP端口。这个做法基本不可行因为QSFP28模块在40G端口上无法协商到100G的物理层速率且40G端口的电气设计没有针对25G通道做优化链路根本起不来。强制把端口配成40G也不管用因为QSFP28的固件能力和端口芯片的时钟不匹配。如果你手上有QSFP28模块又想跑40G链路最简单的办法是用一根40G的QSFP模块或者选能降速协商的模块但这类模块一般需要针对交换机型号做专门的兼容适配不建议通用场景使用。第三组测试同一台交换机上混插原厂和兼容厂商模块。实测中支持厂商码校验的交换机在默认配置下会直接拒绝非原厂模块表现为端口灯不亮或者模块报unrecognized。这其实不是模块坏了而是交换机的安全策略在起作用。解决方案有两个一是找兼容模块厂商提供“同码”版本让模块厂商把模块内的厂商信息改成交换机认可的格式二是看交换机是否支持关闭厂商校验部分设备比如某些型号的Mellanox可以通过命令关闭Cisco和Arista则比较严格。第四组测试QSFP-DD模块通过一分二线缆连接两个100G端口。这个场景我重点测了链路是否能正常独立收发。实测结果只要交换机固件支持QSFP-DD的一分二拓扑两个100G端口都能正常up打流无丢包。但如果交换机的端口策略要求所有虚拟端口强制同开同关或者要求同时调速配置起来会比较麻烦。购买前务必和交换机厂商确认QSFP-DD的端口拆分功能是否完整支持。4.3 兼容性结论与避坑建议结合实测我把QSFP家族的兼容性规律总结成三条直接抄作业即可第一外形兼容不代表电气兼容。打不到协商速率的模块物理插上也没用。第二上游链路速度和应用需求决定模块选择。数据中心内部如果全部是25G接入100G骨干那么QSFP基本可以退居二线只在接入层或遗留系统中使用。第三兼容厂商模块不一定不稳定但一定要测。建议在首次采购小批量测试重点验证批量模块在高温高负载下的稳定性跑3天以上。批量上架后一旦出事排查成本远超模块节省的那点差价。5. 常见问题与排查技巧实录5.1 插上不亮、协商失败等高频故障排查光模块出问题症状基本就几类插上端口灯不亮、协商速率迟迟不up、up之后频繁down、丢包严重。遇到这些问题经验丰富的工程师不会一上来就换模块而是按下面这个顺序排查。第一步查端口配置。端口速率、自协商开关、FEC配置三个关键参数先看一遍。很多“插上不亮”其实是端口被关了自动协商导致速率不匹配。FEC方面25G以上的高速链路默认需要用RS-FEC或FC-FEC如果交换机开启而模块端不支持链路同样起不来。第二步查模块信息和管理日志。通过命令行查看模块的厂商、型号、序列号、光功率、温度、电压。如果模块信息读不到大概率是模块与设备不兼容或者金手指接触不良。温度过高导致的收发光功率异常也很常见特别是长时间满载运行的光模块85°C以上故障率激增。第三步清洁光纤端面和重新插拔这步成本最低但最有效。光纤MPO头端面一旦沾灰光功率会明显下降。机房施工环境脏这个问题尤其突出。我第一次排查100G链路丢包问题折腾了两个小时没找到原因最后是借了个光纤端面检测仪发现接头上有一层灰清洁后问题立即消失。从那以后但凡光链路出问题我第一件事一定是查端面。第四步用光功率计或交换机自带诊断确认接收光功率是否在模块灵敏度范围内。接收光功率过低可能是光纤损耗超标或连接头松动过高则可能是衰减器缺失或模块距离不匹配。5.2 模块温度高、光功率异常的工程判断QSFP-DD模块功耗高发热量大在整机满配条件下散热不够容易触发模块的高温告警。正常来说光模块工作温度范围在0°C至70°C工业级可以到85°C但长时间在60°C以上运行会加速光器件老化发射光功率下降、接收灵敏度变差。如果模块温度持续偏高先检查交换机风扇策略确认风扇是不是在节能模式再看设备摆放位置是否机柜通风不畅。光功率异常分两类发射光功率异常和接收光功率异常。发射光功率异常一般指向模块本身问题比如激光器驱动电路故障、光纤接口没插好接收光功率异常的原因比较多可能是发送端发射功率过低、光纤跳线损耗过大、连接器污染或者链路中的法兰/适配器松动。排查时先确认两端模块状态再逐步排除链路因素。还有一个被很多人忽略的隐性坑端口光衰与模块灵敏度的匹配。有些时候光功率显示在正常范围但实际已接近灵敏度下限这样链路在高温环境下会因为余量不足而产生突发丢包。建议在实际业务负载下压测观察误码率不要只看状态灯。5.3 常见问题速查表故障现象可能原因首选排查动作端口灯不亮端口被禁用、速率不匹配检查端口配置确认模块类型协商速率上不去自协商关闭、FEC不匹配恢复自协商同步两端FEC策略链路频繁down/up光纤接头脏污、光功率临界清洁端面查看光功率并记录趋势模块温度过高设备散热不足、机房温度过高调整风扇策略检查机柜通风混插被拒收厂商校验开启关闭校验或更换同码模块模块能被读到但无光模块损坏或接口不到位重新插拔必要时更换模块测试6. 最后再分享几个选型实操小经验关于光模块选型我踩过不少坑也总结了几个实用经验。现网设备选型时尽量让同一批设备的模块保持相同批次或相同品牌避免混合太多品牌导致排查难度增加。不同品牌的模块虽然可以混插但一旦出现链路问题两边厂商都会先推卸责任最后吃苦的还是运维人员。老设备扩容时不要只看端口速率是否匹配还要确认交换机的硬件版本和固件是否支持新模块。很多老交换机支持100G端口但固件没更新到支持第三方QSFP28模块插上就是不亮。这种问题一般可以通过升级固件解决但升级前一定要先看厂商发布说明有的固件版本会改变模块兼容性策略反而把原来能用的模块搞挂了。光模块的采购存储也是个容易被忽略的细节。光模块是静电敏感器件保存时要放在防静电袋里工作时拿取要戴防静电手环。长期不用的模块最好放在干燥柜里潮湿会导致内部光学透镜起雾严重影响光功率。我有一次从仓库拿了一批放了半年的模块上架后光功率普遍偏低后来才反应过来是存放环境湿度超标了。如果你自己搭建测试网络建议常备一对好的光纤清洁笔和一根光功率计这两个工具能解决80%的链路排查问题。光模块的故障不是玄学每一个异常背后都有数据支撑剩下的只是你能不能把数据读出来并解释清楚。这套思路用在QSFP、QSFP28、QSFP-DD上面完全适用。
