1. 为什么R7515在二手服务器市场里是个特殊的存在如果你最近在折腾虚拟化实验环境、搭建小型私有云或者单纯想搞一台能塞进机柜、功耗可控、扩展性又足够强的机器大概率会刷到戴尔PowerEdge R7515这个名字。它是戴尔在EPYC Rome时代推出的单路2U机架式服务器定位介于入门级R740和更高端的R7525之间。我前后经手过三台不同配置的R7515有从机房退役的整机也有自己拼装的准系统踩过的坑从选CPU一直延伸到网卡驱动编译。这篇就把选购思路、Debian 12.5的安装细节以及Mellanox网卡驱动这套组合拳完整讲一遍。先说清楚这台机器适合谁。R7515最大的特点是单路AMD EPYC支持SP3接口的Rome和Milan两代处理器最多64核128线程16个DDR4内存插槽前置最多12个3.5寸盘位或者24个2.5寸盘位。对比同代的Intel平台二手价格往往便宜一大截核心数还更多。对于跑Proxmox、ESXi、KVM、Ceph这类场景性价比非常突出。但它的坑也很集中BIOS版本对Milan的支持、iDRAC的授权、PCIe插槽的带宽分配、以及第三方网卡在Linux下的驱动问题每一项都能让你多花一个晚上。我写这篇的出发点很直接网上关于R7515的中文资料大多是商家宣传或者简单的开箱真正把选购决策、系统安装、驱动编译串起来的实操记录很少。尤其是Mellanox网卡这块ConnectX-4、ConnectX-5在Debian 12.5上的驱动安装和固件升级官方文档写得很散实际做的时候会遇到内核头文件缺失、DKMS编译失败、固件版本不匹配等一系列问题。下面我按自己的实际流程展开尽量把每一步的为什么讲清楚。2. R7515选购时真正需要盯死的几个参数2.1 CPU代际与BIOS版本的匹配关系R7515支持EPYC 7002系列Rome和7003系列Milan。这里有个关键点早期出厂的R7515 BIOS版本可能只支持Rome要上Milan必须先把BIOS升到2.5.4以上iDRAC也要同步升级。我第一台机器就是买的准系统配了颗EPYC 7302结果卖家发来的是1.x版本的BIOS插上Milan的7313直接点不亮最后借了颗Rome的CPU才把BIOS刷上去。所以选购时的顺序应该是先确认主板BIOS版本再决定买哪代CPU。如果你买的是整机让卖家提供iDRAC里的BIOS版本截图。如果买准系统问清楚出厂日期和BIOS版本。Rome和Milan的价差在二手市场已经很小了7003系列同核心数往往只贵一两百块但IPC提升明显能上Milan尽量上Milan。具体型号选择上我个人的经验是型号核心/线程TDP适用场景二手参考价EPYC 730216/32155W入门虚拟化低EPYC 740224/48180W中型虚拟化中EPYC 730316/32130W低功耗场景中EPYC 741324/48180W均衡之选中高EPYC 744324/48200W高主频需求高注意7303和7413是Milan架构TDP控制得更好同核心数下功耗和发热都优于Rome。如果你的机柜散热条件一般优先考虑Milan的低TDP型号。2.2 内存插槽的通道填充规则R7515有16个DDR4插槽分8个通道每个通道2个插槽。EPYC的内存控制器对通道填充非常敏感如果只插一半插槽必须按照特定顺序插才能跑满8通道。戴尔官方的手册里有一张内存填充顺序图简单说就是优先插每个通道的A槽白色槽也就是A1、A2、A3、A4、A5、A6、A7、A8这八个位置这样就能跑满8通道。如果要插16条再填B槽。我见过有人随便插了4条内存结果只跑双通道性能损失接近一半。所以买内存的时候要么一次买8条同规格的要么至少买4条插在正确的通道上。RDIMM和LRDIMM都支持但不要混插。频率方面Rome支持到3200MHzMilan支持到3200MHz但实际运行频率取决于CPU和内存的匹配买3200的RDIMM基本不会错。2.3 PCIe插槽的带宽分配与riser配置R7515的PCIe扩展需要靠riser卡实现不同riser配置支持的插槽数量和带宽完全不同。标准配置下有三个riser位Riser 1CPU直连x16 x16或者x16 x8 x8Riser 2CPU直连x16 x16Riser 3芯片组x8 x8这里的关键是如果你要插Mellanox ConnectX-5这种PCIe 3.0 x16的网卡一定要插在CPU直连的riser上不要插芯片组的x8槽。芯片组的x8带宽对于25G/40G网卡来说可能成为瓶颈尤其是做RDMA的时候。我实测过ConnectX-4 Lx插在芯片组x8槽上25G跑不满换到CPU直连的x16槽就正常了。另外R7515的riser卡有几种不同的part number买准系统的时候一定要确认带的是哪种riser。有些便宜的准系统只带一个riser后面想加还得单独买而戴尔的riser卡在二手市场并不便宜。2.4 盘位背板与HBA/RAID卡的选择R7515的前置盘位有几种配置8x3.5寸、12x3.5寸、24x2.5寸。背板分SAS/SATA和NVMe两种NVMe背板贵很多。如果你打算用ZFS或者Ceph建议选SAS/SATA背板配一张HBA卡比如H730P刷IT模式或者直接上HBA330不要用RAID卡做RAID再给ZFS那样会失去ZFS的很多优势。我自己的配置是12x3.5寸背板 HBA330直通给TrueNAS Scale跑ZFS很稳。HBA330在二手市场大概两三百块比H730P便宜而且原生IT模式不需要刷固件。如果你需要硬件RAIDH730P是更好的选择但记得把缓存电池配上不然写性能会很惨。2.5 iDRAC授权与远程管理戴尔的iDRAC分Express和Enterprise两个版本Express只有基本的监控功能Enterprise才有虚拟KVM、虚拟介质、SOL这些远程管理功能。二手R7515很多都是Express授权或者授权已经过期。买之前一定要问清楚iDRAC的授权状态。如果是Express可以单独买Enterprise授权升级或者用一些合法的试用方式。iDRAC的固件也要注意版本太老的版本可能有安全漏洞而且和新版BIOS的兼容性也有问题。我一般拿到机器第一件事就是升级iDRAC固件到最新然后升级BIOS最后再装系统。3. Debian 12.5在R7515上的安装细节与坑点3.1 安装介质的制作与BIOS设置Debian 12.5的ISO用dd或者Rufus写入U盘即可但R7515的UEFI引导有个细节默认的引导模式可能是BIOS需要进BIOS改成UEFI。具体路径是System BIOS Settings - Boot Settings - Boot Mode改成UEFI。同时把Secure Boot关掉不然Debian的安装盘可能引导不了。还有一个坑是iDRAC的虚拟介质。如果你用iDRAC的Virtual Media挂ISO安装速度会比物理U盘慢很多而且有时候会卡在引导阶段。我的建议是直接用物理U盘插在服务器前面的USB口上安装快而且稳定。安装完成后再把iDRAC的虚拟介质配好用于后续维护。BIOS里还需要确认几个设置Processor Settings里的SVM Mode要开启如果你要用KVM虚拟化Memory Settings里的Node Interleaving保持DisabledNUMA感知PCIe Settings里的Above 4G Decoding要开启不然大显存或者大BAR的网卡可能识别不了。3.2 安装过程中的分区方案Debian 12.5的安装器默认分区方案对于服务器来说不太合适。我一般手动分区方案如下/boot/efi512MBFAT32/boot1GBext4/剩余空间的20%ext4/var剩余空间的30%ext4/home剩余空间ext4swap根据内存大小一般32GB以内如果要用ZFS可以在安装器里选ZFS但Debian的ZFS支持需要额外配置。我个人的做法是系统盘用ext4数据盘用ZFS这样系统升级不会影响ZFS池。安装过程中会提示是否配置网络镜像建议选是这样能直接拉到最新的安全更新。但如果你的网络环境需要代理这里可能会卡住可以先跳过装完系统再配。3.3 安装后的基础配置装完系统第一件事是更新源和升级su - apt update apt upgrade -y apt install -y sudo vim htop iotop tmux git curl wget然后配置sudo用户把普通用户加入sudo组usermod -aG sudo yourusername接着配置SSH禁用root登录和密码登录vim /etc/ssh/sshd_config修改以下几项PermitRootLogin no PasswordAuthentication no PubkeyAuthentication yes然后把你的公钥放到~/.ssh/authorized_keys里重启SSH服务systemctl restart sshd这里有个坑如果你在iDRAC的虚拟KVM里操作改完SSH配置后不要马上断开先开一个新终端测试能不能登录确认没问题再关掉旧会话。我有一次改完配置直接重启sshd结果公钥没放对把自己锁在外面最后只能通过iDRAC的KVM进去救。3.4 内核参数与性能调优Debian 12.5默认内核是6.1系列对EPYC的支持已经很好但有几个参数可以优化。编辑/etc/default/grubGRUB_CMDLINE_LINUX_DEFAULTquiet amd_iommuon iommuptamd_iommuon开启IOMMUiommupt让直通设备使用passthrough模式减少DMA开销。如果你要用PCIe直通给虚拟机这两个参数是必须的。改完执行update-grub reboot重启后验证IOMMU是否开启dmesg | grep -i iommu应该能看到AMD-Vi的相关信息。如果没看到检查BIOS里的IOMMU选项是否开启。另外EPYC的NUMA节点比较多可以用numactl --hardware查看。对于数据库或者高性能计算场景绑定NUMA节点能明显提升性能。但对于一般的虚拟化场景让内核自动调度就行。4. Mellanox网卡在Debian 12.5上的驱动安装全流程4.1 确认网卡型号与固件版本Mellanox现在叫NVIDIA Networking的网卡型号很多R7515上常见的有ConnectX-4、ConnectX-4 Lx、ConnectX-5、ConnectX-6。先确认你的网卡型号lspci | grep -i mellanox输出类似01:00.0 Ethernet controller: Mellanox Technologies MT27710 Family [ConnectX-4 Lx]然后查看固件版本apt install -y mstflint mstflint -d 01:00.0 q如果mstflint没装也可以先装驱动再查。固件版本很重要太老的固件可能有bug而且和新版驱动的兼容性也有问题。NVIDIA的固件下载页面可以查到每个型号的最新固件。4.2 安装OFED驱动还是内核自带驱动Debian 12.5的内核6.1已经自带了Mellanox网卡的基础驱动mlx5_core基本的网络功能可以直接用。但如果你需要RDMA、RoCE、SR-IOV这些高级功能就需要安装NVIDIA的OFED驱动或者DOCA。这里有个选择用内核自带的mlx5驱动还是装NVIDIA的OFED我的经验是如果只是普通网络通信内核自带的驱动足够了而且升级内核不会出问题。如果需要RDMA、GPUDirect、SR-IOV建议装OFED功能更全但升级内核后需要重新编译。对于大多数家用和中小型实验环境内核自带的驱动就够了。我下面先讲内核自带驱动的配置再讲OFED的安装。4.3 内核自带驱动的配置与固件升级内核自带的mlx5_core驱动加载后网卡应该能直接识别。用ip link查看ip link show应该能看到类似enp1s0f0、enp1s0f1的接口。如果没看到检查dmesgdmesg | grep -i mlx5如果提示固件加载失败需要安装固件包apt install -y firmware-misc-nonfree这个包在non-free仓库里需要先确认/etc/apt/sources.list里有non-free和contribdeb http://deb.debian.org/debian bookworm main contrib non-free non-free-firmware然后更新并安装apt update apt install -y firmware-misc-nonfree装完重新加载驱动modprobe -r mlx5_core modprobe mlx5_core如果固件版本太老建议升级。从NVIDIA官网下载对应的固件bin文件然后用mstflint烧录mstflint -d 01:00.0 -i fw-ConnectX4Lx-rel-14_32_1010-MC_0AC9BCA1A1C0.bin burn烧录完成后需要冷重启不是reboot是关机再开机固件才会生效。这一步很关键我有一次烧完固件直接reboot结果固件没生效以为烧录失败了后来冷重启才正常。4.4 OFED驱动的编译安装与DKMS配置如果你决定装OFED先去NVIDIA官网下载对应的ISO或者tgz包。注意选择Debian 12对应的版本如果没有专门的Debian 12包可以选Ubuntu 22.04的包一般也能用。安装依赖apt install -y build-essential dkms linux-headers-$(uname -r) python3 python3-pip然后解压OFED包tar xzf MLNX_OFED_LINUX-23.10-1.1.9.0-debian12.0-x86_64.tgz cd MLNX_OFED_LINUX-23.10-1.1.9.0-debian12.0-x86_64运行安装脚本./mlnxofedinstall --with-nvmf --with-nfsrdma --enable-sriov --with-mft --dpdk参数说明--with-nvmfNVMe over Fabrics支持--with-nfsrdmaNFS over RDMA支持--enable-sriovSR-IOV支持--with-mftMellanox Firmware Tools--dpdkDPDK支持安装过程中会编译内核模块如果内核头文件不全或者版本不匹配会报错。最常见的错误是Unable to find the kernel headers这时候确认linux-headers-$(uname -r)是否安装成功。安装完成后脚本会提示是否重启驱动选是。然后验证ofed_info -s ibstatibstat应该能看到网卡的InfiniBand或者Ethernet状态。如果是Ethernet模式用ibdev2netdev查看网卡和接口的对应关系。4.5 SR-IOV的配置与虚拟机直通SR-IOV是Mellanox网卡的一大卖点能把一张物理网卡虚拟成多个VFVirtual Function直通给不同的虚拟机。配置步骤如下首先在BIOS里开启SR-IOV和Above 4G Decoding。然后在Linux里开启VFecho 8 /sys/class/net/enp1s0f0/device/sriov_numvfs这个命令会创建8个VF。要持久化可以写到/etc/rc.local或者systemd service里。更规范的做法是创建一个systemd unit[Unit] DescriptionEnable SR-IOV VFs Afternetwork.target [Service] Typeoneshot ExecStart/bin/bash -c echo 8 /sys/class/net/enp1s0f0/device/sriov_numvfs [Install] WantedBymulti-user.target保存为/etc/systemd/system/sriov.service然后systemctl enable sriov.service systemctl start sriov.service验证VF是否创建lspci | grep -i mellanox应该能看到多个Virtual Function设备。然后在虚拟化平台里把这些VF直通给虚拟机。注意VF直通需要IOMMU开启而且VF不能直通给多个虚拟机一个VF只能给一个虚拟机。4.6 RDMA与RoCE的验证如果你要用RDMA装完OFED后可以用ib_send_bw、ib_read_bw这些工具测试带宽。先在一台机器上跑serverib_send_bw -d mlx5_0另一台机器跑clientib_send_bw -d mlx5_0 192.168.1.100如果RoCERDMA over Converged Ethernet配置正确应该能看到接近线速的带宽。RoCE需要交换机支持PFC和ECN如果只是两台机器直连可以不用交换机但需要配置流控。RoCE的配置涉及/etc/rdma/rdma.conf和网络接口的优先级流控PFC。这部分比较复杂我一般建议先用IB模式测试确认硬件没问题再折腾RoCE。5. 那些让我多花一个晚上的坑与排查过程5.1 网卡识别但无法link up有一次装完Debian 12.5网卡能识别ip link也能看到接口但状态一直是DOWN插上网线也不亮。排查过程先看dmesgdmesg | grep -i mlx5发现有link down的提示但没有具体错误。然后检查网卡固件ethtool -i enp1s0f0看到固件版本是14.20比较老。升级固件到最新后冷重启问题解决。所以网卡link不上优先查固件版本。5.2 DKMS编译失败与内核头文件缺失装OFED的时候遇到DKMS编译失败错误信息是Error! Bad return status for module build on kernel。排查dkms status看到mlnx-ofed模块状态是build失败。查看日志cat /var/lib/dkms/mlnx-ofed/*/build/make.log发现是linux-headers版本和当前内核不匹配。原因是之前升级过内核但没重启uname -r还是旧内核而linux-headers装的是新内核的。解决方法重启到新内核然后重新装headersapt install -y linux-headers-$(uname -r) dkms autoinstall5.3 iDRAC虚拟KVM下安装系统卡死用iDRAC的Virtual KVM挂ISO安装Debian时安装到分区阶段卡死。排查发现是虚拟介质的速度太慢导致安装器超时。解决方法改用物理U盘安装或者把ISO先上传到iDRAC的虚拟介质里再挂载而不是直接映射本地ISO。5.4 内存只识别一半容量有一次插了8条32G内存系统只识别128G。排查dmidecode -t memory | grep -i size发现只有4条被识别。检查插槽顺序发现插错了通道。按照戴尔手册的填充顺序重新插8条全部识别。所以内存插槽顺序不是随便插的一定要看手册。5.5 网卡在虚拟机里直通后无法热迁移SR-IOV VF直通给虚拟机后虚拟机无法热迁移。这是正常的因为VF是硬件直通迁移需要解绑和重新绑定。如果要做热迁移需要用virtio-net或者vhost-net不能用VF直通。这个不是bug是架构限制。6. 一些让R7515跑得更稳的长期维护经验6.1 固件与驱动的版本管理服务器和网卡的固件、驱动版本管理很重要。我一般会记录一个表格每次升级都记下来组件当前版本升级日期备注BIOS2.15.12024-01支持MilaniDRAC6.10.80.002024-01Enterprise授权HBA33016.17.01.002024-01IT模式ConnectX-4 Lx14.32.10102024-02冷重启生效Debian内核6.1.0-182024-02稳定版这样出问题的时候能快速定位是不是版本兼容性问题。6.2 温度与风扇策略R7515的风扇策略可以在iDRAC里调。默认是自动但如果你插了第三方PCIe卡比如Mellanox网卡iDRAC可能识别不到温度传感器风扇会全速转噪音很大。解决方法是在iDRAC里把风扇策略改成手动设置一个固定的转速比如30%。但要注意手动转速可能影响散热尤其是夏天。我一般设成自动如果噪音太大再调。6.3 电源冗余与功耗R7515支持双电源冗余标配一般是750W或者1100W。如果你只插一个电源iDRAC会报警。建议插两个即使其中一个坏了也不影响运行。功耗方面EPYC 7302 8条32G 4块硬盘 ConnectX-4 Lx待机大概120W满载大概250W。1100W电源有点浪费750W足够。6.4 备份与恢复策略iDRAC支持导出服务器配置包括BIOS设置、iDRAC设置、RAID配置等。我一般在新机器配置完成后导出一份存在本地。如果以后BIOS设置乱了可以直接导入恢复。命令racadm get -t xml -f backup.xml恢复racadm set -t xml -f backup.xml这个功能在换主板或者重置BIOS后特别有用。6.5 系统盘的冗余方案R7515有内置的M.2插槽可以插两块M.2 SSD做RAID 1。我一般用两块256G的M.2做系统盘RAID 1这样系统盘坏了也不影响。数据盘用前置的3.5寸盘跑ZFS或者Ceph。注意M.2插槽在R7515上是通过BOSS卡实现的需要单独购买BOSS卡。如果没有BOSS卡可以用前置盘位做系统盘但会占用盘位。7. 关于这套组合的最后几句实在话R7515这台机器我用了大半年从选购到装系统到调网卡整体感受是硬件本身很扎实但戴尔的固件和驱动生态对Linux的友好度一般很多东西需要自己摸索。Mellanox网卡在Debian下的驱动安装如果只是基础网络内核自带的mlx5就够用没必要折腾OFED。但如果要RDMA或者SR-IOVOFED的编译安装是绕不过去的而且每次内核升级都要重新编译DKMS模块这一点要有心理准备。另外二手服务器的选购不要只看CPU和内存riser卡、背板、BOSS卡、iDRAC授权这些细节往往决定了你后续的扩展成本。我见过太多人买了便宜的准系统结果发现riser不对、背板不支持NVMe、iDRAC是Express最后加的钱比买整机还多。如果你也在折腾R7515或者类似的EPYC平台欢迎交流。有些坑我踩过了你不一定非要再踩一遍。
戴尔R7515二手服务器选购与Debian 12.5及Mellanox网卡驱动实战
1. 为什么R7515在二手服务器市场里是个特殊的存在如果你最近在折腾虚拟化实验环境、搭建小型私有云或者单纯想搞一台能塞进机柜、功耗可控、扩展性又足够强的机器大概率会刷到戴尔PowerEdge R7515这个名字。它是戴尔在EPYC Rome时代推出的单路2U机架式服务器定位介于入门级R740和更高端的R7525之间。我前后经手过三台不同配置的R7515有从机房退役的整机也有自己拼装的准系统踩过的坑从选CPU一直延伸到网卡驱动编译。这篇就把选购思路、Debian 12.5的安装细节以及Mellanox网卡驱动这套组合拳完整讲一遍。先说清楚这台机器适合谁。R7515最大的特点是单路AMD EPYC支持SP3接口的Rome和Milan两代处理器最多64核128线程16个DDR4内存插槽前置最多12个3.5寸盘位或者24个2.5寸盘位。对比同代的Intel平台二手价格往往便宜一大截核心数还更多。对于跑Proxmox、ESXi、KVM、Ceph这类场景性价比非常突出。但它的坑也很集中BIOS版本对Milan的支持、iDRAC的授权、PCIe插槽的带宽分配、以及第三方网卡在Linux下的驱动问题每一项都能让你多花一个晚上。我写这篇的出发点很直接网上关于R7515的中文资料大多是商家宣传或者简单的开箱真正把选购决策、系统安装、驱动编译串起来的实操记录很少。尤其是Mellanox网卡这块ConnectX-4、ConnectX-5在Debian 12.5上的驱动安装和固件升级官方文档写得很散实际做的时候会遇到内核头文件缺失、DKMS编译失败、固件版本不匹配等一系列问题。下面我按自己的实际流程展开尽量把每一步的为什么讲清楚。2. R7515选购时真正需要盯死的几个参数2.1 CPU代际与BIOS版本的匹配关系R7515支持EPYC 7002系列Rome和7003系列Milan。这里有个关键点早期出厂的R7515 BIOS版本可能只支持Rome要上Milan必须先把BIOS升到2.5.4以上iDRAC也要同步升级。我第一台机器就是买的准系统配了颗EPYC 7302结果卖家发来的是1.x版本的BIOS插上Milan的7313直接点不亮最后借了颗Rome的CPU才把BIOS刷上去。所以选购时的顺序应该是先确认主板BIOS版本再决定买哪代CPU。如果你买的是整机让卖家提供iDRAC里的BIOS版本截图。如果买准系统问清楚出厂日期和BIOS版本。Rome和Milan的价差在二手市场已经很小了7003系列同核心数往往只贵一两百块但IPC提升明显能上Milan尽量上Milan。具体型号选择上我个人的经验是型号核心/线程TDP适用场景二手参考价EPYC 730216/32155W入门虚拟化低EPYC 740224/48180W中型虚拟化中EPYC 730316/32130W低功耗场景中EPYC 741324/48180W均衡之选中高EPYC 744324/48200W高主频需求高注意7303和7413是Milan架构TDP控制得更好同核心数下功耗和发热都优于Rome。如果你的机柜散热条件一般优先考虑Milan的低TDP型号。2.2 内存插槽的通道填充规则R7515有16个DDR4插槽分8个通道每个通道2个插槽。EPYC的内存控制器对通道填充非常敏感如果只插一半插槽必须按照特定顺序插才能跑满8通道。戴尔官方的手册里有一张内存填充顺序图简单说就是优先插每个通道的A槽白色槽也就是A1、A2、A3、A4、A5、A6、A7、A8这八个位置这样就能跑满8通道。如果要插16条再填B槽。我见过有人随便插了4条内存结果只跑双通道性能损失接近一半。所以买内存的时候要么一次买8条同规格的要么至少买4条插在正确的通道上。RDIMM和LRDIMM都支持但不要混插。频率方面Rome支持到3200MHzMilan支持到3200MHz但实际运行频率取决于CPU和内存的匹配买3200的RDIMM基本不会错。2.3 PCIe插槽的带宽分配与riser配置R7515的PCIe扩展需要靠riser卡实现不同riser配置支持的插槽数量和带宽完全不同。标准配置下有三个riser位Riser 1CPU直连x16 x16或者x16 x8 x8Riser 2CPU直连x16 x16Riser 3芯片组x8 x8这里的关键是如果你要插Mellanox ConnectX-5这种PCIe 3.0 x16的网卡一定要插在CPU直连的riser上不要插芯片组的x8槽。芯片组的x8带宽对于25G/40G网卡来说可能成为瓶颈尤其是做RDMA的时候。我实测过ConnectX-4 Lx插在芯片组x8槽上25G跑不满换到CPU直连的x16槽就正常了。另外R7515的riser卡有几种不同的part number买准系统的时候一定要确认带的是哪种riser。有些便宜的准系统只带一个riser后面想加还得单独买而戴尔的riser卡在二手市场并不便宜。2.4 盘位背板与HBA/RAID卡的选择R7515的前置盘位有几种配置8x3.5寸、12x3.5寸、24x2.5寸。背板分SAS/SATA和NVMe两种NVMe背板贵很多。如果你打算用ZFS或者Ceph建议选SAS/SATA背板配一张HBA卡比如H730P刷IT模式或者直接上HBA330不要用RAID卡做RAID再给ZFS那样会失去ZFS的很多优势。我自己的配置是12x3.5寸背板 HBA330直通给TrueNAS Scale跑ZFS很稳。HBA330在二手市场大概两三百块比H730P便宜而且原生IT模式不需要刷固件。如果你需要硬件RAIDH730P是更好的选择但记得把缓存电池配上不然写性能会很惨。2.5 iDRAC授权与远程管理戴尔的iDRAC分Express和Enterprise两个版本Express只有基本的监控功能Enterprise才有虚拟KVM、虚拟介质、SOL这些远程管理功能。二手R7515很多都是Express授权或者授权已经过期。买之前一定要问清楚iDRAC的授权状态。如果是Express可以单独买Enterprise授权升级或者用一些合法的试用方式。iDRAC的固件也要注意版本太老的版本可能有安全漏洞而且和新版BIOS的兼容性也有问题。我一般拿到机器第一件事就是升级iDRAC固件到最新然后升级BIOS最后再装系统。3. Debian 12.5在R7515上的安装细节与坑点3.1 安装介质的制作与BIOS设置Debian 12.5的ISO用dd或者Rufus写入U盘即可但R7515的UEFI引导有个细节默认的引导模式可能是BIOS需要进BIOS改成UEFI。具体路径是System BIOS Settings - Boot Settings - Boot Mode改成UEFI。同时把Secure Boot关掉不然Debian的安装盘可能引导不了。还有一个坑是iDRAC的虚拟介质。如果你用iDRAC的Virtual Media挂ISO安装速度会比物理U盘慢很多而且有时候会卡在引导阶段。我的建议是直接用物理U盘插在服务器前面的USB口上安装快而且稳定。安装完成后再把iDRAC的虚拟介质配好用于后续维护。BIOS里还需要确认几个设置Processor Settings里的SVM Mode要开启如果你要用KVM虚拟化Memory Settings里的Node Interleaving保持DisabledNUMA感知PCIe Settings里的Above 4G Decoding要开启不然大显存或者大BAR的网卡可能识别不了。3.2 安装过程中的分区方案Debian 12.5的安装器默认分区方案对于服务器来说不太合适。我一般手动分区方案如下/boot/efi512MBFAT32/boot1GBext4/剩余空间的20%ext4/var剩余空间的30%ext4/home剩余空间ext4swap根据内存大小一般32GB以内如果要用ZFS可以在安装器里选ZFS但Debian的ZFS支持需要额外配置。我个人的做法是系统盘用ext4数据盘用ZFS这样系统升级不会影响ZFS池。安装过程中会提示是否配置网络镜像建议选是这样能直接拉到最新的安全更新。但如果你的网络环境需要代理这里可能会卡住可以先跳过装完系统再配。3.3 安装后的基础配置装完系统第一件事是更新源和升级su - apt update apt upgrade -y apt install -y sudo vim htop iotop tmux git curl wget然后配置sudo用户把普通用户加入sudo组usermod -aG sudo yourusername接着配置SSH禁用root登录和密码登录vim /etc/ssh/sshd_config修改以下几项PermitRootLogin no PasswordAuthentication no PubkeyAuthentication yes然后把你的公钥放到~/.ssh/authorized_keys里重启SSH服务systemctl restart sshd这里有个坑如果你在iDRAC的虚拟KVM里操作改完SSH配置后不要马上断开先开一个新终端测试能不能登录确认没问题再关掉旧会话。我有一次改完配置直接重启sshd结果公钥没放对把自己锁在外面最后只能通过iDRAC的KVM进去救。3.4 内核参数与性能调优Debian 12.5默认内核是6.1系列对EPYC的支持已经很好但有几个参数可以优化。编辑/etc/default/grubGRUB_CMDLINE_LINUX_DEFAULTquiet amd_iommuon iommuptamd_iommuon开启IOMMUiommupt让直通设备使用passthrough模式减少DMA开销。如果你要用PCIe直通给虚拟机这两个参数是必须的。改完执行update-grub reboot重启后验证IOMMU是否开启dmesg | grep -i iommu应该能看到AMD-Vi的相关信息。如果没看到检查BIOS里的IOMMU选项是否开启。另外EPYC的NUMA节点比较多可以用numactl --hardware查看。对于数据库或者高性能计算场景绑定NUMA节点能明显提升性能。但对于一般的虚拟化场景让内核自动调度就行。4. Mellanox网卡在Debian 12.5上的驱动安装全流程4.1 确认网卡型号与固件版本Mellanox现在叫NVIDIA Networking的网卡型号很多R7515上常见的有ConnectX-4、ConnectX-4 Lx、ConnectX-5、ConnectX-6。先确认你的网卡型号lspci | grep -i mellanox输出类似01:00.0 Ethernet controller: Mellanox Technologies MT27710 Family [ConnectX-4 Lx]然后查看固件版本apt install -y mstflint mstflint -d 01:00.0 q如果mstflint没装也可以先装驱动再查。固件版本很重要太老的固件可能有bug而且和新版驱动的兼容性也有问题。NVIDIA的固件下载页面可以查到每个型号的最新固件。4.2 安装OFED驱动还是内核自带驱动Debian 12.5的内核6.1已经自带了Mellanox网卡的基础驱动mlx5_core基本的网络功能可以直接用。但如果你需要RDMA、RoCE、SR-IOV这些高级功能就需要安装NVIDIA的OFED驱动或者DOCA。这里有个选择用内核自带的mlx5驱动还是装NVIDIA的OFED我的经验是如果只是普通网络通信内核自带的驱动足够了而且升级内核不会出问题。如果需要RDMA、GPUDirect、SR-IOV建议装OFED功能更全但升级内核后需要重新编译。对于大多数家用和中小型实验环境内核自带的驱动就够了。我下面先讲内核自带驱动的配置再讲OFED的安装。4.3 内核自带驱动的配置与固件升级内核自带的mlx5_core驱动加载后网卡应该能直接识别。用ip link查看ip link show应该能看到类似enp1s0f0、enp1s0f1的接口。如果没看到检查dmesgdmesg | grep -i mlx5如果提示固件加载失败需要安装固件包apt install -y firmware-misc-nonfree这个包在non-free仓库里需要先确认/etc/apt/sources.list里有non-free和contribdeb http://deb.debian.org/debian bookworm main contrib non-free non-free-firmware然后更新并安装apt update apt install -y firmware-misc-nonfree装完重新加载驱动modprobe -r mlx5_core modprobe mlx5_core如果固件版本太老建议升级。从NVIDIA官网下载对应的固件bin文件然后用mstflint烧录mstflint -d 01:00.0 -i fw-ConnectX4Lx-rel-14_32_1010-MC_0AC9BCA1A1C0.bin burn烧录完成后需要冷重启不是reboot是关机再开机固件才会生效。这一步很关键我有一次烧完固件直接reboot结果固件没生效以为烧录失败了后来冷重启才正常。4.4 OFED驱动的编译安装与DKMS配置如果你决定装OFED先去NVIDIA官网下载对应的ISO或者tgz包。注意选择Debian 12对应的版本如果没有专门的Debian 12包可以选Ubuntu 22.04的包一般也能用。安装依赖apt install -y build-essential dkms linux-headers-$(uname -r) python3 python3-pip然后解压OFED包tar xzf MLNX_OFED_LINUX-23.10-1.1.9.0-debian12.0-x86_64.tgz cd MLNX_OFED_LINUX-23.10-1.1.9.0-debian12.0-x86_64运行安装脚本./mlnxofedinstall --with-nvmf --with-nfsrdma --enable-sriov --with-mft --dpdk参数说明--with-nvmfNVMe over Fabrics支持--with-nfsrdmaNFS over RDMA支持--enable-sriovSR-IOV支持--with-mftMellanox Firmware Tools--dpdkDPDK支持安装过程中会编译内核模块如果内核头文件不全或者版本不匹配会报错。最常见的错误是Unable to find the kernel headers这时候确认linux-headers-$(uname -r)是否安装成功。安装完成后脚本会提示是否重启驱动选是。然后验证ofed_info -s ibstatibstat应该能看到网卡的InfiniBand或者Ethernet状态。如果是Ethernet模式用ibdev2netdev查看网卡和接口的对应关系。4.5 SR-IOV的配置与虚拟机直通SR-IOV是Mellanox网卡的一大卖点能把一张物理网卡虚拟成多个VFVirtual Function直通给不同的虚拟机。配置步骤如下首先在BIOS里开启SR-IOV和Above 4G Decoding。然后在Linux里开启VFecho 8 /sys/class/net/enp1s0f0/device/sriov_numvfs这个命令会创建8个VF。要持久化可以写到/etc/rc.local或者systemd service里。更规范的做法是创建一个systemd unit[Unit] DescriptionEnable SR-IOV VFs Afternetwork.target [Service] Typeoneshot ExecStart/bin/bash -c echo 8 /sys/class/net/enp1s0f0/device/sriov_numvfs [Install] WantedBymulti-user.target保存为/etc/systemd/system/sriov.service然后systemctl enable sriov.service systemctl start sriov.service验证VF是否创建lspci | grep -i mellanox应该能看到多个Virtual Function设备。然后在虚拟化平台里把这些VF直通给虚拟机。注意VF直通需要IOMMU开启而且VF不能直通给多个虚拟机一个VF只能给一个虚拟机。4.6 RDMA与RoCE的验证如果你要用RDMA装完OFED后可以用ib_send_bw、ib_read_bw这些工具测试带宽。先在一台机器上跑serverib_send_bw -d mlx5_0另一台机器跑clientib_send_bw -d mlx5_0 192.168.1.100如果RoCERDMA over Converged Ethernet配置正确应该能看到接近线速的带宽。RoCE需要交换机支持PFC和ECN如果只是两台机器直连可以不用交换机但需要配置流控。RoCE的配置涉及/etc/rdma/rdma.conf和网络接口的优先级流控PFC。这部分比较复杂我一般建议先用IB模式测试确认硬件没问题再折腾RoCE。5. 那些让我多花一个晚上的坑与排查过程5.1 网卡识别但无法link up有一次装完Debian 12.5网卡能识别ip link也能看到接口但状态一直是DOWN插上网线也不亮。排查过程先看dmesgdmesg | grep -i mlx5发现有link down的提示但没有具体错误。然后检查网卡固件ethtool -i enp1s0f0看到固件版本是14.20比较老。升级固件到最新后冷重启问题解决。所以网卡link不上优先查固件版本。5.2 DKMS编译失败与内核头文件缺失装OFED的时候遇到DKMS编译失败错误信息是Error! Bad return status for module build on kernel。排查dkms status看到mlnx-ofed模块状态是build失败。查看日志cat /var/lib/dkms/mlnx-ofed/*/build/make.log发现是linux-headers版本和当前内核不匹配。原因是之前升级过内核但没重启uname -r还是旧内核而linux-headers装的是新内核的。解决方法重启到新内核然后重新装headersapt install -y linux-headers-$(uname -r) dkms autoinstall5.3 iDRAC虚拟KVM下安装系统卡死用iDRAC的Virtual KVM挂ISO安装Debian时安装到分区阶段卡死。排查发现是虚拟介质的速度太慢导致安装器超时。解决方法改用物理U盘安装或者把ISO先上传到iDRAC的虚拟介质里再挂载而不是直接映射本地ISO。5.4 内存只识别一半容量有一次插了8条32G内存系统只识别128G。排查dmidecode -t memory | grep -i size发现只有4条被识别。检查插槽顺序发现插错了通道。按照戴尔手册的填充顺序重新插8条全部识别。所以内存插槽顺序不是随便插的一定要看手册。5.5 网卡在虚拟机里直通后无法热迁移SR-IOV VF直通给虚拟机后虚拟机无法热迁移。这是正常的因为VF是硬件直通迁移需要解绑和重新绑定。如果要做热迁移需要用virtio-net或者vhost-net不能用VF直通。这个不是bug是架构限制。6. 一些让R7515跑得更稳的长期维护经验6.1 固件与驱动的版本管理服务器和网卡的固件、驱动版本管理很重要。我一般会记录一个表格每次升级都记下来组件当前版本升级日期备注BIOS2.15.12024-01支持MilaniDRAC6.10.80.002024-01Enterprise授权HBA33016.17.01.002024-01IT模式ConnectX-4 Lx14.32.10102024-02冷重启生效Debian内核6.1.0-182024-02稳定版这样出问题的时候能快速定位是不是版本兼容性问题。6.2 温度与风扇策略R7515的风扇策略可以在iDRAC里调。默认是自动但如果你插了第三方PCIe卡比如Mellanox网卡iDRAC可能识别不到温度传感器风扇会全速转噪音很大。解决方法是在iDRAC里把风扇策略改成手动设置一个固定的转速比如30%。但要注意手动转速可能影响散热尤其是夏天。我一般设成自动如果噪音太大再调。6.3 电源冗余与功耗R7515支持双电源冗余标配一般是750W或者1100W。如果你只插一个电源iDRAC会报警。建议插两个即使其中一个坏了也不影响运行。功耗方面EPYC 7302 8条32G 4块硬盘 ConnectX-4 Lx待机大概120W满载大概250W。1100W电源有点浪费750W足够。6.4 备份与恢复策略iDRAC支持导出服务器配置包括BIOS设置、iDRAC设置、RAID配置等。我一般在新机器配置完成后导出一份存在本地。如果以后BIOS设置乱了可以直接导入恢复。命令racadm get -t xml -f backup.xml恢复racadm set -t xml -f backup.xml这个功能在换主板或者重置BIOS后特别有用。6.5 系统盘的冗余方案R7515有内置的M.2插槽可以插两块M.2 SSD做RAID 1。我一般用两块256G的M.2做系统盘RAID 1这样系统盘坏了也不影响。数据盘用前置的3.5寸盘跑ZFS或者Ceph。注意M.2插槽在R7515上是通过BOSS卡实现的需要单独购买BOSS卡。如果没有BOSS卡可以用前置盘位做系统盘但会占用盘位。7. 关于这套组合的最后几句实在话R7515这台机器我用了大半年从选购到装系统到调网卡整体感受是硬件本身很扎实但戴尔的固件和驱动生态对Linux的友好度一般很多东西需要自己摸索。Mellanox网卡在Debian下的驱动安装如果只是基础网络内核自带的mlx5就够用没必要折腾OFED。但如果要RDMA或者SR-IOVOFED的编译安装是绕不过去的而且每次内核升级都要重新编译DKMS模块这一点要有心理准备。另外二手服务器的选购不要只看CPU和内存riser卡、背板、BOSS卡、iDRAC授权这些细节往往决定了你后续的扩展成本。我见过太多人买了便宜的准系统结果发现riser不对、背板不支持NVMe、iDRAC是Express最后加的钱比买整机还多。如果你也在折腾R7515或者类似的EPYC平台欢迎交流。有些坑我踩过了你不一定非要再踩一遍。
