简介这是一份面向 IT 运维、系统集成商与虚拟化实施人员的 VMware 服务器虚拟化解决方案文档。文档以 vSphere 平台为主线系统讲解 vCompute、vStorage、vNetwork 三大组件能力覆盖服务器整合、业务连续性与测试开发三类典型应用场景并给出了从需求分析、方案拓扑、软硬件配置到基础架构服务层、应用程序服务层、虚拟应用程序层的完整设计流程同时对可选异地容灾方案及旧硬件投资保护策略也有所阐述。整个资料包含 1 个 doc 格式文档压缩包体积 3.39MB内容组织较完整可作为企业虚拟化项目立项、方案选型、实施落地或内部培训的参考材料。该文档已有 2732 人浏览学习读者可从目录中快速定位需求分析、拓扑设计、软硬件清单、容灾策略与同类产品对比等关键章节用来撰写投标方案、搭建 vSphere 实验环境或规划虚拟机资源能有效减少前期调研成本提升数据中心资源利用率与运维管理效率。1. VMware服务器虚拟化解决方案先把“一机一业务”的病根说清“VMware服务器虚拟化解决方案”这几个字在采购清单和标书里天天见但真正在机房里把它落到能跑生产业务的形态从选型到参数要过的坎比想象中多。物理服务器的CPU利用率常年趴在5%-15%业务却按峰值买硬件等到扩容又要停机虚拟化方案要做的就是把多台业务虚拟机安全地挤进同一台物理机用管理平台统一调度让迁移、重启、扩容变成分钟级操作。这套东西适合两类人刚接手虚拟化平台的系统工程师和要给客户出基础架构方案的集成商。下面按我自己的落地顺序把版本选型、实施步骤和踩过的坑一次讲清。2. 从物理机到虚拟化集群版本选型与架构设计的三个关键决策2.1 先分清两个名字ESXi和vCenter到底管哪一层网上搜VMware服务器虚拟化出来的多半是vmware workstation安装教程。很多刚入门的人照着Workstation装了一台虚拟机就把这个当成了“虚拟化方案”——这中间差着一整套vSphere体系的规划。Workstation是跑在桌面系统上的单机虚拟化工具适合做实验和测试不能拿来承载生产虚拟机服务器虚拟化的主体是ESXi一个直接装在裸机上的hypervisor装完之后这台物理机就变成一台可远程管理的宿主机。而vCenter Server是管理多个ESXi的统一入口HA、vMotion、DRS这类高级能力都是vCenter层面提供的。在版本选择上生产环境跟着vSphere主线走8.0之后的版本对硬件兼容性的要求更严格选服务器之前一定要去兼容性指南里查HCL别等机器到手才发现阵列卡驱动不在安装ISO里。免费版ESXi自带基础管理界面能建虚拟机、能开快照但跨主机在线迁移、故障自动切换、资源动态调度这些能力都没有。我见过有人拿vmware workstation 17的许可证密钥试图去激活ESXi两个产品线完全不通用vSphere的授权是按CPU核心数核算的Workstation的密钥激活不了服务器版。真正的分界点在于你要管几台宿主机、虚拟机能不能容忍停机。三台以内的学习环境免费版ESXi加Workstation Player就够折腾了一旦业务虚拟机开始承担生产流量vCenter就是刚需。授权可以按实际规模买但架构上不要把免费版当成终态否则后面补管理平台的时候虚拟机迁移会让你付出比授权费更贵的维护成本。2.2 存储选型本地盘、外置存储和vSAN的取舍清单服务器虚拟化上线后最大的瓶颈不是CPU也不是内存而是存储I/O。我给新项目做方案时第一个问的永远是“虚拟机要跑什么业务、每秒有多少写”。存储选型从三个维度看是否支持vMotion和HA、故障域在哪、成本怎么摊。先给一张对比表类型前置条件迁移能力适合规模主要风险本地HDD/SSD无需额外设备无vMotion只能停机复制单机、测试环境宿主机故障即数据全失外置存储FC/iSCSI/NFS额外存储阵列、交换机完整vMotion/HA/DRS中型以上多路径配置不当形成单点vSAN超融合至少3台ESXi各节点有SSDHDD完整vMotion/HA/DRS3节点起步缓存盘故障拖慢全集群本地盘的坑在于“看着便宜用起来心惊胆战”。虚拟机文件躺在宿主机本地盘上宿主机一坏虚拟机连壳带数据一起瘫。外置存储是传统保险方案共享存储是vMotion和HA的前提但部署时多路径MPIO必须一次配对FC环境下HBA卡驱动、交换机zone、存储侧LUN映射三边都要核对漏一环就是性能玄学。vSAN是这些年集成商最爱推的它把每台ESXi的本地盘聚合成一个分布式存储池少了外置存储的购买和维护成本但vSAN要求集群至少3节点生产环境我一般建议4节点起步而且每个节点至少配一块SSD做缓存层纯HDD的容量层跑起来延迟会让人怀疑人生。选型建议就一句话业务虚拟机低于20台、对迁移频率要求不高本地盘加外置NFS够用预算允许且机房空间紧张直接vSAN。vSAN的好处是以后扩容就是加节点坏处是节点间网络抖动会把整集群拖进“All hosts are partitioned”的状态所以vSAN节点之间的网络交换机建议独立或至少做链路捆绑别跟业务流量挤在同一根线上。不管选哪条路给虚拟机磁盘做配置时置备方式选Thin Provision精简置备还是Thick厚置备要提前想清楚厚置备性能稳定但空间占用高精简置备适合大部分业务但快照和备份频繁时磁盘会缓慢膨胀。2.3 网络规划管理网、业务网与vMotion网的带宽和VLAN怎么分开算虚拟化集群至少三种流量要分开ESXi管理网络、虚拟机业务网络、vMotion迁移网络外置存储是iSCSI时还要再加一张存储网。很多翻车现场都源于“所有流量混在一个VLAN里”平时看着没事一跑批量迁移或存储备份整台宿主机网络延迟飙升。我一般要求每台物理机至少双口万兆没有万兆就双千兆捆绑。常见拓扑里管理网络单独划VLAN业务网络按虚拟机用途分段vMotion网络独立VLAN且不配置网关。vMotion流量大且密集它跟业务网挤在一起时高峰期会直接把业务带宽吃光跟管理网挤在一起时迁移一跑vSphere Client就开始卡顿。端口组层面的关键参数是NIC Teaming的负载均衡策略。vSphere标准交换机默认的策略是“Route based on the originating virtual port”——按虚拟机网卡端口固定映射到某块物理网卡也就是说默认只是冗余不做带宽叠加。两块物理网卡捆绑1000M跑N个虚拟机实际业务流量还是只走一块卡另一块只在第一块故障时才接管。想真正打满双网卡带宽要改成“Route based on IP hash”但这时交换机侧必须同步配置链路聚合LACP否则交换机会看到同一个MAC地址从两个端口出现直接丢包表现就是虚拟机网络忽通忽断。另外管理网络和vMotion网络的IP不要用自动分配固定IP并写进文档。ESXi主机名和IP的对应关系在vCenter加入集群、证书替换、HA心跳这些环节都会用到乱填的后果是隔三差五出现“主机管理服务不通”的告警。3. 把方案落到服务器上ESXi部署与vCenter初始化的可抄作业步骤3.1 制作启动盘与开机的三个BIOS开关装ESXi的第一步是拿ISO做启动U盘。Windows下用Rufus选择DD镜像模式写入Linux下直接dd命令里务必看清楚设备名我见过把of/dev/sda写成U盘实际指向系统盘的一条命令毁掉一台服务器。# 确认U盘设备名后再执行/dev/sdX请替换为你的U盘 lsblk dd if/path/to/VMware-ESXi-8.0.iso of/dev/sdX bs4M statusprogress sync安装ESXi 8.0的硬件门槛不高CPU支持64位和硬件虚拟化VT-x/AMD-V内存至少4GB安装目标盘建议30GB以上。但BIOS里有三个开关不设对安装过程就会出现莫名其妙的问题。第一是CPU虚拟化Intel的VT-x或AMD的AMD-V必须启用否则安装器直接报错。第二是“Above 4G Decoding”用NVMe硬盘或某些阵列卡时不开这个安装器会找不到磁盘——这是最典型的“明明盘在阵列里ESXi就是看不见”。第三是串口重定向如果服务器有IPMI带外管理把Serial Console的重定向关掉避免安装过程中ESXi把输出送到串口导致显示器黑屏。Secure Boot可以保持开启ESXi 8.0官方支持但如果后面要装第三方网卡或存储驱动VIB建议先关掉等驱动全部就绪后再开省得踩“VIB未签名导致启动失败”的坑。3.2 分区与密码策略安装ESXi时别在这两处翻车安装界面走到磁盘选择时大多数情况下直接按默认分区走就行ESXi会自动划分系统区、日志区和内存转储区。要注意的是服务器自带阵列卡时先进入阵列卡BIOS把物理盘建成一个逻辑盘VD再把这个VD作为目标盘安装。我遇到过安装器能看到物理盘但装到一半报“partitions not found”的情况原因就是阵列卡没建VDESXi把每块物理盘当独立设备处理分区逻辑全乱。root密码是另一个高频卡点。ESXi的root密码策略比普通Linux严格至少7个字符必须同时包含大小写字母、数字和特殊符号而且不能包含“root”这个字符串。我第一次在一台老机器上装用了“Root123”以为够强壮结果安装界面提示“password must not contain root”硬生生卡了十分钟。密码复杂度在ESXi 8.0里不可降级别浪费时间找开关直接按规则设置。安装完成后进入DCUI直接控制台界面按F2输入root账号设置管理网络。这里建议直接设置静态IP、掩码、网关和DNS不要用DHCP。DHCP分配的IP一旦变化vCenter里的主机连接就会断且ESXi的证书和主机名绑定更换IP后要重启管理服务才能恢复。3.3 vCenter以虚拟机形态部署关键网络与时间参数一次设对vCenter在vSphere 7之后只剩VCSAvCenter Server Appliance形态也就是说vCenter本身是一台虚拟机安装过程就是把VCSA镜像部署到ESXi上。下载的ISO包在Windows里挂载运行installer选择“Embedded”部署模式填入目标ESXi的地址和管理员账号即可。部署向导里有几个参数值得停下来看清楚。第一是vCenter虚拟机的网络要指定它所属的端口组和IP、主机名、DNS。vCenter的IP必须是各ESXi通过管理网络能稳定访问的而且DNS的正反向解析建议都配全。vCenter内部大量组件启动时会做主机名反查DNS配置不全时典型的故障就是VAMI配置界面5480端口打不开、vSphere Client登录报“系统服务异常”日志里全是“lookup reverse fail”之类的话。第二是NTPvCenter安装时会要求填NTP服务器生产环境建议所有ESXi和vCenter都指向同一台时间服务器。虚拟化集群时间不一致证书验证、AD域认证、HA故障判定全会跟着乱这是最容易被忽略的“底层病根”。第三是部署大小虚拟机规模在几十台以内选small即可VCSA会对CPU和内存做对应分配选大了浪费资源选小了后期vCenter服务在高峰期飙高负载。磁盘置备建议选Thin ProvisionVCSA自身磁盘占用会随日志增长精简置备便于在存储上多留余地。部署完成后用浏览器访问https://vCenter-IP:5480打开VAMI界面初始化admin密码、时区和NTP配置这一步结束后才能用vSphere Client登录。4. 集群参数与资源调度HA、DRS、资源池的推荐值与调优方向4.1 HA的隔离地址和准入控制两个参数决定故障转移的成败HA配置里最值得做功课的是“隔离地址”和“准入控制”。HA的工作机制是主机间通过管理网络互发心跳同时不断探测隔离地址——默认是管理网络的默认网关——用来判断主机是网络分区了还是真宕机了。问题就出在这个“默认网关”上如果网关设备自己故障集群里所有主机都会判定自己被隔离于是每台主机都去尝试重启对方的虚拟机结果就是一场集体翻车。我处理过的最惨烈一次事故是三层交换机电源烧了整个集群的虚拟机一半启动失败、一半互相抢锁。后来规范做法是把隔离地址改成集群内另一台ESXi的管理IP这样单一网络设备故障不会引发全集群误判。配置位置在vSphere Client集群的HA高级选项里das.usedefaultisolationaddress false das.isolationaddress 172.16.10.2第二关键的是准入控制策略。它决定HA在预留多少资源来应对故障转移三种策略各有适用场景策略资源预留方式特点适用场景集群允许的主机故障数预留1台故障主机的全部CPU/内存最稳但资源浪费明显生产集群初期预留CPU和内存百分比按比例预留推荐25%起步灵活平衡性好资源紧张的生产环境指定故障虚拟机数量只预留被保护VM的总资源利用率最高但配置复杂只保护关键业务新集群没有负载历史数据时我建议先用“允许一个主机故障”等跑两三个月摸清资源水位再切到“预留百分比”。预留比例不要一上来就设10%HA切换时资源不够虚拟机根本起不来。4.2 DRS的自动化级别与迁移阈值保守起步观察后再放开DRS负责两件事虚拟机初始放置和运行中动态负载均衡。初始放置阶段DRS会按资源池和当前负载选一台最合适的主机开机动态均衡阶段它通过vMotion把虚拟机和主机间的CPU/内存占用拉平。DRS的自动化级别分三层Manual只给建议Partially automated自动做初始放置但迁移要人点头Fully automated全自动执行。新集群我永远先设Manual让DRS把迁移建议放在界面上观察一两周看它频繁建议迁哪台、迁移成本多大确认阈值合理后再切到Partially automated。直接开Fully automated的风险是负载波动大时DRS会把虚拟机当成乒乓球来回迁移迁移本身要占vMotion带宽和CPU开销。迁移阈值Migration Threshold是1到5的数字约保守、迁移冲动越小。默认3我生产环境一般保持3或降到2。有人为了“均衡”调到5结果vMotion每小时好几次业务网络抖动投诉不断。调阈值之前先确认vMotion网络是真独立VLAN且带宽充足否则一切激进的均衡策略都是自找麻烦。创建集群时还有一个容易被忽略的选项EVC模式增强vMotion兼容性。EVC把集群内所有主机的CPU指令集基线统一以后不同代际CPU的新主机加入时vMotion不会报“CPU指令集不兼容”不用把虚拟机全关机重来。EVC基线一般选比现有CPU低一两代新CPU照样能跑只是部分新指令集不被使用。这个开关一旦集群下有虚拟机开机后就改不了了所以创建集群时就要设好。4.3 CPU超分、内存预留与NUMA性能调优的三个边界CPU超分是虚拟化收益最大的地方也是翻车最多的地方。一台24核的物理机虚拟机的vCPU总数可以远超24生产环境常见超分比在2:1到4:1之间。判断超分是否过度的指标是%RDY在esxtop里按v再按f打开CPU字段就能看到。虚拟机的%CSTP和%RDY超过10%时说明CPU资源已经争抢到业务肉眼可感知的程度要么降超分要么迁虚拟机。内存的账不一样。ESXi的内存是真正按需分配的你跟每台虚拟机承诺了多少内存就尽量满足它内存超分不是不行但超分一旦触发虚拟机会开始Swap性能直接断崖式下跌。生产环境中我一般让内存总和不超过物理内存的1.5倍并且把数据库这类常驻业务的内存全部预留Reserve防的就是超分后系统Swap。份额、预留、限制是资源池的三种控制手段理解它们的优先级比死记数值重要预留决定虚拟机能不能开机限制决定它最多用多少份额决定抢资源时谁先拿到。对普通业务虚拟机份额保持默认Normal只在关键业务上调高份额不要给一堆虚拟机都设High——那样等于谁都没设。NUMA是性能玄学的重灾区。虚拟机跨NUMA节点分配内存和CPU时访问远端内存的时延比本地高一大截。大内存虚拟机比如超过64GB尽量打开“偏好NUMA节点亲和性”让ESXi把它的CPU和内存塞在同一个NUMA节点。常见的反面教材是把64GB内存的数据库虚拟机跑在2路服务器上主机20个物理核但内存条插得不对称导致虚拟机一半内存走了远端访问数据库延迟翻倍。ESXi本身会自动处理NUMA拓扑但虚拟机的“每CPU内存量过大”时手动亲和性仍有必要。5. 避坑vSphere实施中最高频的5个翻车现场5.1 现象安装完ESXi网卡认不到DCUI里只有管理口没IP原因ESXi安装ISO自带的驱动跟不上新网卡型号比如Intel X710、部分BCM5720版本在旧ISO里没有对应VIB。我之前给一台新采购的2U服务器装ESXi 7安装没报错重启后就是没有网络链路。解决下载对应网卡的Offline Bundle拷到数据存储进入维护模式用esxcli安装esxcli software vib install -d /vmfs/volumes/datastore1/ixgbe-offline-bundle.zip装完重启即可。还有一种情况是BIOS里SR-IOV开启导致网卡端口功能异常先去BIOS关掉SR-IOV再试。买服务器前查HCL清单比事后打驱动省事十倍。5.2 现象vCenter部署完5480端口VAMI打不开vSphere Client一直转圈原因部署VCSA时DNS没配全反向解析。vCenter内部组件启动时反复做主机名反查DNS解析不出来的组件起不来整体服务就卡死。解决登录VCSA的shell检查/etc/hosts里主机名和IP的映射把反向解析的条目写进去echo 172.16.10.3 vcsa.qlab.local vcsa /etc/hosts service-control --start --all治本的做法是让DNS服务器把vCenter的PTR记录配全。这个坑几乎每个不重视DNS的机房都会踩一次而且是“重启后过一阵又坏”的复发型故障。5.3 现象主机宕机后HA把虚拟机拉到另一台主机虚拟机卡在“文件被锁定”原因原主机不是彻底断电而是网络隔离状态共享存储上的虚拟机磁盘锁.lck还被原主机占着。新的宿主机拿不到磁盘写锁虚拟机根本启动不了。解决确认原主机确实断电或已从网络隔离必要时在vCenter里把原主机强制移除出集群再重启故障虚拟机。这个场景告诉我们光有HA还不够还要让隔离地址和心跳网络足够健壮才能保证故障判定准确不给锁冲突留机会。5.4 现象vMotion迁移一个80GB的虚拟机用了40分钟业务侧网络同步卡顿原因vMotion流量跟着虚拟机的业务网络走了同一个VLAN没走独立vMotion网络。迁移数据量大、压缩开关没拉满时业务带宽被吃掉大半。解决规划网络时坚决给vMotion单独划分端口组和VLAN并确认端口组绑定的是另一块物理网卡或做了独立的NIC Teaming。vMotion的高级设置里确认压缩选项没有被手动关闭WAN环境下压缩收益明显。迁移开始前在任务栏队列里设好并发数默认同时迁移4个虚拟机带宽足够再调高。5.5 现象虚拟机里的时间每个月越来越飘数据库主备日志错乱原因时钟源冲突。虚拟机上VMware Tools默认开启“与宿主机同步时间”同时虚拟机内部又配了NTP或AD域时间同步两个源打架结果两边都没校准。ESXi自身NTP没配置时宿主机时间本身就飘虚拟机同步自然跟着飘。解决确立单一时钟源。域内Windows虚拟机用AD域时间服务非域虚拟机统一用NTP。ESXi主机层面也配好NTPesxcli network firewall ruleset set -r ntpclient -e true esxcli system ntp set -s ntp.example.com /etc/init.d/ntpd restart注意第一行的防火墙规则不打开时NTP请求死都出不去配置写了等于没写。6. 迁移与备份最后一公里怎么走得稳6.1 P2V迁移物理服务器Converter的关键设置与缺口物理服务器迁入虚拟化环境最常见是用VMware vCenter Converter Standalone。流程分三步源物理机装Converter Agent、配置目标虚拟机网络与存储、执行在线复制。迁移前先做两件事在物理机上卸载安全软件和依赖硬件的驱动把动态磁盘转成基本磁盘。Converter不支持动态磁盘也不支持加密盘遇到必挂。迁移过程中的磁盘控制器驱动Windows系统会因控制器变化蓝屏建议先选LSI Logic SAS模拟系统起来后再装VMware半虚拟化SCSI驱动。在线迁移时会短暂停业务窗口生产环境选业务低峰时段操作并在目标虚拟机开机前先把IP和MAC规划好避免跟现网冲突。6.2 没备份预算时的兜底方案PowerCLI定时快照预算充足就上Veeam这类无代理备份虚拟机多、要找回任意时间点数据时省心。预算受限时我一般用PowerCLI脚本给关键虚拟机打定时快照把恢复能力至少做出来——快照别留多留一两个就行留着旧快照不及时合并时间一长会把业务磁盘撑满Connect-VIServer -Server 172.16.10.10 -User root -Password your-password Get-VM -Name web-server-01 | New-Snapshot -Name daily-backup -Description daily scheduled snapshot -Memory -Quiesce Disconnect-VIServer -Confirm:$false-Quiesce参数让快照对Windows虚拟机做静态化处理要求虚拟机装好VMware Tools且支持卷阴影复制-Memory保存内存状态适合数据库这类有运行态数据的业务但快照文件体积会变大。这个方案恢复粒度只到快照时刻想找回几小时前的数据就别指望了。我的习惯是新节点入集群第一件事不是装业务而是先把EVC打开、把NTP和DNS指对、把HA的隔离地址改成集群内另一台主机然后跑一轮完整的vMotion演练再让业务组把应用迁上去。这套流程救过我很多次场——与其等故障来了翻日志不如把最不显眼的参数一次做对。希望帮到你。本文还有配套的精品资源点击获取
VMware服务器虚拟化落地指南：从vSphere选型到HA/DRS调优避坑
简介这是一份面向 IT 运维、系统集成商与虚拟化实施人员的 VMware 服务器虚拟化解决方案文档。文档以 vSphere 平台为主线系统讲解 vCompute、vStorage、vNetwork 三大组件能力覆盖服务器整合、业务连续性与测试开发三类典型应用场景并给出了从需求分析、方案拓扑、软硬件配置到基础架构服务层、应用程序服务层、虚拟应用程序层的完整设计流程同时对可选异地容灾方案及旧硬件投资保护策略也有所阐述。整个资料包含 1 个 doc 格式文档压缩包体积 3.39MB内容组织较完整可作为企业虚拟化项目立项、方案选型、实施落地或内部培训的参考材料。该文档已有 2732 人浏览学习读者可从目录中快速定位需求分析、拓扑设计、软硬件清单、容灾策略与同类产品对比等关键章节用来撰写投标方案、搭建 vSphere 实验环境或规划虚拟机资源能有效减少前期调研成本提升数据中心资源利用率与运维管理效率。1. VMware服务器虚拟化解决方案先把“一机一业务”的病根说清“VMware服务器虚拟化解决方案”这几个字在采购清单和标书里天天见但真正在机房里把它落到能跑生产业务的形态从选型到参数要过的坎比想象中多。物理服务器的CPU利用率常年趴在5%-15%业务却按峰值买硬件等到扩容又要停机虚拟化方案要做的就是把多台业务虚拟机安全地挤进同一台物理机用管理平台统一调度让迁移、重启、扩容变成分钟级操作。这套东西适合两类人刚接手虚拟化平台的系统工程师和要给客户出基础架构方案的集成商。下面按我自己的落地顺序把版本选型、实施步骤和踩过的坑一次讲清。2. 从物理机到虚拟化集群版本选型与架构设计的三个关键决策2.1 先分清两个名字ESXi和vCenter到底管哪一层网上搜VMware服务器虚拟化出来的多半是vmware workstation安装教程。很多刚入门的人照着Workstation装了一台虚拟机就把这个当成了“虚拟化方案”——这中间差着一整套vSphere体系的规划。Workstation是跑在桌面系统上的单机虚拟化工具适合做实验和测试不能拿来承载生产虚拟机服务器虚拟化的主体是ESXi一个直接装在裸机上的hypervisor装完之后这台物理机就变成一台可远程管理的宿主机。而vCenter Server是管理多个ESXi的统一入口HA、vMotion、DRS这类高级能力都是vCenter层面提供的。在版本选择上生产环境跟着vSphere主线走8.0之后的版本对硬件兼容性的要求更严格选服务器之前一定要去兼容性指南里查HCL别等机器到手才发现阵列卡驱动不在安装ISO里。免费版ESXi自带基础管理界面能建虚拟机、能开快照但跨主机在线迁移、故障自动切换、资源动态调度这些能力都没有。我见过有人拿vmware workstation 17的许可证密钥试图去激活ESXi两个产品线完全不通用vSphere的授权是按CPU核心数核算的Workstation的密钥激活不了服务器版。真正的分界点在于你要管几台宿主机、虚拟机能不能容忍停机。三台以内的学习环境免费版ESXi加Workstation Player就够折腾了一旦业务虚拟机开始承担生产流量vCenter就是刚需。授权可以按实际规模买但架构上不要把免费版当成终态否则后面补管理平台的时候虚拟机迁移会让你付出比授权费更贵的维护成本。2.2 存储选型本地盘、外置存储和vSAN的取舍清单服务器虚拟化上线后最大的瓶颈不是CPU也不是内存而是存储I/O。我给新项目做方案时第一个问的永远是“虚拟机要跑什么业务、每秒有多少写”。存储选型从三个维度看是否支持vMotion和HA、故障域在哪、成本怎么摊。先给一张对比表类型前置条件迁移能力适合规模主要风险本地HDD/SSD无需额外设备无vMotion只能停机复制单机、测试环境宿主机故障即数据全失外置存储FC/iSCSI/NFS额外存储阵列、交换机完整vMotion/HA/DRS中型以上多路径配置不当形成单点vSAN超融合至少3台ESXi各节点有SSDHDD完整vMotion/HA/DRS3节点起步缓存盘故障拖慢全集群本地盘的坑在于“看着便宜用起来心惊胆战”。虚拟机文件躺在宿主机本地盘上宿主机一坏虚拟机连壳带数据一起瘫。外置存储是传统保险方案共享存储是vMotion和HA的前提但部署时多路径MPIO必须一次配对FC环境下HBA卡驱动、交换机zone、存储侧LUN映射三边都要核对漏一环就是性能玄学。vSAN是这些年集成商最爱推的它把每台ESXi的本地盘聚合成一个分布式存储池少了外置存储的购买和维护成本但vSAN要求集群至少3节点生产环境我一般建议4节点起步而且每个节点至少配一块SSD做缓存层纯HDD的容量层跑起来延迟会让人怀疑人生。选型建议就一句话业务虚拟机低于20台、对迁移频率要求不高本地盘加外置NFS够用预算允许且机房空间紧张直接vSAN。vSAN的好处是以后扩容就是加节点坏处是节点间网络抖动会把整集群拖进“All hosts are partitioned”的状态所以vSAN节点之间的网络交换机建议独立或至少做链路捆绑别跟业务流量挤在同一根线上。不管选哪条路给虚拟机磁盘做配置时置备方式选Thin Provision精简置备还是Thick厚置备要提前想清楚厚置备性能稳定但空间占用高精简置备适合大部分业务但快照和备份频繁时磁盘会缓慢膨胀。2.3 网络规划管理网、业务网与vMotion网的带宽和VLAN怎么分开算虚拟化集群至少三种流量要分开ESXi管理网络、虚拟机业务网络、vMotion迁移网络外置存储是iSCSI时还要再加一张存储网。很多翻车现场都源于“所有流量混在一个VLAN里”平时看着没事一跑批量迁移或存储备份整台宿主机网络延迟飙升。我一般要求每台物理机至少双口万兆没有万兆就双千兆捆绑。常见拓扑里管理网络单独划VLAN业务网络按虚拟机用途分段vMotion网络独立VLAN且不配置网关。vMotion流量大且密集它跟业务网挤在一起时高峰期会直接把业务带宽吃光跟管理网挤在一起时迁移一跑vSphere Client就开始卡顿。端口组层面的关键参数是NIC Teaming的负载均衡策略。vSphere标准交换机默认的策略是“Route based on the originating virtual port”——按虚拟机网卡端口固定映射到某块物理网卡也就是说默认只是冗余不做带宽叠加。两块物理网卡捆绑1000M跑N个虚拟机实际业务流量还是只走一块卡另一块只在第一块故障时才接管。想真正打满双网卡带宽要改成“Route based on IP hash”但这时交换机侧必须同步配置链路聚合LACP否则交换机会看到同一个MAC地址从两个端口出现直接丢包表现就是虚拟机网络忽通忽断。另外管理网络和vMotion网络的IP不要用自动分配固定IP并写进文档。ESXi主机名和IP的对应关系在vCenter加入集群、证书替换、HA心跳这些环节都会用到乱填的后果是隔三差五出现“主机管理服务不通”的告警。3. 把方案落到服务器上ESXi部署与vCenter初始化的可抄作业步骤3.1 制作启动盘与开机的三个BIOS开关装ESXi的第一步是拿ISO做启动U盘。Windows下用Rufus选择DD镜像模式写入Linux下直接dd命令里务必看清楚设备名我见过把of/dev/sda写成U盘实际指向系统盘的一条命令毁掉一台服务器。# 确认U盘设备名后再执行/dev/sdX请替换为你的U盘 lsblk dd if/path/to/VMware-ESXi-8.0.iso of/dev/sdX bs4M statusprogress sync安装ESXi 8.0的硬件门槛不高CPU支持64位和硬件虚拟化VT-x/AMD-V内存至少4GB安装目标盘建议30GB以上。但BIOS里有三个开关不设对安装过程就会出现莫名其妙的问题。第一是CPU虚拟化Intel的VT-x或AMD的AMD-V必须启用否则安装器直接报错。第二是“Above 4G Decoding”用NVMe硬盘或某些阵列卡时不开这个安装器会找不到磁盘——这是最典型的“明明盘在阵列里ESXi就是看不见”。第三是串口重定向如果服务器有IPMI带外管理把Serial Console的重定向关掉避免安装过程中ESXi把输出送到串口导致显示器黑屏。Secure Boot可以保持开启ESXi 8.0官方支持但如果后面要装第三方网卡或存储驱动VIB建议先关掉等驱动全部就绪后再开省得踩“VIB未签名导致启动失败”的坑。3.2 分区与密码策略安装ESXi时别在这两处翻车安装界面走到磁盘选择时大多数情况下直接按默认分区走就行ESXi会自动划分系统区、日志区和内存转储区。要注意的是服务器自带阵列卡时先进入阵列卡BIOS把物理盘建成一个逻辑盘VD再把这个VD作为目标盘安装。我遇到过安装器能看到物理盘但装到一半报“partitions not found”的情况原因就是阵列卡没建VDESXi把每块物理盘当独立设备处理分区逻辑全乱。root密码是另一个高频卡点。ESXi的root密码策略比普通Linux严格至少7个字符必须同时包含大小写字母、数字和特殊符号而且不能包含“root”这个字符串。我第一次在一台老机器上装用了“Root123”以为够强壮结果安装界面提示“password must not contain root”硬生生卡了十分钟。密码复杂度在ESXi 8.0里不可降级别浪费时间找开关直接按规则设置。安装完成后进入DCUI直接控制台界面按F2输入root账号设置管理网络。这里建议直接设置静态IP、掩码、网关和DNS不要用DHCP。DHCP分配的IP一旦变化vCenter里的主机连接就会断且ESXi的证书和主机名绑定更换IP后要重启管理服务才能恢复。3.3 vCenter以虚拟机形态部署关键网络与时间参数一次设对vCenter在vSphere 7之后只剩VCSAvCenter Server Appliance形态也就是说vCenter本身是一台虚拟机安装过程就是把VCSA镜像部署到ESXi上。下载的ISO包在Windows里挂载运行installer选择“Embedded”部署模式填入目标ESXi的地址和管理员账号即可。部署向导里有几个参数值得停下来看清楚。第一是vCenter虚拟机的网络要指定它所属的端口组和IP、主机名、DNS。vCenter的IP必须是各ESXi通过管理网络能稳定访问的而且DNS的正反向解析建议都配全。vCenter内部大量组件启动时会做主机名反查DNS配置不全时典型的故障就是VAMI配置界面5480端口打不开、vSphere Client登录报“系统服务异常”日志里全是“lookup reverse fail”之类的话。第二是NTPvCenter安装时会要求填NTP服务器生产环境建议所有ESXi和vCenter都指向同一台时间服务器。虚拟化集群时间不一致证书验证、AD域认证、HA故障判定全会跟着乱这是最容易被忽略的“底层病根”。第三是部署大小虚拟机规模在几十台以内选small即可VCSA会对CPU和内存做对应分配选大了浪费资源选小了后期vCenter服务在高峰期飙高负载。磁盘置备建议选Thin ProvisionVCSA自身磁盘占用会随日志增长精简置备便于在存储上多留余地。部署完成后用浏览器访问https://vCenter-IP:5480打开VAMI界面初始化admin密码、时区和NTP配置这一步结束后才能用vSphere Client登录。4. 集群参数与资源调度HA、DRS、资源池的推荐值与调优方向4.1 HA的隔离地址和准入控制两个参数决定故障转移的成败HA配置里最值得做功课的是“隔离地址”和“准入控制”。HA的工作机制是主机间通过管理网络互发心跳同时不断探测隔离地址——默认是管理网络的默认网关——用来判断主机是网络分区了还是真宕机了。问题就出在这个“默认网关”上如果网关设备自己故障集群里所有主机都会判定自己被隔离于是每台主机都去尝试重启对方的虚拟机结果就是一场集体翻车。我处理过的最惨烈一次事故是三层交换机电源烧了整个集群的虚拟机一半启动失败、一半互相抢锁。后来规范做法是把隔离地址改成集群内另一台ESXi的管理IP这样单一网络设备故障不会引发全集群误判。配置位置在vSphere Client集群的HA高级选项里das.usedefaultisolationaddress false das.isolationaddress 172.16.10.2第二关键的是准入控制策略。它决定HA在预留多少资源来应对故障转移三种策略各有适用场景策略资源预留方式特点适用场景集群允许的主机故障数预留1台故障主机的全部CPU/内存最稳但资源浪费明显生产集群初期预留CPU和内存百分比按比例预留推荐25%起步灵活平衡性好资源紧张的生产环境指定故障虚拟机数量只预留被保护VM的总资源利用率最高但配置复杂只保护关键业务新集群没有负载历史数据时我建议先用“允许一个主机故障”等跑两三个月摸清资源水位再切到“预留百分比”。预留比例不要一上来就设10%HA切换时资源不够虚拟机根本起不来。4.2 DRS的自动化级别与迁移阈值保守起步观察后再放开DRS负责两件事虚拟机初始放置和运行中动态负载均衡。初始放置阶段DRS会按资源池和当前负载选一台最合适的主机开机动态均衡阶段它通过vMotion把虚拟机和主机间的CPU/内存占用拉平。DRS的自动化级别分三层Manual只给建议Partially automated自动做初始放置但迁移要人点头Fully automated全自动执行。新集群我永远先设Manual让DRS把迁移建议放在界面上观察一两周看它频繁建议迁哪台、迁移成本多大确认阈值合理后再切到Partially automated。直接开Fully automated的风险是负载波动大时DRS会把虚拟机当成乒乓球来回迁移迁移本身要占vMotion带宽和CPU开销。迁移阈值Migration Threshold是1到5的数字约保守、迁移冲动越小。默认3我生产环境一般保持3或降到2。有人为了“均衡”调到5结果vMotion每小时好几次业务网络抖动投诉不断。调阈值之前先确认vMotion网络是真独立VLAN且带宽充足否则一切激进的均衡策略都是自找麻烦。创建集群时还有一个容易被忽略的选项EVC模式增强vMotion兼容性。EVC把集群内所有主机的CPU指令集基线统一以后不同代际CPU的新主机加入时vMotion不会报“CPU指令集不兼容”不用把虚拟机全关机重来。EVC基线一般选比现有CPU低一两代新CPU照样能跑只是部分新指令集不被使用。这个开关一旦集群下有虚拟机开机后就改不了了所以创建集群时就要设好。4.3 CPU超分、内存预留与NUMA性能调优的三个边界CPU超分是虚拟化收益最大的地方也是翻车最多的地方。一台24核的物理机虚拟机的vCPU总数可以远超24生产环境常见超分比在2:1到4:1之间。判断超分是否过度的指标是%RDY在esxtop里按v再按f打开CPU字段就能看到。虚拟机的%CSTP和%RDY超过10%时说明CPU资源已经争抢到业务肉眼可感知的程度要么降超分要么迁虚拟机。内存的账不一样。ESXi的内存是真正按需分配的你跟每台虚拟机承诺了多少内存就尽量满足它内存超分不是不行但超分一旦触发虚拟机会开始Swap性能直接断崖式下跌。生产环境中我一般让内存总和不超过物理内存的1.5倍并且把数据库这类常驻业务的内存全部预留Reserve防的就是超分后系统Swap。份额、预留、限制是资源池的三种控制手段理解它们的优先级比死记数值重要预留决定虚拟机能不能开机限制决定它最多用多少份额决定抢资源时谁先拿到。对普通业务虚拟机份额保持默认Normal只在关键业务上调高份额不要给一堆虚拟机都设High——那样等于谁都没设。NUMA是性能玄学的重灾区。虚拟机跨NUMA节点分配内存和CPU时访问远端内存的时延比本地高一大截。大内存虚拟机比如超过64GB尽量打开“偏好NUMA节点亲和性”让ESXi把它的CPU和内存塞在同一个NUMA节点。常见的反面教材是把64GB内存的数据库虚拟机跑在2路服务器上主机20个物理核但内存条插得不对称导致虚拟机一半内存走了远端访问数据库延迟翻倍。ESXi本身会自动处理NUMA拓扑但虚拟机的“每CPU内存量过大”时手动亲和性仍有必要。5. 避坑vSphere实施中最高频的5个翻车现场5.1 现象安装完ESXi网卡认不到DCUI里只有管理口没IP原因ESXi安装ISO自带的驱动跟不上新网卡型号比如Intel X710、部分BCM5720版本在旧ISO里没有对应VIB。我之前给一台新采购的2U服务器装ESXi 7安装没报错重启后就是没有网络链路。解决下载对应网卡的Offline Bundle拷到数据存储进入维护模式用esxcli安装esxcli software vib install -d /vmfs/volumes/datastore1/ixgbe-offline-bundle.zip装完重启即可。还有一种情况是BIOS里SR-IOV开启导致网卡端口功能异常先去BIOS关掉SR-IOV再试。买服务器前查HCL清单比事后打驱动省事十倍。5.2 现象vCenter部署完5480端口VAMI打不开vSphere Client一直转圈原因部署VCSA时DNS没配全反向解析。vCenter内部组件启动时反复做主机名反查DNS解析不出来的组件起不来整体服务就卡死。解决登录VCSA的shell检查/etc/hosts里主机名和IP的映射把反向解析的条目写进去echo 172.16.10.3 vcsa.qlab.local vcsa /etc/hosts service-control --start --all治本的做法是让DNS服务器把vCenter的PTR记录配全。这个坑几乎每个不重视DNS的机房都会踩一次而且是“重启后过一阵又坏”的复发型故障。5.3 现象主机宕机后HA把虚拟机拉到另一台主机虚拟机卡在“文件被锁定”原因原主机不是彻底断电而是网络隔离状态共享存储上的虚拟机磁盘锁.lck还被原主机占着。新的宿主机拿不到磁盘写锁虚拟机根本启动不了。解决确认原主机确实断电或已从网络隔离必要时在vCenter里把原主机强制移除出集群再重启故障虚拟机。这个场景告诉我们光有HA还不够还要让隔离地址和心跳网络足够健壮才能保证故障判定准确不给锁冲突留机会。5.4 现象vMotion迁移一个80GB的虚拟机用了40分钟业务侧网络同步卡顿原因vMotion流量跟着虚拟机的业务网络走了同一个VLAN没走独立vMotion网络。迁移数据量大、压缩开关没拉满时业务带宽被吃掉大半。解决规划网络时坚决给vMotion单独划分端口组和VLAN并确认端口组绑定的是另一块物理网卡或做了独立的NIC Teaming。vMotion的高级设置里确认压缩选项没有被手动关闭WAN环境下压缩收益明显。迁移开始前在任务栏队列里设好并发数默认同时迁移4个虚拟机带宽足够再调高。5.5 现象虚拟机里的时间每个月越来越飘数据库主备日志错乱原因时钟源冲突。虚拟机上VMware Tools默认开启“与宿主机同步时间”同时虚拟机内部又配了NTP或AD域时间同步两个源打架结果两边都没校准。ESXi自身NTP没配置时宿主机时间本身就飘虚拟机同步自然跟着飘。解决确立单一时钟源。域内Windows虚拟机用AD域时间服务非域虚拟机统一用NTP。ESXi主机层面也配好NTPesxcli network firewall ruleset set -r ntpclient -e true esxcli system ntp set -s ntp.example.com /etc/init.d/ntpd restart注意第一行的防火墙规则不打开时NTP请求死都出不去配置写了等于没写。6. 迁移与备份最后一公里怎么走得稳6.1 P2V迁移物理服务器Converter的关键设置与缺口物理服务器迁入虚拟化环境最常见是用VMware vCenter Converter Standalone。流程分三步源物理机装Converter Agent、配置目标虚拟机网络与存储、执行在线复制。迁移前先做两件事在物理机上卸载安全软件和依赖硬件的驱动把动态磁盘转成基本磁盘。Converter不支持动态磁盘也不支持加密盘遇到必挂。迁移过程中的磁盘控制器驱动Windows系统会因控制器变化蓝屏建议先选LSI Logic SAS模拟系统起来后再装VMware半虚拟化SCSI驱动。在线迁移时会短暂停业务窗口生产环境选业务低峰时段操作并在目标虚拟机开机前先把IP和MAC规划好避免跟现网冲突。6.2 没备份预算时的兜底方案PowerCLI定时快照预算充足就上Veeam这类无代理备份虚拟机多、要找回任意时间点数据时省心。预算受限时我一般用PowerCLI脚本给关键虚拟机打定时快照把恢复能力至少做出来——快照别留多留一两个就行留着旧快照不及时合并时间一长会把业务磁盘撑满Connect-VIServer -Server 172.16.10.10 -User root -Password your-password Get-VM -Name web-server-01 | New-Snapshot -Name daily-backup -Description daily scheduled snapshot -Memory -Quiesce Disconnect-VIServer -Confirm:$false-Quiesce参数让快照对Windows虚拟机做静态化处理要求虚拟机装好VMware Tools且支持卷阴影复制-Memory保存内存状态适合数据库这类有运行态数据的业务但快照文件体积会变大。这个方案恢复粒度只到快照时刻想找回几小时前的数据就别指望了。我的习惯是新节点入集群第一件事不是装业务而是先把EVC打开、把NTP和DNS指对、把HA的隔离地址改成集群内另一台主机然后跑一轮完整的vMotion演练再让业务组把应用迁上去。这套流程救过我很多次场——与其等故障来了翻日志不如把最不显眼的参数一次做对。希望帮到你。本文还有配套的精品资源点击获取
