简介面向电力系统短期负荷预测的支持向量机SVMMATLAB仿真资源适合机器学习初学者、电力数据分析人员及需要快速搭建回归预测模型的开发者。SVM通过核函数将数据映射到高维空间以寻找最优超平面在小样本、非线性场景中表现稳健。资源共12个文件包含4个.m源程序、6个txt数据文件与2个t格式数据集压缩包仅24KB便于下载运行。已有753人学习下载。包内提供eunite2001、train1997、test1997等历史负荷数据以及svr.m、svr2.m、svr1997.m等脚本覆盖数据清洗、模型训练、预测评估全流程并支持线性、RBF等核函数对比。通过调整C、γ参数并结合MSE、MAE、R²指标可系统优化预测精度同时利用交叉验证提升泛化能力。该实例既可用于教学演示也为实际负荷预测项目提供了可直接参考的MATLAB实现基线。1. 支持向量机的matlab仿真先搞清“跑通”和“跑对”是两回事支持向量机的matlab仿真常被看作机器学习的入门作业但实际做起来卡住人的多半不是SVM的数学推导而是matlab里数据格式、核函数和工具箱选择之间的一堆隐性约定。用同一份数据有人跑出98%准确率有人换了台机器或者把matlab从R2021a换到R2023b结果就完全不一样这就是只“跑通”没“跑对”的典型症状。这里要解决的是手里有数据、想在matlab里快速验证SVM效果的工程师和学生的真实痛点最小成本拿到可信结果并且知道结果为什么可信。2. 支持向量机matlab仿真的准备工作工具箱选型与数据格式2.1 fitcsvm、libsvm与Classification Learner选错工具会白干一下午matlab里做支持向量机仿真常见有三条路stats工具箱自带的fitcsvm、第三方libsvm、以及App里的Classification Learner。多数人的第一反应是打开Classification Learner点一点省事但它导出的是封装好的模型对象一旦要写论文图表或者做批量仿真反而难改。我的建议是直接用fitcsvm写脚本。fitcsvm是matlab官方实现接口稳定支持SMO和ISDA两种求解器还能直接输出Score和交叉验证损失。libsvm在自定义核函数和某些高维稀疏场景下更灵活但它需要mex编译matlab版本一升级编译器路径经常要重新配这个坑后面专门讲。如果你只是做常规的二分类、多分类或回归仿真fitcsvm加fitcecoc就足够不需要为了“更专业”去装libsvm。另一个选型依据是版本。我常用的是matlab 2023b以下代码向下兼容到R2018a左右但不同版本对默认参数的设定不完全一样比如某些新版本会把自动超参数优化默认打开导致同样的代码在别人机器上跑出不同结果。所以凡是重要仿真我都会显式写上关键参数不靠默认值。在动手写代码之前还有一件容易被忽略的事数据格式。fitcsvm要求输入X是n行p列的数值矩阵行是样本列是特征y是与X行数相同的向量。y可以是数值、逻辑值或者categorical但如果是分类标签建议直接转成categorical或者double不要用字符串元胞数组否则后续的混淆矩阵和绘图都要多一步转换。这里还要多说一句matlab里的SVM接口不像Python的sklearn那样直接读DataFrame它的输入要求非常死板。有人在做matlab图像处理方向时把图像特征拼成元胞数组就往里塞结果报错“Y must be a vector of class labels”其实只要提前用cell2mat转一下就能解决。2.2 fitcsvm最小命令从数据矩阵到预测标签的一行代码下面是最小可运行的fitcsvm例子数据用随机生成的二分类点。% 支持向量机matlab仿真fitcsvm最小实例 rng(42); % 保证可复现 X [randn(100,2) 1; randn(100,2) - 1]; % 200个样本2维特征 y [ones(100,1); -ones(100,1)]; % 标签取1和-1数值向量 % 训练SVM模型 svmModel fitcsvm(X, y, ... KernelFunction, linear, ... % 线性核 Standardize, true, ... % 自动做z-score标准化 BoxConstraint, 1); % C 1 % 在训练集上预测并计算准确率 predLabel predict(svmModel, X); accuracy sum(predLabel y) / length(y); fprintf(训练集准确率: %.2f%%\n, accuracy * 100);这里几个参数要说明X是200行2列的矩阵这里故意用两个偏移的簇生成数据让SVM有明确的边界可找y用1和-1这是fitcsvm推荐的二分类标签写法用0和1也可以但score的正负方向会变容易在画图时混淆。Standardize设为true很关键否则特征量纲不同时RBF核的gamma会失衡。BoxConstraint就是SVM里的惩罚系数C默认是1但如果数据有明显噪声可以调小到0.1如果希望更严格分类可以调大到10。预测阶段用predict就够了注意fitcsvm返回的是模型对象不是matlab里老版本那种函数句柄。如果你拿到的是测试集predict是通用的但Class名称的顺序可能和训练时不同画ROC曲线的时候要留意。实际做仿真时很少有人只关心训练集准确率因为SVM的过拟合能力很强尤其在RBF核下训练集跑到100%很容易。真正要观察的是测试集。常见做法是先把样本用cvpartition分成训练集和测试集再训练预测。这一步的标准写法是cv cvpartition(y, HoldOut, 0.2); % 留出20%做测试 Xtrain X(training(cv), :); ytrain y(training(cv), :); Xtest X(test(cv), :); ytest y(test(cv), :); svmModel fitcsvm(Xtrain, ytrain, KernelFunction, rbf, Standardize, true); testPred predict(svmModel, Xtest); testAcc sum(testPred ytest) / length(ytest);注意cvpartition是按类别比例做划分的对不平衡数据比较友好但如果你的正负样本比例极端比如99比1HoldOut方式可能把少数类全部切到测试集这时要考虑用分层划分并设随机种子或者干脆用交叉验证。3. 支持向量机matlab实例分类与回归各跑一遍3.1 分类实例用鸢尾花数据做三分类并画出决策边界fitcsvm本质上是二分类器遇到三分类以上的数据集要用fitcecoc做一对一或一对多的组合策略。matlab里最省事的写法是fitcecoc它默认对每个二分类子问题使用fitcsvm。下面用matlab自带的鸢尾花数据集跑一个三分类实例。% 支持向量机matlab实例鸢尾花三分类 load fisheriris; % matlab自带数据集 X meas(:, 3:4); % 取花瓣长度和宽度两个特征方便可视化 y species; % setosa / versicolor / virginica % 训练多分类SVM内部自动做一对一 svmMulti fitcecoc(X, y, ... Learners, templateSVM(KernelFunction, rbf, Standardize, true), ... CVPartition, cvpartition(y, HoldOut, 0.3)); % 30%作为测试 % 查看交叉验证误差 kfoldLoss(svmMulti) % 如果传了CVPartition返回留出集的损失这里有两个关键点。第一Learners参数用templateSVM指定基分类器而不是字符串这样可以在fitcecoc里统一控制所有二分类SVM的核函数和标准化。第二鸢尾花只有150个样本如果直接拿全部数据训练再预测结果会好得没有参考价值所以这里用cvpartition留出30%做验证。注意kfoldLoss在这里的实际含义当传入的是HoldOut划分时它计算留出集上的分类损失数值越小越好。如果想画决策边界二维特征是最方便的。下面这段代码把二维平面网格化后交给predict再用contourf把分类区域画出来% 用二维网格绘制决策边界 [x1Grid, x2Grid] meshgrid(... linspace(min(X(:,1)), max(X(:,1)), 200), ... linspace(min(X(:,2)), max(X(:,2)), 200)); xGrid [x1Grid(:), x2Grid(:)]; predGrid predict(svmMulti, xGrid); figure; gscatter(X(:,1), X(:,2), y, rgb, o); hold on; contour(x1Grid, x2Grid, reshape(predGrid, size(x1Grid)), k, LineWidth, 1);这段代码经常出现在支持向量机matlab仿真的作业里但很多人画出来是花的原因多半是网格范围取的是原始数据min和max而SVM在Standardizetrue时是在标准化空间里计算的边界在原始空间会被拉伸。如果发现边界形状奇怪一个简单办法是把网格范围向外扩10%或者把Standardize关掉再画。我一般会保留Standardize但把linspace的范围设成min-1到max1并在图上标注支持向量。支持向量的提取方式也要提一下训练单个fitcsvm模型时可以用svmModel.SupportVectors拿到支持向量坐标但fitcecoc是多模型组合需要遍历svmMulti.Trained里的每个二分类器才能拿到各自的支持向量复杂度高一些。在论文里如果只需要展示一两张图建议直接对二维数据用单个fitcsvm做二分类并画支持向量比硬啃fitcecoc的事件结构省时间。3.2 回归实例fitrsvm拟合带噪正弦曲线支持向量机不只做分类做回归时在matlab里对应的是fitrsvm核心参数从C变成了Epsilon也就是不敏感带宽度以及BoxConstraint。下面用一个带噪声的正弦波演示SVR的拟合效果。% 支持向量机matlab实例SVR拟合带噪正弦 rng(1); x linspace(-3, 3, 200); yTrue sin(x); yNoise yTrue 0.1 * randn(size(x)); % 加噪声 svrModel fitrsvm(x, yNoise, ... KernelFunction, rbf, ... Epsilon, 0.1, ... % 不敏感带宽 BoxConstraint, 1, ... % 惩罚系数C Standardize, true); yPred predict(svrModel, x); plot(x, yTrue, k--, LineWidth, 1.5); hold on; plot(x, yNoise, o, MarkerSize, 3); plot(x, yPred, r-, LineWidth, 1.5); legend(真实曲线, 带噪观测, SVR预测);Epsilon是SVR特有的参数它决定了一个预测值和真实值之间允许有多大的误差不会被惩罚。Epsilon越小模型越努力拟合每个点的细节噪声会被学进去Epsilon越大拟合曲线越平滑但可能丢掉真实趋势。一般从0.05到0.2之间试起如果是归一化后的y然后看曲线是否在噪声带中间穿行而不是穿进每个点。BoxConstraint在回归里的作用与分类一致约束越大对超出Epsilon带的样本惩罚越重曲线也越曲折。这里有一个容易被忽略的点fitrsvm的x是列向量不是行向量。如果你读入的是一行数据记得转置否则预测结果会是空的或者维度对不上。这个问题在matlab图像处理方向尤其常见因为图像特征矩阵常常是行是样本而单独提取某个特征时容易搞成行向量。跑完回归之后验证指标一般用均方误差MSE和决定系数R2。matlab里没有现成的R2函数通常自己写两行R2 1 - sum((yTrue - yPred).^2) / sum((yTrue - mean(yTrue)).^2)。不要只看训练集R2SVR在训练集上做到0.99很容易真正的工作量在测试集上保持一致。4. 避坑支持向量机matlab仿真中常见的5个坑4.1 数据与标签相关的3个坑字符串标签、没归一化、把fitcsvm当多分类器用坑一标签写成字符串元胞数组报错或者结果莫名其妙。现象用readtable读入Excel数据后直接把类别列传给fitcsvm报错“Y must be a vector of class labels”或者训练完成后predict结果全是同一个类。原因fitcsvm虽然接受categorical或字符串数组但混用格式时matlab内部排序规则不明确尤其类别数量多于2时更容易出错。解决进入训练前统一转成categoricaly categorical(y);或者自定义数值映射grp2idx(y)。我习惯用grp2idx因为后续算混淆矩阵时直接拿到数值下标画图方便。坑二只归一化训练集测试集用原始尺度。现象训练集准确率98%测试集掉到60%。原因Standardize设为true时fitcsvm会根据训练集计算均值和标准差测试时才会沿用。但如果你自己先手动做了zscore再训练测试时必须用训练集的均值和标准差去做变换而不是重新算一次。解决要么全程交给fitcsvm的Standardize要么先用[Z, mu, sigma] zscore(Xtrain);测试时用Xtest (Xtest - mu) ./ sigma;。很多matlab仿真翻车就翻在这里属于测试集数据泄漏的变体。坑三三分类数据直接丢给fitcsvm。现象报错“Invalid Y, expected 2 columns”或者干脆只训练出一个没有意义的模型。原因fitcsvm只能处理二分类多分类必须包一层fitcecoc。解决按上一章的写法用fitcecoc加templateSVM。这里补充一句fitcecoc默认编码是一对一也就是one-vs-one类别多时子分类器数量是n(n-1)/25分类就是10个模型fitcecoc对象会明显变大这是正常的。4.2 模型行为相关的2个坑版本默认参数不一致、画图时Standardize干扰坑四同一份代码在matlab 2023b跑得好好的换个版本结果变了。现象换机器后准确率波动或者训练时间暴增。原因不同版本里fitcsvm的默认超参数不完全相同尤其是自动超参数优化在新版本里可能默认开启它会自动做贝叶斯优化结果自然不同。解决在代码里显式写参数OptimizeHyperparameters, none并且把C、KernelFunction都写死不要让结果依赖版本默认值。这是支持向量机matlab仿真里最隐蔽的坑很多团队里代码能跑但复现不出来查到最后是这类问题。坑五画决策边界时发现超平面“歪了”或者网格颜色斑驳。现象用meshgrid网格预测后contourf边界形状完全不符合直觉。原因Standardizetrue时模型在标准化空间训练而你画图时用原始坐标网格。解决要么在网格进入predict前用训练集的mu和sigma做同样变换要么更省事把Standardize设为false前提是特征的量纲差距不大。如果你做的是论文配图建议专门做一次标准化后的坐标画图图注里注明是标准化空间很多高水平论文都这么干。另外还有一个很隐蔽的坑predict返回的score矩阵有很多列有时候想用score而不是label画ROC但多分类时score矩阵的列顺序是类别的字母序不是训练数据的出现顺序。解决用svmMulti.ClassNames查看顺序再决定取第几列。这个坑现象很隐蔽但后果严重ROC曲线画反了审稿人一眼就能看出来。5. 支持向量机matlab仿真的调参C、gamma、核函数与交叉验证5.1 C、gamma、核函数三个参数一张表看懂支持向量机调参核心就是核函数、BoxConstraintC和RBF核的KernelScale注意matlab里用KernelScale代替直接写gamma默认值是1和libsvm的gamma定义不同很多从Python转过来的人在这里第一次翻车。参数matlab里写法作用调小调大CBoxConstraint误分类惩罚力度惩罚轻边界更平滑容忍噪声惩罚重边界更复杂容易过拟合gammaKernelScale取倒数RBF核的作用半径模型简单可能欠拟合每个点都会影响边界容易过拟合Epsilon回归EpsilonSVR的不敏感带宽度拟合更细噪声也学进去曲线更平滑可能丢失趋势核心的直觉是C控制“对错的容忍”gamma控制“离样本多远的范围还能影响边界”。举个极端例子gamma很大时每个训练样本都撑起一个小山包决策边界会变得极度扭曲训练集100%但测试集一塌糊涂gamma很小时整个特征空间的决策边界几乎是一条直线模型欠拟合。我自己的经验是先用线性核跑一版作为基线再看有没有必要换RBF。如果线性核已经能做到90%以上而数据量又不大RBF带来的提升通常有限但过拟合风险明显上升。KernelScale在matlab里的默认行为也值得多说一句。如果不指定fitcsvm默认用1这是很多仿真结果“还行但不够好”的原因。实际上更好的做法是让数据自己决定尺度设置KernelScale, automatlab会用启发式方法随机抽样计算一个中位数距离作为gamma参考值。这个做法快且稳定适合第一次跑。5.2 网格搜索加交叉验证在matlab里选出稳定参数调参不能靠肉眼要量化。matlab里最简单的量化方式是5折交叉验证把训练数据分成5份轮流拿4份训练、1份验证最后把5次的验证误差平均。fitcsvm里可以直接用crossval函数也可以把CrossVal参数设为on然后用kfoldLoss取平均损失。下面的网格搜索是常见做法% 支持向量机matlab仿真C与KernelScale网格搜索 rng(42); X [randn(100,2) 1.5; randn(100,2) - 1.5]; y [ones(100,1); -ones(100,1)]; CList [0.1, 1, 10, 100]; ScaleList [0.5, 1, 2, 4]; bestAcc 0; bestParams []; for C CList for s ScaleList mdl fitcsvm(X, y, ... KernelFunction, rbf, ... BoxConstraint, C, ... KernelScale, s, ... Standardize, true, ... CrossVal, on, ... % 开启5折交叉验证 KFold, 5); acc 1 - kfoldLoss(mdl, Mode, average); fprintf(C%4g, scale%3g, acc%.4f\n, C, s, acc); if acc bestAcc bestAcc acc; bestParams [C, s]; end end end fprintf(最优: C%g, scale%g, acc%.4f\n, bestParams(1), bestParams(2), bestAcc);这里用了嵌套循环做4乘4共16组参数然后按交叉验证准确率挑最优。注意kfoldLoss返回的是错误率所以要1 - kfoldLoss才是正确率。另一种更智能的办法是把OptimizeHyperparameters设为{BoxConstraint, KernelScale}让matlab用贝叶斯优化自动搜但这需要统计和机器学习工具箱的额外许可而且在样本量大时很慢。手工网格搜索的控制感更强也容易写进论文实验部分。如果你觉得手写网格搜索循环太笨还有一条更省事的路直接在fitcsvm里开自动优化。但这里要提醒一句自动优化的结果和随机种子有关不同机器可能得到不同参数论文复现性会打折扣。所以我的做法是自动优化只用来圈定参数范围定下来后再用固定种子跑一次网格搜索把最终参数写死。这样既有智能搜索的效率又有确定性。调参后还有一个容易被审稿人挑刺的点参数结果显示C1、gamma0.1时要写清楚gamma是KernelScale的倒数因为matlab里用的是KernelScale而libsvm用的是gamma两者差一个倒数关系。如果你在实验部分同时对比了这两个工具最好统一换算成gamma。否则别人复现的时候按KernelScale直接套进libsvm结果完全不对。6. 进阶把SVM仿真封装成可复用函数并验证模型真的可靠这一步适合已经跑通实例、准备给团队交付或者写进论文的人。常见做法是把数据划分、训练、预测、评估封装成一个函数避免每次换数据集就改一遍脚本。下面的代码是一个最小封装模板function [mdl, testAcc, confMat] svmPipeline(Xtrain, ytrain, Xtest, ytest, C, scale) opts {KernelFunction, rbf, BoxConstraint, C, ... KernelScale, scale, Standardize, true, ... OptimizeHyperparameters, none}; mdl fitcsvm(Xtrain, ytrain, opts{:}); pred predict(mdl, Xtest); testAcc mean(pred ytest); confMat confusionmat(ytest, pred); end调用时只需要一行[model, acc, cm] svmPipeline(Xtrain, ytrain, Xtest, ytest, 1, 2);。参数写死在调用处比在函数内部留下一堆magic number要清晰。confusionmat输出的混淆矩阵行和列分别是真实类别和预测类别画图时记得用heatmap再做一步标签映射。我还有一个小建议正式交付前至少要做一次“随机种子敏感性检查”也就是换4到5个随机种子重跑交叉验证如果准确率标准差超过2%说明模型本身不稳定不是调参的问题而是数据量太少或者特征区分度不够。这个习惯帮我挡掉了好几次“假实验”问题做支持向量机matlab仿真久了就会发现稳定比单次准确率更重要。如果你也卡在数据量不够的问题上请记住SVM在小样本上依然能打但前提是用交叉验证说话而不是训练集准确率。希望帮到你。本文还有配套的精品资源点击获取
支持向量机Matlab仿真实战：fitcsvm调参与避坑指南
简介面向电力系统短期负荷预测的支持向量机SVMMATLAB仿真资源适合机器学习初学者、电力数据分析人员及需要快速搭建回归预测模型的开发者。SVM通过核函数将数据映射到高维空间以寻找最优超平面在小样本、非线性场景中表现稳健。资源共12个文件包含4个.m源程序、6个txt数据文件与2个t格式数据集压缩包仅24KB便于下载运行。已有753人学习下载。包内提供eunite2001、train1997、test1997等历史负荷数据以及svr.m、svr2.m、svr1997.m等脚本覆盖数据清洗、模型训练、预测评估全流程并支持线性、RBF等核函数对比。通过调整C、γ参数并结合MSE、MAE、R²指标可系统优化预测精度同时利用交叉验证提升泛化能力。该实例既可用于教学演示也为实际负荷预测项目提供了可直接参考的MATLAB实现基线。1. 支持向量机的matlab仿真先搞清“跑通”和“跑对”是两回事支持向量机的matlab仿真常被看作机器学习的入门作业但实际做起来卡住人的多半不是SVM的数学推导而是matlab里数据格式、核函数和工具箱选择之间的一堆隐性约定。用同一份数据有人跑出98%准确率有人换了台机器或者把matlab从R2021a换到R2023b结果就完全不一样这就是只“跑通”没“跑对”的典型症状。这里要解决的是手里有数据、想在matlab里快速验证SVM效果的工程师和学生的真实痛点最小成本拿到可信结果并且知道结果为什么可信。2. 支持向量机matlab仿真的准备工作工具箱选型与数据格式2.1 fitcsvm、libsvm与Classification Learner选错工具会白干一下午matlab里做支持向量机仿真常见有三条路stats工具箱自带的fitcsvm、第三方libsvm、以及App里的Classification Learner。多数人的第一反应是打开Classification Learner点一点省事但它导出的是封装好的模型对象一旦要写论文图表或者做批量仿真反而难改。我的建议是直接用fitcsvm写脚本。fitcsvm是matlab官方实现接口稳定支持SMO和ISDA两种求解器还能直接输出Score和交叉验证损失。libsvm在自定义核函数和某些高维稀疏场景下更灵活但它需要mex编译matlab版本一升级编译器路径经常要重新配这个坑后面专门讲。如果你只是做常规的二分类、多分类或回归仿真fitcsvm加fitcecoc就足够不需要为了“更专业”去装libsvm。另一个选型依据是版本。我常用的是matlab 2023b以下代码向下兼容到R2018a左右但不同版本对默认参数的设定不完全一样比如某些新版本会把自动超参数优化默认打开导致同样的代码在别人机器上跑出不同结果。所以凡是重要仿真我都会显式写上关键参数不靠默认值。在动手写代码之前还有一件容易被忽略的事数据格式。fitcsvm要求输入X是n行p列的数值矩阵行是样本列是特征y是与X行数相同的向量。y可以是数值、逻辑值或者categorical但如果是分类标签建议直接转成categorical或者double不要用字符串元胞数组否则后续的混淆矩阵和绘图都要多一步转换。这里还要多说一句matlab里的SVM接口不像Python的sklearn那样直接读DataFrame它的输入要求非常死板。有人在做matlab图像处理方向时把图像特征拼成元胞数组就往里塞结果报错“Y must be a vector of class labels”其实只要提前用cell2mat转一下就能解决。2.2 fitcsvm最小命令从数据矩阵到预测标签的一行代码下面是最小可运行的fitcsvm例子数据用随机生成的二分类点。% 支持向量机matlab仿真fitcsvm最小实例 rng(42); % 保证可复现 X [randn(100,2) 1; randn(100,2) - 1]; % 200个样本2维特征 y [ones(100,1); -ones(100,1)]; % 标签取1和-1数值向量 % 训练SVM模型 svmModel fitcsvm(X, y, ... KernelFunction, linear, ... % 线性核 Standardize, true, ... % 自动做z-score标准化 BoxConstraint, 1); % C 1 % 在训练集上预测并计算准确率 predLabel predict(svmModel, X); accuracy sum(predLabel y) / length(y); fprintf(训练集准确率: %.2f%%\n, accuracy * 100);这里几个参数要说明X是200行2列的矩阵这里故意用两个偏移的簇生成数据让SVM有明确的边界可找y用1和-1这是fitcsvm推荐的二分类标签写法用0和1也可以但score的正负方向会变容易在画图时混淆。Standardize设为true很关键否则特征量纲不同时RBF核的gamma会失衡。BoxConstraint就是SVM里的惩罚系数C默认是1但如果数据有明显噪声可以调小到0.1如果希望更严格分类可以调大到10。预测阶段用predict就够了注意fitcsvm返回的是模型对象不是matlab里老版本那种函数句柄。如果你拿到的是测试集predict是通用的但Class名称的顺序可能和训练时不同画ROC曲线的时候要留意。实际做仿真时很少有人只关心训练集准确率因为SVM的过拟合能力很强尤其在RBF核下训练集跑到100%很容易。真正要观察的是测试集。常见做法是先把样本用cvpartition分成训练集和测试集再训练预测。这一步的标准写法是cv cvpartition(y, HoldOut, 0.2); % 留出20%做测试 Xtrain X(training(cv), :); ytrain y(training(cv), :); Xtest X(test(cv), :); ytest y(test(cv), :); svmModel fitcsvm(Xtrain, ytrain, KernelFunction, rbf, Standardize, true); testPred predict(svmModel, Xtest); testAcc sum(testPred ytest) / length(ytest);注意cvpartition是按类别比例做划分的对不平衡数据比较友好但如果你的正负样本比例极端比如99比1HoldOut方式可能把少数类全部切到测试集这时要考虑用分层划分并设随机种子或者干脆用交叉验证。3. 支持向量机matlab实例分类与回归各跑一遍3.1 分类实例用鸢尾花数据做三分类并画出决策边界fitcsvm本质上是二分类器遇到三分类以上的数据集要用fitcecoc做一对一或一对多的组合策略。matlab里最省事的写法是fitcecoc它默认对每个二分类子问题使用fitcsvm。下面用matlab自带的鸢尾花数据集跑一个三分类实例。% 支持向量机matlab实例鸢尾花三分类 load fisheriris; % matlab自带数据集 X meas(:, 3:4); % 取花瓣长度和宽度两个特征方便可视化 y species; % setosa / versicolor / virginica % 训练多分类SVM内部自动做一对一 svmMulti fitcecoc(X, y, ... Learners, templateSVM(KernelFunction, rbf, Standardize, true), ... CVPartition, cvpartition(y, HoldOut, 0.3)); % 30%作为测试 % 查看交叉验证误差 kfoldLoss(svmMulti) % 如果传了CVPartition返回留出集的损失这里有两个关键点。第一Learners参数用templateSVM指定基分类器而不是字符串这样可以在fitcecoc里统一控制所有二分类SVM的核函数和标准化。第二鸢尾花只有150个样本如果直接拿全部数据训练再预测结果会好得没有参考价值所以这里用cvpartition留出30%做验证。注意kfoldLoss在这里的实际含义当传入的是HoldOut划分时它计算留出集上的分类损失数值越小越好。如果想画决策边界二维特征是最方便的。下面这段代码把二维平面网格化后交给predict再用contourf把分类区域画出来% 用二维网格绘制决策边界 [x1Grid, x2Grid] meshgrid(... linspace(min(X(:,1)), max(X(:,1)), 200), ... linspace(min(X(:,2)), max(X(:,2)), 200)); xGrid [x1Grid(:), x2Grid(:)]; predGrid predict(svmMulti, xGrid); figure; gscatter(X(:,1), X(:,2), y, rgb, o); hold on; contour(x1Grid, x2Grid, reshape(predGrid, size(x1Grid)), k, LineWidth, 1);这段代码经常出现在支持向量机matlab仿真的作业里但很多人画出来是花的原因多半是网格范围取的是原始数据min和max而SVM在Standardizetrue时是在标准化空间里计算的边界在原始空间会被拉伸。如果发现边界形状奇怪一个简单办法是把网格范围向外扩10%或者把Standardize关掉再画。我一般会保留Standardize但把linspace的范围设成min-1到max1并在图上标注支持向量。支持向量的提取方式也要提一下训练单个fitcsvm模型时可以用svmModel.SupportVectors拿到支持向量坐标但fitcecoc是多模型组合需要遍历svmMulti.Trained里的每个二分类器才能拿到各自的支持向量复杂度高一些。在论文里如果只需要展示一两张图建议直接对二维数据用单个fitcsvm做二分类并画支持向量比硬啃fitcecoc的事件结构省时间。3.2 回归实例fitrsvm拟合带噪正弦曲线支持向量机不只做分类做回归时在matlab里对应的是fitrsvm核心参数从C变成了Epsilon也就是不敏感带宽度以及BoxConstraint。下面用一个带噪声的正弦波演示SVR的拟合效果。% 支持向量机matlab实例SVR拟合带噪正弦 rng(1); x linspace(-3, 3, 200); yTrue sin(x); yNoise yTrue 0.1 * randn(size(x)); % 加噪声 svrModel fitrsvm(x, yNoise, ... KernelFunction, rbf, ... Epsilon, 0.1, ... % 不敏感带宽 BoxConstraint, 1, ... % 惩罚系数C Standardize, true); yPred predict(svrModel, x); plot(x, yTrue, k--, LineWidth, 1.5); hold on; plot(x, yNoise, o, MarkerSize, 3); plot(x, yPred, r-, LineWidth, 1.5); legend(真实曲线, 带噪观测, SVR预测);Epsilon是SVR特有的参数它决定了一个预测值和真实值之间允许有多大的误差不会被惩罚。Epsilon越小模型越努力拟合每个点的细节噪声会被学进去Epsilon越大拟合曲线越平滑但可能丢掉真实趋势。一般从0.05到0.2之间试起如果是归一化后的y然后看曲线是否在噪声带中间穿行而不是穿进每个点。BoxConstraint在回归里的作用与分类一致约束越大对超出Epsilon带的样本惩罚越重曲线也越曲折。这里有一个容易被忽略的点fitrsvm的x是列向量不是行向量。如果你读入的是一行数据记得转置否则预测结果会是空的或者维度对不上。这个问题在matlab图像处理方向尤其常见因为图像特征矩阵常常是行是样本而单独提取某个特征时容易搞成行向量。跑完回归之后验证指标一般用均方误差MSE和决定系数R2。matlab里没有现成的R2函数通常自己写两行R2 1 - sum((yTrue - yPred).^2) / sum((yTrue - mean(yTrue)).^2)。不要只看训练集R2SVR在训练集上做到0.99很容易真正的工作量在测试集上保持一致。4. 避坑支持向量机matlab仿真中常见的5个坑4.1 数据与标签相关的3个坑字符串标签、没归一化、把fitcsvm当多分类器用坑一标签写成字符串元胞数组报错或者结果莫名其妙。现象用readtable读入Excel数据后直接把类别列传给fitcsvm报错“Y must be a vector of class labels”或者训练完成后predict结果全是同一个类。原因fitcsvm虽然接受categorical或字符串数组但混用格式时matlab内部排序规则不明确尤其类别数量多于2时更容易出错。解决进入训练前统一转成categoricaly categorical(y);或者自定义数值映射grp2idx(y)。我习惯用grp2idx因为后续算混淆矩阵时直接拿到数值下标画图方便。坑二只归一化训练集测试集用原始尺度。现象训练集准确率98%测试集掉到60%。原因Standardize设为true时fitcsvm会根据训练集计算均值和标准差测试时才会沿用。但如果你自己先手动做了zscore再训练测试时必须用训练集的均值和标准差去做变换而不是重新算一次。解决要么全程交给fitcsvm的Standardize要么先用[Z, mu, sigma] zscore(Xtrain);测试时用Xtest (Xtest - mu) ./ sigma;。很多matlab仿真翻车就翻在这里属于测试集数据泄漏的变体。坑三三分类数据直接丢给fitcsvm。现象报错“Invalid Y, expected 2 columns”或者干脆只训练出一个没有意义的模型。原因fitcsvm只能处理二分类多分类必须包一层fitcecoc。解决按上一章的写法用fitcecoc加templateSVM。这里补充一句fitcecoc默认编码是一对一也就是one-vs-one类别多时子分类器数量是n(n-1)/25分类就是10个模型fitcecoc对象会明显变大这是正常的。4.2 模型行为相关的2个坑版本默认参数不一致、画图时Standardize干扰坑四同一份代码在matlab 2023b跑得好好的换个版本结果变了。现象换机器后准确率波动或者训练时间暴增。原因不同版本里fitcsvm的默认超参数不完全相同尤其是自动超参数优化在新版本里可能默认开启它会自动做贝叶斯优化结果自然不同。解决在代码里显式写参数OptimizeHyperparameters, none并且把C、KernelFunction都写死不要让结果依赖版本默认值。这是支持向量机matlab仿真里最隐蔽的坑很多团队里代码能跑但复现不出来查到最后是这类问题。坑五画决策边界时发现超平面“歪了”或者网格颜色斑驳。现象用meshgrid网格预测后contourf边界形状完全不符合直觉。原因Standardizetrue时模型在标准化空间训练而你画图时用原始坐标网格。解决要么在网格进入predict前用训练集的mu和sigma做同样变换要么更省事把Standardize设为false前提是特征的量纲差距不大。如果你做的是论文配图建议专门做一次标准化后的坐标画图图注里注明是标准化空间很多高水平论文都这么干。另外还有一个很隐蔽的坑predict返回的score矩阵有很多列有时候想用score而不是label画ROC但多分类时score矩阵的列顺序是类别的字母序不是训练数据的出现顺序。解决用svmMulti.ClassNames查看顺序再决定取第几列。这个坑现象很隐蔽但后果严重ROC曲线画反了审稿人一眼就能看出来。5. 支持向量机matlab仿真的调参C、gamma、核函数与交叉验证5.1 C、gamma、核函数三个参数一张表看懂支持向量机调参核心就是核函数、BoxConstraintC和RBF核的KernelScale注意matlab里用KernelScale代替直接写gamma默认值是1和libsvm的gamma定义不同很多从Python转过来的人在这里第一次翻车。参数matlab里写法作用调小调大CBoxConstraint误分类惩罚力度惩罚轻边界更平滑容忍噪声惩罚重边界更复杂容易过拟合gammaKernelScale取倒数RBF核的作用半径模型简单可能欠拟合每个点都会影响边界容易过拟合Epsilon回归EpsilonSVR的不敏感带宽度拟合更细噪声也学进去曲线更平滑可能丢失趋势核心的直觉是C控制“对错的容忍”gamma控制“离样本多远的范围还能影响边界”。举个极端例子gamma很大时每个训练样本都撑起一个小山包决策边界会变得极度扭曲训练集100%但测试集一塌糊涂gamma很小时整个特征空间的决策边界几乎是一条直线模型欠拟合。我自己的经验是先用线性核跑一版作为基线再看有没有必要换RBF。如果线性核已经能做到90%以上而数据量又不大RBF带来的提升通常有限但过拟合风险明显上升。KernelScale在matlab里的默认行为也值得多说一句。如果不指定fitcsvm默认用1这是很多仿真结果“还行但不够好”的原因。实际上更好的做法是让数据自己决定尺度设置KernelScale, automatlab会用启发式方法随机抽样计算一个中位数距离作为gamma参考值。这个做法快且稳定适合第一次跑。5.2 网格搜索加交叉验证在matlab里选出稳定参数调参不能靠肉眼要量化。matlab里最简单的量化方式是5折交叉验证把训练数据分成5份轮流拿4份训练、1份验证最后把5次的验证误差平均。fitcsvm里可以直接用crossval函数也可以把CrossVal参数设为on然后用kfoldLoss取平均损失。下面的网格搜索是常见做法% 支持向量机matlab仿真C与KernelScale网格搜索 rng(42); X [randn(100,2) 1.5; randn(100,2) - 1.5]; y [ones(100,1); -ones(100,1)]; CList [0.1, 1, 10, 100]; ScaleList [0.5, 1, 2, 4]; bestAcc 0; bestParams []; for C CList for s ScaleList mdl fitcsvm(X, y, ... KernelFunction, rbf, ... BoxConstraint, C, ... KernelScale, s, ... Standardize, true, ... CrossVal, on, ... % 开启5折交叉验证 KFold, 5); acc 1 - kfoldLoss(mdl, Mode, average); fprintf(C%4g, scale%3g, acc%.4f\n, C, s, acc); if acc bestAcc bestAcc acc; bestParams [C, s]; end end end fprintf(最优: C%g, scale%g, acc%.4f\n, bestParams(1), bestParams(2), bestAcc);这里用了嵌套循环做4乘4共16组参数然后按交叉验证准确率挑最优。注意kfoldLoss返回的是错误率所以要1 - kfoldLoss才是正确率。另一种更智能的办法是把OptimizeHyperparameters设为{BoxConstraint, KernelScale}让matlab用贝叶斯优化自动搜但这需要统计和机器学习工具箱的额外许可而且在样本量大时很慢。手工网格搜索的控制感更强也容易写进论文实验部分。如果你觉得手写网格搜索循环太笨还有一条更省事的路直接在fitcsvm里开自动优化。但这里要提醒一句自动优化的结果和随机种子有关不同机器可能得到不同参数论文复现性会打折扣。所以我的做法是自动优化只用来圈定参数范围定下来后再用固定种子跑一次网格搜索把最终参数写死。这样既有智能搜索的效率又有确定性。调参后还有一个容易被审稿人挑刺的点参数结果显示C1、gamma0.1时要写清楚gamma是KernelScale的倒数因为matlab里用的是KernelScale而libsvm用的是gamma两者差一个倒数关系。如果你在实验部分同时对比了这两个工具最好统一换算成gamma。否则别人复现的时候按KernelScale直接套进libsvm结果完全不对。6. 进阶把SVM仿真封装成可复用函数并验证模型真的可靠这一步适合已经跑通实例、准备给团队交付或者写进论文的人。常见做法是把数据划分、训练、预测、评估封装成一个函数避免每次换数据集就改一遍脚本。下面的代码是一个最小封装模板function [mdl, testAcc, confMat] svmPipeline(Xtrain, ytrain, Xtest, ytest, C, scale) opts {KernelFunction, rbf, BoxConstraint, C, ... KernelScale, scale, Standardize, true, ... OptimizeHyperparameters, none}; mdl fitcsvm(Xtrain, ytrain, opts{:}); pred predict(mdl, Xtest); testAcc mean(pred ytest); confMat confusionmat(ytest, pred); end调用时只需要一行[model, acc, cm] svmPipeline(Xtrain, ytrain, Xtest, ytest, 1, 2);。参数写死在调用处比在函数内部留下一堆magic number要清晰。confusionmat输出的混淆矩阵行和列分别是真实类别和预测类别画图时记得用heatmap再做一步标签映射。我还有一个小建议正式交付前至少要做一次“随机种子敏感性检查”也就是换4到5个随机种子重跑交叉验证如果准确率标准差超过2%说明模型本身不稳定不是调参的问题而是数据量太少或者特征区分度不够。这个习惯帮我挡掉了好几次“假实验”问题做支持向量机matlab仿真久了就会发现稳定比单次准确率更重要。如果你也卡在数据量不够的问题上请记住SVM在小样本上依然能打但前提是用交叉验证说话而不是训练集准确率。希望帮到你。本文还有配套的精品资源点击获取
