聊线性回归之前先讲个背景。如果你刚接触机器学习有个概念听过最多线性回归、机器学习、特征、输出变量。这几个词几乎出现在所有入门教程、期末复习资料和面试题里但很多人学了几天就把它当成“一个求直线的公式”然后就跑去啃神经网络了。说实话这个结论不算错但相当浪费。线性回归是机器学习中最基础的算法之一用于建立输入变量特征与输出变量之间的映射关系。在它身上你能一次性搞明白机器学习的完整工作流数据进来特征提取模型假设损失函数梯度下降评估迭代。这些东西是所有算法的共同骨架甚至神经网络本质上也是一连串非线性变换嵌套出来的“广义回归”。把线性回归吃透等于给后面的学习铺了一层非常扎实的地基。这篇文章我不打算讲教科书式的推导也不打算堆代码我想从“为什么它长这样”“真实项目里怎么落地”“哪些坑我踩过”三个角度把线性回归这件事说透。适合正在学机器学习基础的同学也适合复习机器学习期末、准备面试、或者第一次用sklearn做数据预测的朋友。1. 线性回归的底层逻辑它到底在干什么1.1 本质是一张“打分表”线性回归表面上是在画一条直线高维空间里是一个超平面但它的本质更像是一张打分表每个特征对应一个权重模型把每个特征的取值乘以权重再加一个基础分偏置项就是预测结果。写成公式就是y w₁x₁ w₂x₂ ... wₙxₙ b。我试着用一个生活化的场景说明你想估算一套二手房的合理售价你会看什么面积、楼龄、楼层、朝向、离地铁站的距离。这些就是特征也就是输入变量。而房价就是输出变量。线性回归做的事情就是从历史成交数据里“学”出来每个特征的权重面积每大一平米价格涨多少楼龄每老一年价格跌多少。权重越大说明这个特征对预测结果的影响越强。这个视角很重要。很多初学者盯着数学公式看总觉得抽象但换成“打分表”来理解整个算法的意图就清楚了我们预设有某种线性的因果关系然后用数据把这种关系的强弱量化出来。1.2 为什么线性假设够用很多人会问现实世界的关系哪能都是直线销售数据往往不是直线房价涨跌也不是直线那线性回归是不是太简单了我的回答是简单不等于没用直线是复杂关系的基元。一方面很多业务问题在局部范围内确实是线性关系。比如流量和订单量在一段时间内基本等比例增长温度对电力负荷的影响在一定区间内也接近线性。另一方面只要做一步“特征工程”把非线性信息转化成新特征线性模型照样能拟合曲线。比如对x取平方把y w₁x w₂x²拟合出来得到的是一条抛物线但它本质上仍然是一个线性回归模型——因为“线性”指的是参数之间是线性组合不是x必须是一次的。这一点搞熟悉了很多问题都会豁然开朗。后来你学多项式回归、逻辑回归、甚至神经网络回头看都是对“输入特征怎么变换、模型怎么组合”这两个问题的不同回答。2. 核心细节解析损失函数、梯度下降与评估指标2.1 损失函数凭什么说这条线更好随便画一条线都能做预测但预测得准不准得有标准。线性回归用的标准是“预测值和真实值的差距”。为了不让正负误差互相抵消也为了让大误差得到更重的惩罚最常用的是均方误差MSE。MSE的计算就是把每个样本的预测值和真实值相减、平方、求和、再取平均。这个函数在参数空间里是一个开口向上的碗形曲面碗底对应的参数就是最优解。这里有一个很关键的理解点损失函数把“模型好坏”变成了“数学上的值大小”于是找最优模型就变成了求函数最小值。这个转换是整个机器学习的核心思维方式——你不需要手写规则跟数据做比较只需要定义损失、然后去优化损失。后面学的逻辑回归用交叉熵SVM用合页损失本质上都是同一招先定义“差的距离”再最小化这个距离。2.2 梯度下降不要一步登天一步步挪有了损失函数怎么找到最小值经典解法是正规方程但实际工程里几乎全用梯度下降。原因是数据量大、特征多的时候正规方程里的矩阵求逆计算量太大而且很可能不可逆。梯度下降的思路很好理解你在山上想找山谷最低点看不清全局地图但能感觉到脚下这面坡是向上还是向下。每次沿着最陡的下坡方向走一小步反复走就能接近底部。所谓“最陡方向”就是梯度方向“一小步”就是学习率乘以梯度。这里有两个实践要点学习率太大会在碗底来回震荡甚至发散学习率太小走得太慢训练半天还在山坡上。特征量级不统一时梯度下降会走得很别扭。比如一个特征范围是0到1另一个是1000到10000误差曲面会变得又扁又长梯度方向容易震荡。所以实操中第一步一定是做标准化。我举个例子学习率0.5损失函数在某个点的梯度是2.3那一轮更新就是参数减去1.15。如果梯度计算出来是5.8同样学习率下就减2.9。步子大小和坡度相关这是直观的经验但很多新手踩坑都踩在“同样学习率在不同特征尺度下表现完全不同”。2.3 评估指标R²不是R²要看清模型的预测质量一般看三个指标MSE、RMSE、R²。MSE因为平方放大了大误差的量级对离群点很敏感RMSE取根号后回到原始量纲理解起来更直观R²衡量模型解释了多少比例的数据波动越接近1越好。注意R²高不一定代表模型好。如果数据量很少、特征很多模型可能把噪声也学进去了。此时R²看着很高但换个数据集一测性能掉得离谱。这在机器学习里叫过拟合。所以评估模型不能只看训练集指标必须把数据分成训练集和测试集。我对初学者的建议是用RMSE跟业务对齐用R²跟模型对齐两个都放报表里。只看一个容易误判尤其RMSE量纲不同的时候单看数字没法直观判断好不好。3. 实操过程从数据到模型的标准工作流3.1 特征工程数据适配比模型选择更要命做回归项目时我见过最多的失败原因不是模型不对而是特征没处理好。特征工程里的“特征适配”说的是把原始数据变成模型能理解的、有区分度的输入。经常要处理的事情有缺失值填充用均值、中位数还是用模型预测、类别特征编码one-hot还是label encode、异常值处理用箱线图或Z-score过滤、特征缩放标准化或归一化。一点经验之谈线性回归的特征不需要做太多花哨的变换但一定要去除强相关特征也就是共线性问题。比如“房屋总面积”和“客厅面积”高度相关两个都进模型权重会被掰扯得很不稳定今天跑出来客厅权重是正明天跑出来变成了负解释全乱套。用一个就行。连续性特征和离散特征处理方式也不同。连续性特征直接进模型或者做分箱离散特征如果是有序的比如楼层、评分等级可以保留数值顺序如果是无序的比如城市、朝向要用one-hot编码避免模型强行给这些类别排序。3.2 模型训练与验证的基本流程一个标准的线性回归实操流程可以拆成六步。第一步数据清洗处理缺失值和明显的脏数据。第二步特征工程把原始字段转换成特征矩阵做标准化处理。第三步划分数据集按时间顺序或者随机划分保持训练集和测试集分布一致。第四步训练模型直接用现成工具库没必要自己手写梯度下降。第五步模型评估算RMSE和R²同时看预测值对真实值的散点图。第六步迭代优化调整特征或者添加正则化项。举个实际案例我之前帮一个团队预测店铺的日营业额。原始数据有日期、天气、客流、促销活动、周边商圈人流量、是否为节假日。第一次建模时我把所有原始字段直接扔进模型R²只有0.53。后来把日期拆成星期几、是否月初月末、距最近大型促销的天数把客流按小时做聚合取峰值和均值把天气从文本描述转成有序等级。重新训练后R²冲到0.81。同样一个模型数据预处理方式不一样效果差了一大截。这也是为什么大家总说机器学习项目里特征工程决定天花板模型只是去逼近这个天花板。3.3 一段可以抄作业的参考代码工具方面我日常用的是Python的scikit-learn简单直接。训练流程大致长这样import pandas as pd from sklearn.model_selection import train_test_split from sklearn.preprocessing import StandardScaler from sklearn.linear_model import LinearRegression from sklearn.metrics import mean_squared_error, r2_score # 读取数据假设df里已经有处理好的特征和标签 X df.drop(target, axis1) y df[target] # 切分训练集与测试集随机种子固定保证可复现 X_train, X_test, y_train, y_test train_test_split( X, y, test_size0.2, random_state42 ) # 特征标准化让每个特征的均值接近0方差接近1 scaler StandardScaler() X_train_scaled scaler.fit_transform(X_train) X_test_scaled scaler.transform(X_test) # 训练模型 model LinearRegression() model.fit(X_train_scaled, y_train) # 预测与评估 y_pred model.predict(X_test_scaled) print(RMSE:, mean_squared_error(y_test, y_pred, squaredFalse)) print(R2:, r2_score(y_test, y_pred)) print(权重系数:, model.coef_)三个细节要注意标准化的scaler只能用训练集fit再用同一套参数transform测试集不能把测试集数据混进去fit这是初学者最爱犯的错误随机种子固定实验结果才能复现不然调参时你自己都分不清效果迭代来自参数还是来自运气回归系数是在标准化之后的尺度上估计的解释业务含义时要先还原到原始特征尺度。4. 常见问题与排查技巧实录4.1 预测值几乎恒定模型形同虚设这种情况十有八九是数据泄漏的反义词即特征和目标之间没有任何线性关系或者特征噪声太大。这时候不要硬撑着用线性回归应该去看看特征的分布。如果特征方差很小即所有样本在这个特征上取值都差不多它提供不了任何区分信息。还有一个隐蔽原因目标变量本身就不适合直接用线性回归建模。如果目标值的分布严重偏向某个区间比如订单金额是长尾分布线性回归预测大面积样本在均值附近偏差就会很大。处理思路是把目标值取对数变成log(订单金额)再建模预测完再转回去。这在价格预测、销量预测里非常常见。4.2 训练集效果很好测试集效果很差标准的过拟合信号。线性回归的过拟合不像神经网络那么夸张但特征一多、样本量不够照样会在训练集上“背答案”。解决办法一个是简化模型去掉不重要的特征另一个是加正则化比如说岭回归或者Lasso。正则化的思路是给损失函数加一个“参数太大要扣分”的惩罚项。L1正则Lasso会把一部分特征的权重压到0变相做特征选择L2正则Ridge会把权重整体压小让模型更平滑。实际操作里特征多但相关性强的时候我习惯先用Lasso筛一遍再用Ridge做最终模型。4.3 特征权重方向和直觉相反业务方拿去一看说“广告投放越多销售额反而下降”模型权重显示负数直接质疑你的模型。先别慌极少数是模型真的错了更多是特征之间的共线性干扰或者缺失关键变量导致的偏差。我当时处理过一个案例某特征“促销折扣率”和另一个特征“活动力度等级”高度相关单独建模时折扣率系数为正两个一起放进模型时其中一个变成了负数因为两列数据携带着重复信息权重在它们之间被随意分配。解决方式是检查相关性矩阵把相关性高于0.7的特征合并或者剔除其中一个。遇到这种情况跟业务沟通时也要注意机器学习学到的相关性不等于因果关系模型反映的是统计规律不是业务逻辑。把这个边界讲清楚模型落地才不会走样。4.4 经典问题速查表现象大概率原因解决方案损失不下降或越训越大学习率太大调小学习率观察损失曲线训练很慢学习率太小或特征未标准化调大学习率先做标准化R²为负模型比直接预测均值还差检查特征与目标关系更换模型系数符号异常特征共线性做相关性分析剔除冗余特征测试集波动极大过拟合加正则化简化特征数量预测值集中在均值附近目标分布偏斜/特征信息弱对目标做变换重新做特征工程5. 线性回归模型的边界与扩展方向学线性回归最大的收益我认为是对“机器学习流程”这件事建立直觉。你会知道数据怎么变成特征特征怎么进入模型模型怎么输出预测预测怎么评估好坏。这套流程放进任何算法都适用。但不避讳地说线性回归在真实场景中有明显边界。大数据量高维稀疏特征比如文本分类、推荐系统它表现力不够特征和输出变量之间关系高度非线性比如图像识别、语音识别它也无能为力。想处理图像和语音这类高维复杂数据需要卷积神经网络、循环神经网络等更复杂的模型。比如人脸关键点定位、实时视频人脸特征点跟踪这种任务的输入是像素矩阵靠原始特征做线性组合根本不现实。那学它还有什么用恰恰因为它是所有复杂模型的基石。逻辑回归在线性回归的预测值外面套了一个sigmoid函数变成了分类模型神经网络把多个线性回归层摞起来加上非线性激活函数表达能力就指数级上升了。你会发现线性回归的参数更新、梯度下降、损失函数和全连接神经网络的训练方式是同一个底层逻辑。从学习路径看我的建议是先把线性回归搞得非常熟能徒手推导损失函数对参数的梯度能不看文档写出来训练循环能一眼看出特征工程哪里有问题。再往决策树、随机森林、GBDT、神经网络走每一步都会走得稳当很多。以我个人的实操体会来说线性回归从来没有离开过我的工具箱。做一些快速基线模型、探索特征有效性、提供业务解释性报告的时候它的性价比几乎是最高的。很多项目里我用神经网络把精度提高了一点点但跟业务方解释什么是神经元解释了一下午不如用线性回归把权重往桌上一摊来得痛快。这个看起来最简单的算法可能是陪伴你最长的一个。
线性回归：从机器学习基础到特征工程与梯度下降的完整实践指南
聊线性回归之前先讲个背景。如果你刚接触机器学习有个概念听过最多线性回归、机器学习、特征、输出变量。这几个词几乎出现在所有入门教程、期末复习资料和面试题里但很多人学了几天就把它当成“一个求直线的公式”然后就跑去啃神经网络了。说实话这个结论不算错但相当浪费。线性回归是机器学习中最基础的算法之一用于建立输入变量特征与输出变量之间的映射关系。在它身上你能一次性搞明白机器学习的完整工作流数据进来特征提取模型假设损失函数梯度下降评估迭代。这些东西是所有算法的共同骨架甚至神经网络本质上也是一连串非线性变换嵌套出来的“广义回归”。把线性回归吃透等于给后面的学习铺了一层非常扎实的地基。这篇文章我不打算讲教科书式的推导也不打算堆代码我想从“为什么它长这样”“真实项目里怎么落地”“哪些坑我踩过”三个角度把线性回归这件事说透。适合正在学机器学习基础的同学也适合复习机器学习期末、准备面试、或者第一次用sklearn做数据预测的朋友。1. 线性回归的底层逻辑它到底在干什么1.1 本质是一张“打分表”线性回归表面上是在画一条直线高维空间里是一个超平面但它的本质更像是一张打分表每个特征对应一个权重模型把每个特征的取值乘以权重再加一个基础分偏置项就是预测结果。写成公式就是y w₁x₁ w₂x₂ ... wₙxₙ b。我试着用一个生活化的场景说明你想估算一套二手房的合理售价你会看什么面积、楼龄、楼层、朝向、离地铁站的距离。这些就是特征也就是输入变量。而房价就是输出变量。线性回归做的事情就是从历史成交数据里“学”出来每个特征的权重面积每大一平米价格涨多少楼龄每老一年价格跌多少。权重越大说明这个特征对预测结果的影响越强。这个视角很重要。很多初学者盯着数学公式看总觉得抽象但换成“打分表”来理解整个算法的意图就清楚了我们预设有某种线性的因果关系然后用数据把这种关系的强弱量化出来。1.2 为什么线性假设够用很多人会问现实世界的关系哪能都是直线销售数据往往不是直线房价涨跌也不是直线那线性回归是不是太简单了我的回答是简单不等于没用直线是复杂关系的基元。一方面很多业务问题在局部范围内确实是线性关系。比如流量和订单量在一段时间内基本等比例增长温度对电力负荷的影响在一定区间内也接近线性。另一方面只要做一步“特征工程”把非线性信息转化成新特征线性模型照样能拟合曲线。比如对x取平方把y w₁x w₂x²拟合出来得到的是一条抛物线但它本质上仍然是一个线性回归模型——因为“线性”指的是参数之间是线性组合不是x必须是一次的。这一点搞熟悉了很多问题都会豁然开朗。后来你学多项式回归、逻辑回归、甚至神经网络回头看都是对“输入特征怎么变换、模型怎么组合”这两个问题的不同回答。2. 核心细节解析损失函数、梯度下降与评估指标2.1 损失函数凭什么说这条线更好随便画一条线都能做预测但预测得准不准得有标准。线性回归用的标准是“预测值和真实值的差距”。为了不让正负误差互相抵消也为了让大误差得到更重的惩罚最常用的是均方误差MSE。MSE的计算就是把每个样本的预测值和真实值相减、平方、求和、再取平均。这个函数在参数空间里是一个开口向上的碗形曲面碗底对应的参数就是最优解。这里有一个很关键的理解点损失函数把“模型好坏”变成了“数学上的值大小”于是找最优模型就变成了求函数最小值。这个转换是整个机器学习的核心思维方式——你不需要手写规则跟数据做比较只需要定义损失、然后去优化损失。后面学的逻辑回归用交叉熵SVM用合页损失本质上都是同一招先定义“差的距离”再最小化这个距离。2.2 梯度下降不要一步登天一步步挪有了损失函数怎么找到最小值经典解法是正规方程但实际工程里几乎全用梯度下降。原因是数据量大、特征多的时候正规方程里的矩阵求逆计算量太大而且很可能不可逆。梯度下降的思路很好理解你在山上想找山谷最低点看不清全局地图但能感觉到脚下这面坡是向上还是向下。每次沿着最陡的下坡方向走一小步反复走就能接近底部。所谓“最陡方向”就是梯度方向“一小步”就是学习率乘以梯度。这里有两个实践要点学习率太大会在碗底来回震荡甚至发散学习率太小走得太慢训练半天还在山坡上。特征量级不统一时梯度下降会走得很别扭。比如一个特征范围是0到1另一个是1000到10000误差曲面会变得又扁又长梯度方向容易震荡。所以实操中第一步一定是做标准化。我举个例子学习率0.5损失函数在某个点的梯度是2.3那一轮更新就是参数减去1.15。如果梯度计算出来是5.8同样学习率下就减2.9。步子大小和坡度相关这是直观的经验但很多新手踩坑都踩在“同样学习率在不同特征尺度下表现完全不同”。2.3 评估指标R²不是R²要看清模型的预测质量一般看三个指标MSE、RMSE、R²。MSE因为平方放大了大误差的量级对离群点很敏感RMSE取根号后回到原始量纲理解起来更直观R²衡量模型解释了多少比例的数据波动越接近1越好。注意R²高不一定代表模型好。如果数据量很少、特征很多模型可能把噪声也学进去了。此时R²看着很高但换个数据集一测性能掉得离谱。这在机器学习里叫过拟合。所以评估模型不能只看训练集指标必须把数据分成训练集和测试集。我对初学者的建议是用RMSE跟业务对齐用R²跟模型对齐两个都放报表里。只看一个容易误判尤其RMSE量纲不同的时候单看数字没法直观判断好不好。3. 实操过程从数据到模型的标准工作流3.1 特征工程数据适配比模型选择更要命做回归项目时我见过最多的失败原因不是模型不对而是特征没处理好。特征工程里的“特征适配”说的是把原始数据变成模型能理解的、有区分度的输入。经常要处理的事情有缺失值填充用均值、中位数还是用模型预测、类别特征编码one-hot还是label encode、异常值处理用箱线图或Z-score过滤、特征缩放标准化或归一化。一点经验之谈线性回归的特征不需要做太多花哨的变换但一定要去除强相关特征也就是共线性问题。比如“房屋总面积”和“客厅面积”高度相关两个都进模型权重会被掰扯得很不稳定今天跑出来客厅权重是正明天跑出来变成了负解释全乱套。用一个就行。连续性特征和离散特征处理方式也不同。连续性特征直接进模型或者做分箱离散特征如果是有序的比如楼层、评分等级可以保留数值顺序如果是无序的比如城市、朝向要用one-hot编码避免模型强行给这些类别排序。3.2 模型训练与验证的基本流程一个标准的线性回归实操流程可以拆成六步。第一步数据清洗处理缺失值和明显的脏数据。第二步特征工程把原始字段转换成特征矩阵做标准化处理。第三步划分数据集按时间顺序或者随机划分保持训练集和测试集分布一致。第四步训练模型直接用现成工具库没必要自己手写梯度下降。第五步模型评估算RMSE和R²同时看预测值对真实值的散点图。第六步迭代优化调整特征或者添加正则化项。举个实际案例我之前帮一个团队预测店铺的日营业额。原始数据有日期、天气、客流、促销活动、周边商圈人流量、是否为节假日。第一次建模时我把所有原始字段直接扔进模型R²只有0.53。后来把日期拆成星期几、是否月初月末、距最近大型促销的天数把客流按小时做聚合取峰值和均值把天气从文本描述转成有序等级。重新训练后R²冲到0.81。同样一个模型数据预处理方式不一样效果差了一大截。这也是为什么大家总说机器学习项目里特征工程决定天花板模型只是去逼近这个天花板。3.3 一段可以抄作业的参考代码工具方面我日常用的是Python的scikit-learn简单直接。训练流程大致长这样import pandas as pd from sklearn.model_selection import train_test_split from sklearn.preprocessing import StandardScaler from sklearn.linear_model import LinearRegression from sklearn.metrics import mean_squared_error, r2_score # 读取数据假设df里已经有处理好的特征和标签 X df.drop(target, axis1) y df[target] # 切分训练集与测试集随机种子固定保证可复现 X_train, X_test, y_train, y_test train_test_split( X, y, test_size0.2, random_state42 ) # 特征标准化让每个特征的均值接近0方差接近1 scaler StandardScaler() X_train_scaled scaler.fit_transform(X_train) X_test_scaled scaler.transform(X_test) # 训练模型 model LinearRegression() model.fit(X_train_scaled, y_train) # 预测与评估 y_pred model.predict(X_test_scaled) print(RMSE:, mean_squared_error(y_test, y_pred, squaredFalse)) print(R2:, r2_score(y_test, y_pred)) print(权重系数:, model.coef_)三个细节要注意标准化的scaler只能用训练集fit再用同一套参数transform测试集不能把测试集数据混进去fit这是初学者最爱犯的错误随机种子固定实验结果才能复现不然调参时你自己都分不清效果迭代来自参数还是来自运气回归系数是在标准化之后的尺度上估计的解释业务含义时要先还原到原始特征尺度。4. 常见问题与排查技巧实录4.1 预测值几乎恒定模型形同虚设这种情况十有八九是数据泄漏的反义词即特征和目标之间没有任何线性关系或者特征噪声太大。这时候不要硬撑着用线性回归应该去看看特征的分布。如果特征方差很小即所有样本在这个特征上取值都差不多它提供不了任何区分信息。还有一个隐蔽原因目标变量本身就不适合直接用线性回归建模。如果目标值的分布严重偏向某个区间比如订单金额是长尾分布线性回归预测大面积样本在均值附近偏差就会很大。处理思路是把目标值取对数变成log(订单金额)再建模预测完再转回去。这在价格预测、销量预测里非常常见。4.2 训练集效果很好测试集效果很差标准的过拟合信号。线性回归的过拟合不像神经网络那么夸张但特征一多、样本量不够照样会在训练集上“背答案”。解决办法一个是简化模型去掉不重要的特征另一个是加正则化比如说岭回归或者Lasso。正则化的思路是给损失函数加一个“参数太大要扣分”的惩罚项。L1正则Lasso会把一部分特征的权重压到0变相做特征选择L2正则Ridge会把权重整体压小让模型更平滑。实际操作里特征多但相关性强的时候我习惯先用Lasso筛一遍再用Ridge做最终模型。4.3 特征权重方向和直觉相反业务方拿去一看说“广告投放越多销售额反而下降”模型权重显示负数直接质疑你的模型。先别慌极少数是模型真的错了更多是特征之间的共线性干扰或者缺失关键变量导致的偏差。我当时处理过一个案例某特征“促销折扣率”和另一个特征“活动力度等级”高度相关单独建模时折扣率系数为正两个一起放进模型时其中一个变成了负数因为两列数据携带着重复信息权重在它们之间被随意分配。解决方式是检查相关性矩阵把相关性高于0.7的特征合并或者剔除其中一个。遇到这种情况跟业务沟通时也要注意机器学习学到的相关性不等于因果关系模型反映的是统计规律不是业务逻辑。把这个边界讲清楚模型落地才不会走样。4.4 经典问题速查表现象大概率原因解决方案损失不下降或越训越大学习率太大调小学习率观察损失曲线训练很慢学习率太小或特征未标准化调大学习率先做标准化R²为负模型比直接预测均值还差检查特征与目标关系更换模型系数符号异常特征共线性做相关性分析剔除冗余特征测试集波动极大过拟合加正则化简化特征数量预测值集中在均值附近目标分布偏斜/特征信息弱对目标做变换重新做特征工程5. 线性回归模型的边界与扩展方向学线性回归最大的收益我认为是对“机器学习流程”这件事建立直觉。你会知道数据怎么变成特征特征怎么进入模型模型怎么输出预测预测怎么评估好坏。这套流程放进任何算法都适用。但不避讳地说线性回归在真实场景中有明显边界。大数据量高维稀疏特征比如文本分类、推荐系统它表现力不够特征和输出变量之间关系高度非线性比如图像识别、语音识别它也无能为力。想处理图像和语音这类高维复杂数据需要卷积神经网络、循环神经网络等更复杂的模型。比如人脸关键点定位、实时视频人脸特征点跟踪这种任务的输入是像素矩阵靠原始特征做线性组合根本不现实。那学它还有什么用恰恰因为它是所有复杂模型的基石。逻辑回归在线性回归的预测值外面套了一个sigmoid函数变成了分类模型神经网络把多个线性回归层摞起来加上非线性激活函数表达能力就指数级上升了。你会发现线性回归的参数更新、梯度下降、损失函数和全连接神经网络的训练方式是同一个底层逻辑。从学习路径看我的建议是先把线性回归搞得非常熟能徒手推导损失函数对参数的梯度能不看文档写出来训练循环能一眼看出特征工程哪里有问题。再往决策树、随机森林、GBDT、神经网络走每一步都会走得稳当很多。以我个人的实操体会来说线性回归从来没有离开过我的工具箱。做一些快速基线模型、探索特征有效性、提供业务解释性报告的时候它的性价比几乎是最高的。很多项目里我用神经网络把精度提高了一点点但跟业务方解释什么是神经元解释了一下午不如用线性回归把权重往桌上一摊来得痛快。这个看起来最简单的算法可能是陪伴你最长的一个。
