【】线性回归原理、问题看懂这篇就够了一、线性回归算法简介一基本概念线性回归是一种在统计领域里非常常见的分析方法, 它利用最小平方函数来对自变量和因变量之间的关系建立模型, 用来表达某个随机变量的条件均值与一个或多个解释变量的取值之间的联系所在, 具体的数学关系表达式如下所示在此情况下, 误差部分服从均值为零的正态分布。根据自变量的数量来进行划分, 线性回归可以分为两种情况, 分别是一元线性回归和多元线性回归。二原理与模型这个算法的核心, 是要建立一个用来描述自变量和因变量这俩东西之间线性关系的模型。我们要去找到那个最好的回归系数还有截距, 办法是让预测出来的数值和真正的数值之间的误差变得最小。为了衡量这个误差的大小, 咱们通常会用到像均方误差MSE这样的一些通用的误差衡量标准。然后, 通过不断去调整那些回归系数和截距之类的参数, 让那个 MSE 变得尽可能小。要是能做到这一点的话, 模型就能把数据给拟合得更好一些了。这样一来呢, 它也能更准确地去反映出那个自变量还有因变量之间的真实关系到底是咋回事儿。拿股票价格预测这事来说。我们要用历史的交易数据。这数据里包括成交量, 还有开盘价这些自变量。然后要看对应的股价。这是因变量。接着利用上面说的那个原理去构建一个线性回归模型。这个目标是什么。是让模型的预测价格和实际的股价之间的均方误差尽可能小。就这么做到最小。这么做的话。就能使这个模型有一点点用于预测的能力了。三模型训练在一般的做法里面, 人们会拿最小化损失函数这个路子去搞那个模型参数的估计。这里面, 有挺多比较有代表性的方法, 比如说那个正规方程, 还有梯度下降之类的办法。正规方程是一种直接去求解的方法, 当人们使用线性回归模型的时候, 其参数求解公式为其中 代表输入数据的特征矩阵, 代表目标变量的向量。正规方程这种办法, 它是具有优点的。不过, 正规方程存在的缺陷同样也是相当明显的。梯度下降这种算法, 它是一种迭代的优化手段, 它里面的那个基本道理, 说白了, 就是去跟着那个损失函数的梯度走的那个反方向使劲, 然后再不停地把那些参数给更新了这么一圈又一圈, 就为了给这个损失函数弄小一点再弄小一点, 一直到把这个最小值点给最终找到了为止, 当然这里头有时候可能只是一个局部的最小值点而已了, 然后它里面有个专门用来更新那个参数的公式, 就是写成这样的形状, 括号里面夹着那个学习率乘以损失函数梯度的负数。梯度下降这个方法, 又可以把它细分成几种不同的类型。第一种叫做批量梯度下降, 它每次都要使用所有的训练数据来进行计算, 以此来算出梯度, 然后再进行参数的更新工作。第二种叫做随机梯度下降, 它在每次的时候, 会随机地去挑选一个单独样本, 让模型去计算这个样本的梯度, 接着就用这个梯度来更新参数。第三种呢, 名字有点长, 叫作小批量梯度下降。它每次选取一小部分样本来进行计算, 利用这部分样本计算出梯度之后, 再去更新参数的操作。这种小batch的方式, 算是把前面两种方法的优点给综合起来了。在咱们进行大规模的电商交易数据的销量预测这个工作的时候, 要是采用小批量梯度下降这种办法, 那么就可以保证收敛速度不会太慢与此同时还可以降低计算资源的消耗。这样模型能够分步骤去把隐藏在数据里面的规律给学到手。最终就能够找到那些合适的回归系数以及其他的一些相关参数。四优化方法在模型进行训练的这个过程里面, 因为想要提升模型自身的表现能力以及运行效率, 所以往往会去应用一些专门的优化手段和操作方式。特征缩放, 它是被广泛采用的一种常用手段。正则化也是一种非常关键的优化方法, 它的核心功能在于避免模型出现过拟合现象, 这种情况通常表现为模型在训练数据集上表现得相当好, 然而在面对新的测试数据时表现却很差劲, 而大家所熟知的正则化手段主要就包括L1正则化这一类比如说Lasso回归以及L2正则化这一类例如Ridge回归。五性能评估咱们平时经常用到那个衡量好坏的指标, 比方说啥子均方误差, 就是MSE这个玩意儿, 还有啥均方根误差, 叫RMSE那种东西, 另外咧就是平均绝对误差, 叫做MAE, 再一个还有一R平方个指标。六应用场景在说到预测分析这一块的时候, 大家经常会碰到房价预测这个问题, 这个办法就是通过去收集房屋的面积数据, 还有房龄数据, 再加上周边配套设施这些自变量方面的信息, 然后把历史里面的房价也就是因变量的给结合起来, 进而构建出一个线性回归的模型, 这样就能够对新出现的房屋价格做出一个预测的动作了, 这么做可以帮忙那些购房者去做一个合理的决策, 同时也能让房产中介和开发商之类的群体做出合理的安排另外还存在着股票价格预测这一方面, 它是依据历史的股价走势来作为参考的, 并且还会纳入相关的宏观经济指标, 以及公司的财务数据这些自变量进去, 接着利用线性的方式来尝试分析一下股价会发生什么样的变化趋势, 这个做法能够辅助着投资者去进行他那个投资决策的过程。在趋势分析领域, 于经济侧面而言, 能够针对国内生产总值以及消费、投资、进出口等要素间的线性关系展开分析。借此手段, 得以把握经济发展的整体趋势。同时也能弄清各个影响因素所具备的作用程度。另外在流行病学方面, 可以通过探析疾病发病率同环境因素之间存在的关联。还可以研究人群生活习惯等因素的影响。因为这些都属于自变量范畴。如此做法有助于预测疾病将如何流行态势发展。最终能够为公共卫生政策的相关制定工作提供必要依据。此外, 线性回归技术还可以被拿来搞特征选择这一回事儿。你可以去盯着模型里头那些自变量对应的回归系数的大小情况看个究竟。通过这种观察方式, 你能够大概判定出到底是哪些自变量对因变量的影响看起来更加明显和突出。基于这个判断结果, 你就能把那些真正重要的特征给筛选出来。然后把这些选出来的重要特征拿去干别的事儿, 比如用于后续进一步的分析过程里, 或者是用来构建一些更为复杂的模型等。举个例子吧, 就是在分析客户的信用风险时候, 面对海量的客户个人基本信息以及消费行为数据之类的各种各样的特征内容, 利用那个线性回归模型去搞明白到底哪些具体的特征会对信用风险产生比较大的影响程度, 然后把这些找出来的关键性特征抓在手里作为重点关注的目标, 接着就是根据这些重点来做相关的风险评估工作还有管理动作。二、线性回归常见问题及解决办法一数据相关问题 1. 有效样本量不足所谓的有效样本量不足这一状况, 指的是实际拿出来进行分析处理的那些样品的具体数量, 竟然低于了这个研究方法本身所需要达到的合理水平下的样本基数。通常来讲, 为了让线性回归模型得出的结果具备更大的参考意义, 样本的数量至少需要达到变量数量的5到10倍。打个比方说, 如果存在5个自变量, 那么样本量最好处于25到50这个区间之上。一旦碰到了有效样本数量不够用这样一个让人头疼的状况, 咱们最拿得出手、也最立竿见影的一个招数啊, 那就是实打实地去把那个样本量给扩大了, 通过那些比如增加收集各种各样的数据手段办法, 尽可能多地把这些样本给弄到手, 好让面前的这个模型能够从里头去学习到更深、更丰富的那些所谓的数据特征, 这么一来, 才能顺理成章地把模型去描述和交代各个变量之间那种微妙关系的精准度, 给硬生生地提升上去。2. 自变量为定类数据在实际去应用线性回归的这个场景下面的时候, 我们经常会碰到自变量它可能是定类数据这类事情, 比如血型它分成了A、B、AB、O型这些, 还有性别是男和女, 这些都是定类数据。如果是定类数据的话, 那么我们只是把它们的作为控制变量把它放到模型里去处理的时候, 通常这种情况是可以允许的。这么做的主要目的, 也就是为了要把那些可能会对模型的整体结果产生一些干扰影响的因素给控制好。要是还想接着去把定类的自变量对因变量的那个影响关系分析得再深一点的话, 那就要做特别的处理, 这种做法就是专门去设置那些虚拟变量也被叫做是哑变量这么个东西。就拿上面说过的血型这个例子来说, 它是有四个水平的一个定类自变量, 这种情形下是可以生出三个的哑变量的, 做法是用其中的某一个水平来当作参照的, 比如说就用O型血当作参照的那种标准, 每个生成的那个哑变量都是用零点到一的这个区间值来表示清楚的, 如果是那一的话就代表的确实是已经属于了前面说的某一个分类里面的, 如果是零的话呢那就代表的不属于刚才说的这一类的意思在里面。在这些哑变量被放入模型当中, 并且开始参与分析以后, 通过这样一番操作所得到的回归系数就具备了实际意义, 从而能够更为良好地展现出不同类别与因变量两者之间所存在的关系。3. 数据存在异常值、缺失值所谓异常值, 指的是那些看上去明显就同其他的所有数据点存在着很大差别、偏离程度相当高的数据。那缺失值又是什么? 缺失值指的就是部分的数据出现了一定程度的缺失情况这样的一个问题状况。异常值可能会造成一种情况, 使得模型过度地拟合了这些属于异常的数据点, 这样一来模型的发展就会偏离整体上数据所真实反映的关系。我们可以用这样一个例子来阐述具体情形, 就是在分析产品销量与价格、广告投入这些不同因素之间的线性关系的时候, 假如出现了个别销量数据存在情况, 比如说因为记录错误这类原因, 导致数据显得非常高或者非常低, 这样的干扰就会产生作用, 从而影响到模型对于正常关系统筹和学习的进展工作。缺失值一方面会减少样本量, 降低模型可以利用的信息, 影响模型的估计精度另一方面也可能破坏数据的完整性, 使得模型在拟合过程中出现偏差, 降低模型的稳健性。针对这些问题, 常规的处理策略包括剔除异常值, 不过在决定进行剔除操作时, 需要谨慎甄别, 以确保那些并非存在特别含义的异常数据不会被错误清除, 同时, 对于缺失值的处理手段主要采用填补方式, 例如通过计算该统计变量的平均值来进行均值插补, 或者使用中位数替换的中位数插补方法, 还包含基于其他变量和含有缺失数据的统计变量之间关联关系来推算填补的回归插补技术, 以及运用多重插补这一类传统方法, 旨在最大程度还原数据完整状态, 借此将对后续模型造成的不利干扰减少到最低程度。二模型相关问题 1. 多重共线性多重共线性这种情况, 就是说的在多元线性回归模型的框架里头, 让那些个自变量之间, 存在了高度相关性的这么一种现象。咱们可以拿分析房价影响因素这个情况来打个比方, 比如说, 房屋面积以及房间数量这两个自变量, 它俩可能存在着比较强的相关性, 这是为什么? 这是因为通常来讲, 房屋面积越大, 那对应的房间内就可能越多。一旦多重共线性发生, 它会给回归系数的估计带来很坏的干扰。这会使得那些估计出来的系数不再稳定, 标准误会变大。这样一来, 判断系数到底是不是显著, 就会变得困难。统计推断的可靠程度, 也就跟着下降了。举个例子, 某个自变量本来是对因变量有着显著影响的。但是如果有了多重共线性在旁边捣乱, 研究人员有可能就错误地认为这个因素其实是没多少关系的。在统计学分析里, 大家通常会去算那个所谓叫方差膨胀因子的数值东西, 这个东西英文简称是 VIF。关于怎么判定有没有问题, 有个普遍的说法是当这个数字大于 10 的时候, 或者在一些比较严格的观点里是只要这个数值比 5 还要大的时候, 那就说明模型里确实出现了多重共线性这个麻烦状况。除此之外, 人们有时也想看看自变量们之间到底啥关系, 如果拿相关系数法来看的话, 发现要是其中有两个自变量的相关数值挺高很高, 甚至都快要到 1 那么接近了, 那也基本可以猜得出来这里面可能存在共线性的关联情况, 这算是个初步的判断办法。解决多重共线性问题的方法有很多种办法。首先可以手动剔除变量。具体做法是把那些 VIF 值比较大、相关性又很强的自变量进行筛选并剔除出去。不过在操作过程中要小心, 不要误删了重要的变量信息。其次可以采用逐步回归的方法。这种方法通过依次引入新的自变量, 一边引入还要做统计意义的检验, 同时观察调整后 R 方的变化情况进行自动筛选。最后就能挑出那些既有影响同时又不会让模型产生共线性问题的变量。另外岭回归和主成分分析也是常用的解决方法。岭回归会利用岭估计来代替普通的最低乘方估计。这种做法虽然是以损失一部分信息的代价换来的, 但能找到更稳定的回归系数。主成分分析则是把多个互相存在关联度的自变量转变成很少几个互不相干的综合变量, 然后用这些转换后的变量去参与建模工作。这样做的主要目的就是为了避开自变量之间会出现多重共线性的问题。2. 异方差性异方差性这个概念, 是说在线性回归模型当中, 那个误差项的方差, 不是固定不变的, 而是会跟着自变量的变化而变化, 这样一来, 它就违反了经典线性回归模型里面的一个关键假设, 也就是假说认为误差项应该是同方差的, 说白了就是应该有着大小一样的方差, 为了把这个事情说得更清楚具体一点, 我们可以举个例子出来看, 比如说现在大家在做一项研究, 这项研究是关于不同收入水平的人群的消费支出情况的, 在这种情况下呢, 很有可能会出现一种现象, 就是这个高收入人群他们的那个消费支出数据, 它的波动范围就是方差, 和那些低收入人群的波动范围是不一样的, 既然不一样, 那就说明在数据里面, 是可能存在异方差性的这个问题的。它的存在会导致原本使用普通最小二乘法进行参数估计的结果, 不再具备最优性以及有效性这样的特征。它也会造成 t 检验以及 F 检验这些统计推断手段所得到的结果出现不准确的情况。这样就会给关于模型方面的工作带来不利的影响具体包括评价模型时的表现, 还有预测所取得的效果都会变差。检测异方差性可以用残差图法, 把残差设为纵坐标, 把自变量设为横坐标, 然后画散点图来观察, 要是残差的散布呈现出一定趋势, 比如说随着自变量值增大, 残差的绝对值也在增大或者减小, 那样就可以初步判断存在异方差, 也可以用等级相关系数法做更严谨的检验, 通过计算对应的统计量并进行假设检验, 以此来推断异方差是否存在。针对异方差性问题, 常用的消除方法之一是采用稳健标准误法。这种方法可以在一定程度上减轻异方差对统计推断产生的影响。另外, 还可以进行Box-Cox变换。操作时需要依据数据的具体特点来选出合适的变换形式, 目的是使变换之后的数据能够符合同方差这一假设, 还有加权最小二乘法也是一种非常有效的手段, 需要结合误差方差与自变量之间存在的关联情况去定出权重数值, 接着对数据进行加权处理工作, 然后再开展回归分析才行, 不过得提醒的是它有时候没办法把异方差彻底消灭干净, 所以往往还需要跟其余各种方法搭配起来用才行。3. 自相关性自相关性, 它指的是在线性回归模型里面, 那个误差项和误差项之间存在着某种关联的问题, 也就是说在某一个特定时间点的误差数据, 会和别的其他时间点的误差数据产生联系, 它们并不是相互独立的这种状态, 这种情况往往经常会出现在时间序列类型的资料里头, 比方说你去分析每个月的产品销售数量, 还有像时间去进行促销活动这类因素之间所存在的那种关系的时候, 那么有可能就会出现相邻的那几个月的产品销售数据的误差部分会相互牵扯到一起的情况。当自相关性出现的时候, 普通最小二乘法估计出来的参数的方差会被低估。这会导致对回归系数显著性检验的结果变得不可靠。同时, 这也影响了模型的预测精度。在检测自相关性的时候, 我们通常可以借助DW检验和LM检验等方法来进行。其中呢, DW检验主要是用来对一阶自相关做出一个初步的判断。它的具体做法是先计算一下DW统计量的值, 接着把这个值和相应的临界值放到一起进行比较, 从而来确定到底存不存在自相关的现象。而相比之下, LM检验就显得更具有一般性了, 它可以用于检测多种不同形式的自相关情况。解决自相关性常用的手段有广义差分法, 通过对数据进行一定的变换来消除误差项之间的相关性还有迭代法, 不断调整模型参数来减小自相关性的影响, 使得模型能够更好地拟合数据, 提高模型的准确性和可靠性。4. 模型设定偏误模型设定偏误会包含多种类型, 这其中包括遗漏变量, 也就是说没有把那些对因变量有显著影响的自变量引进到这个模型里面去, 就像在分析学生成绩和学习因素关系的时候, 漏掉了学生学习时间这么重要的一个变量, 多余变量的情况是纳入了对因变量实际上没啥影响或者影响特别小的自变量, 这样做会增加模型的复杂性但没法提升解释能力, 变量形式错误是指变量之间实际的情况是非线性关系却错误地把它们当成线性关系来建模, 还有测量误差这种事, 也就是自变量或者因变量的测量数据不准确。这些模型在设定上的偏误会导致其不能准确地反映出各个变量之间的真实关系这种状况。这样一来, 就会影响到模型在拟合优度方面的表现。同时也会对模型的预测效果等产生影响。通常的做法是通过观察残差图的方法来发现一些端倪, 具体来说, 如果残差呈现出某种有规律的模式这样的情况, 可能就意味着存在模型设定偏误, 另外还可以利用统计检验的手段来判断变量的显著情况以及模型的拟合优度水平, 一旦发现原本认为重要的变量并不显著, 或者模型整体的拟合优度非常低等情况的时候, 都需要考虑是否存在设定偏误这个问题。解决的办法就是把对变量的选择情况的审查, 还有对关系的设定的审查, 都再仔细搞一回, 并且把模型重新调整一下, 通过补充那些遗漏掉的变量、把那些多余的变量给剔除掉、修正这些变量的具体形式或者是把测量方法给改进好, 等等, 来构建出一个更为合理和准确的线性回归模型。三、 这是一个关于广告销售的回归关系例子, 第一个例子是一元线性回归的例子, 这个例子是用广告投入的量还有产品的销售量当作说明。使用现有的库, 来完成一元线性回归任务的完整代码例子。在这个例子中, 我们选用广告投入量, 把它当作自变量。同时, 把产品销售量, 作为因变量。这样做的目的, 是为了分析这两者之间存在的线性联系。紧接着, 还需要进行相关的模型训练操作。之后, 要完成对模型的检验工作。最后, 还可以利用已经准备好的模型, 来进行后续的预测等行为。import matplotlib.pyplot as pltfrom sklearn.linear_model import LinearRegressionimport numpy as np# 数据获取data np.array([[29, 77], [28, 62], [34, 93], [31, 84], [25, 59], [29, 64], [32, 80], [31, 75], [24, 58], [33, 91],[25, 51], [31, 73], [26, 65], [30, 84]])x np.reshape(data[:, 0], (-1, 1)) # 第一列为广告投入量y np.reshape(data[:, 1], (-1, 1)) # 第二列为产品销售量# 绘制散点图plt.scatter(x, y) # 通过散点图很明显确定两列数据具备线形相关满足一元线形回归的使用条件plt.xlabel(Advertising investment)plt.ylabel(Product sales volume)# 建一元线性回归模型lr LinearRegression()lr.fit(x, y) # 训练模型a round(lr.coef_[0][0], 2) # 查看斜率b round(lr.intercept_[0], 2) # 查看截距print(线性回归模型为y {}x {}. .format(a, b))x_test np.array([[20], [55]])y_test lr.predict(x_test)plt.plot(x_test, y_test, colorr)# 实例化LinearRegression类创建线性回归模型对象lr接着调用fit方法传入自变量x和因变量y的数据让模型进行训练通过训练来确定模型的系数斜率a和截距b。训练完成后通过访问模型的coef_属性由于返回的是二维数组形式所以取[0][0]获取具体的斜率值和intercept_属性获取截距值并将其打印出来展示所得到的线性回归模型的表达式形式。# 模型检验lr.score(x, y)# 调用lr.score方法传入自变量x和因变量y这个方法会返回模型的决定系数R²用于评估模型对数据的拟合程度R²的值越接近 1表示模型拟合效果越好越能准确地反映自变量和因变量之间的关系。# 预测x_pred [[40], [45], [50]]y_pred lr.predict(x_pred)plt.scatter(x_pred, y_pred, colorg, marker*)plt.legend([mode, train, pred])plt.show()2. 多元线性回归示例以广告花费不同维度与销售额为例这是一个关于多元线性回归的代码示例, 它展示了一种做法, 就是把多个广告花费维度作为自变量放进去, 然后去预测销售额这个因变量, 结果就被算出来了, 代码里面包括了读入数据集这一步, 还有处理数据这一步, 也包含了生成模型这一步, 又涵盖了预测结果这一步, 同时也计算了误差这一步, 最后还进行了视图化展示这一块环节。import pandas as pdfrom sklearn.linear_model import LinearRegressionimport matplotlib.pyplot as pltimport seaborn as sns# 写入数据df_ads pd.read_csv(advertising.csv)df_ads.head()# 导入数据可视化所需要的库# 对所有的标签和特征两两显示其相关性热力图(heatmap)得到两两相关系数sns.heatmap(df_ads.corr(), cmapYlGnBu, annotTrue)plt.show()# 显示销量和各种广告投放量的散点图sns.pairplot(df_ads, x_vars[wechat, weibo, others], # x轴y_varssales, # y轴height4, aspect1, kindscatter)plt.show()# 准备训练数据X df_ads[[wechat, weibo, others]]y df_ads[sales]# 创建线性回归模型并拟合训练数据model LinearRegression()model.fit(X, y)# 预测结果y_pred model.predict(X)# 计算误差这里以均方误差为例实际可根据需求选用其他评估指标from sklearn.metrics import mean_squared_errormse mean_squared_error(y, y_pred)print(均方误差, mse)# 数据可视化展示拟合效果简单示例用散点图展示真实值和预测值对比plt.scatter(y, y_pred)plt.xlabel(真实销售额)plt.ylabel(预测销售额)plt.title(多元线性回归拟合效果对比)plt.show()二这是关于时间产品销量回归关系的一个示例, 它通过结合使用了线性回归模型以及基于时间序列进行预测的ARIMA模型来进行展示。这是相关库的使用情况的一个示例, 像等等这些库被拿来用, 然后基于 ARIMA 模型去对时间序列里的数据进行一番处理操作, 再把线性回归的分析方法也结合起来, 去看看时间相关的产品的销量之间到底是什么样的关系样子, 这份代码里不仅展现了数据怎么画成图来看到的情况, 还包含了去检验序列是否是平稳的这个步骤环节, 还有把模型给建立起来的过程细节, 以及最后进行预测的那部分功能内容。import pandas as pdfrom statsmodels.tsa.arima_model import ARIMAfrom statsmodels.graphics.tsaplots import plot_acf, plot_pacffrom statsmodels.tsa.stattools import adfuller as ADFimport matplotlib.pyplot as plt# 写入数据data pd.read_csv(sales.csv, header0, index_col0, parse_datesTrue, squeezeTrue)# 时序图绘制查看数据的时间序列特征data.plot()plt.title(时间序列数据)plt.xlabel(时间)plt.ylabel(产品销量)plt.show()# 自相关图查看序列自相关性plot_acf(data).show()# 平稳性检验ADF检验result ADF(data[销量])print(原始序列的ADF检验结果为, result)# 假设经过分析等确定了ARIMA模型的参数这里示例设置为(1, 1, 1)实际需根据具体数据情况确定model ARIMA(data, order(1, 1, 1))model_fit model.fit(disp0)# 预测未来销量这里假设预测未来7步可根据实际需求调整forecast model_fit.forecast(steps7)[0]print(预测的未来销量, forecast)# 结合线性回归这里简单示例假设已有一个简单线性回归模型lr实际需根据具体数据构建合适的线性回归模型# 例如用时间序列的某个特征如滞后一期的销量等作为自变量产品销量作为因变量构建线性回归模型# 以下是伪代码示意仅为展示结合思路# 假设X是构建好的自变量数据如滞后一期销量数据等lr是已经训练好的线性回归模型# y_pred_linear lr.predict(X)# 可以进一步对比ARIMA模型预测结果和结合线性回归后的预测结果等进行分析这里省略具体分析代码实际根据需求编写四、总结在实际的应用场景里, 线性回归模型是能够跑得比较快并且其得出的结果也非常容易被大家所理解和分析的, 然而它同时也会面临一些挑战, 例如当数据是非线性的时候其对拟合效果的限制会比较多, 另外它对异常值的敏感度较高以及受到多重共线性问题的影响等情况都是存在的, 因此在使用这一模型的时候需要结合具体的实际情况来进行多次的测试与相关的调整操作, 只有经过这样一系列过程之后才有可能获得令人满意的效果。笔者真心期盼此篇文章能够对各位人士产生一定程度的切实性助力作用, 倘若文中存在任何不当或者有误之处, 非常欢迎相关人士予以积极指正。
【Python】线性回归：原理、问题看懂这篇就够了
【】线性回归原理、问题看懂这篇就够了一、线性回归算法简介一基本概念线性回归是一种在统计领域里非常常见的分析方法, 它利用最小平方函数来对自变量和因变量之间的关系建立模型, 用来表达某个随机变量的条件均值与一个或多个解释变量的取值之间的联系所在, 具体的数学关系表达式如下所示在此情况下, 误差部分服从均值为零的正态分布。根据自变量的数量来进行划分, 线性回归可以分为两种情况, 分别是一元线性回归和多元线性回归。二原理与模型这个算法的核心, 是要建立一个用来描述自变量和因变量这俩东西之间线性关系的模型。我们要去找到那个最好的回归系数还有截距, 办法是让预测出来的数值和真正的数值之间的误差变得最小。为了衡量这个误差的大小, 咱们通常会用到像均方误差MSE这样的一些通用的误差衡量标准。然后, 通过不断去调整那些回归系数和截距之类的参数, 让那个 MSE 变得尽可能小。要是能做到这一点的话, 模型就能把数据给拟合得更好一些了。这样一来呢, 它也能更准确地去反映出那个自变量还有因变量之间的真实关系到底是咋回事儿。拿股票价格预测这事来说。我们要用历史的交易数据。这数据里包括成交量, 还有开盘价这些自变量。然后要看对应的股价。这是因变量。接着利用上面说的那个原理去构建一个线性回归模型。这个目标是什么。是让模型的预测价格和实际的股价之间的均方误差尽可能小。就这么做到最小。这么做的话。就能使这个模型有一点点用于预测的能力了。三模型训练在一般的做法里面, 人们会拿最小化损失函数这个路子去搞那个模型参数的估计。这里面, 有挺多比较有代表性的方法, 比如说那个正规方程, 还有梯度下降之类的办法。正规方程是一种直接去求解的方法, 当人们使用线性回归模型的时候, 其参数求解公式为其中 代表输入数据的特征矩阵, 代表目标变量的向量。正规方程这种办法, 它是具有优点的。不过, 正规方程存在的缺陷同样也是相当明显的。梯度下降这种算法, 它是一种迭代的优化手段, 它里面的那个基本道理, 说白了, 就是去跟着那个损失函数的梯度走的那个反方向使劲, 然后再不停地把那些参数给更新了这么一圈又一圈, 就为了给这个损失函数弄小一点再弄小一点, 一直到把这个最小值点给最终找到了为止, 当然这里头有时候可能只是一个局部的最小值点而已了, 然后它里面有个专门用来更新那个参数的公式, 就是写成这样的形状, 括号里面夹着那个学习率乘以损失函数梯度的负数。梯度下降这个方法, 又可以把它细分成几种不同的类型。第一种叫做批量梯度下降, 它每次都要使用所有的训练数据来进行计算, 以此来算出梯度, 然后再进行参数的更新工作。第二种叫做随机梯度下降, 它在每次的时候, 会随机地去挑选一个单独样本, 让模型去计算这个样本的梯度, 接着就用这个梯度来更新参数。第三种呢, 名字有点长, 叫作小批量梯度下降。它每次选取一小部分样本来进行计算, 利用这部分样本计算出梯度之后, 再去更新参数的操作。这种小batch的方式, 算是把前面两种方法的优点给综合起来了。在咱们进行大规模的电商交易数据的销量预测这个工作的时候, 要是采用小批量梯度下降这种办法, 那么就可以保证收敛速度不会太慢与此同时还可以降低计算资源的消耗。这样模型能够分步骤去把隐藏在数据里面的规律给学到手。最终就能够找到那些合适的回归系数以及其他的一些相关参数。四优化方法在模型进行训练的这个过程里面, 因为想要提升模型自身的表现能力以及运行效率, 所以往往会去应用一些专门的优化手段和操作方式。特征缩放, 它是被广泛采用的一种常用手段。正则化也是一种非常关键的优化方法, 它的核心功能在于避免模型出现过拟合现象, 这种情况通常表现为模型在训练数据集上表现得相当好, 然而在面对新的测试数据时表现却很差劲, 而大家所熟知的正则化手段主要就包括L1正则化这一类比如说Lasso回归以及L2正则化这一类例如Ridge回归。五性能评估咱们平时经常用到那个衡量好坏的指标, 比方说啥子均方误差, 就是MSE这个玩意儿, 还有啥均方根误差, 叫RMSE那种东西, 另外咧就是平均绝对误差, 叫做MAE, 再一个还有一R平方个指标。六应用场景在说到预测分析这一块的时候, 大家经常会碰到房价预测这个问题, 这个办法就是通过去收集房屋的面积数据, 还有房龄数据, 再加上周边配套设施这些自变量方面的信息, 然后把历史里面的房价也就是因变量的给结合起来, 进而构建出一个线性回归的模型, 这样就能够对新出现的房屋价格做出一个预测的动作了, 这么做可以帮忙那些购房者去做一个合理的决策, 同时也能让房产中介和开发商之类的群体做出合理的安排另外还存在着股票价格预测这一方面, 它是依据历史的股价走势来作为参考的, 并且还会纳入相关的宏观经济指标, 以及公司的财务数据这些自变量进去, 接着利用线性的方式来尝试分析一下股价会发生什么样的变化趋势, 这个做法能够辅助着投资者去进行他那个投资决策的过程。在趋势分析领域, 于经济侧面而言, 能够针对国内生产总值以及消费、投资、进出口等要素间的线性关系展开分析。借此手段, 得以把握经济发展的整体趋势。同时也能弄清各个影响因素所具备的作用程度。另外在流行病学方面, 可以通过探析疾病发病率同环境因素之间存在的关联。还可以研究人群生活习惯等因素的影响。因为这些都属于自变量范畴。如此做法有助于预测疾病将如何流行态势发展。最终能够为公共卫生政策的相关制定工作提供必要依据。此外, 线性回归技术还可以被拿来搞特征选择这一回事儿。你可以去盯着模型里头那些自变量对应的回归系数的大小情况看个究竟。通过这种观察方式, 你能够大概判定出到底是哪些自变量对因变量的影响看起来更加明显和突出。基于这个判断结果, 你就能把那些真正重要的特征给筛选出来。然后把这些选出来的重要特征拿去干别的事儿, 比如用于后续进一步的分析过程里, 或者是用来构建一些更为复杂的模型等。举个例子吧, 就是在分析客户的信用风险时候, 面对海量的客户个人基本信息以及消费行为数据之类的各种各样的特征内容, 利用那个线性回归模型去搞明白到底哪些具体的特征会对信用风险产生比较大的影响程度, 然后把这些找出来的关键性特征抓在手里作为重点关注的目标, 接着就是根据这些重点来做相关的风险评估工作还有管理动作。二、线性回归常见问题及解决办法一数据相关问题 1. 有效样本量不足所谓的有效样本量不足这一状况, 指的是实际拿出来进行分析处理的那些样品的具体数量, 竟然低于了这个研究方法本身所需要达到的合理水平下的样本基数。通常来讲, 为了让线性回归模型得出的结果具备更大的参考意义, 样本的数量至少需要达到变量数量的5到10倍。打个比方说, 如果存在5个自变量, 那么样本量最好处于25到50这个区间之上。一旦碰到了有效样本数量不够用这样一个让人头疼的状况, 咱们最拿得出手、也最立竿见影的一个招数啊, 那就是实打实地去把那个样本量给扩大了, 通过那些比如增加收集各种各样的数据手段办法, 尽可能多地把这些样本给弄到手, 好让面前的这个模型能够从里头去学习到更深、更丰富的那些所谓的数据特征, 这么一来, 才能顺理成章地把模型去描述和交代各个变量之间那种微妙关系的精准度, 给硬生生地提升上去。2. 自变量为定类数据在实际去应用线性回归的这个场景下面的时候, 我们经常会碰到自变量它可能是定类数据这类事情, 比如血型它分成了A、B、AB、O型这些, 还有性别是男和女, 这些都是定类数据。如果是定类数据的话, 那么我们只是把它们的作为控制变量把它放到模型里去处理的时候, 通常这种情况是可以允许的。这么做的主要目的, 也就是为了要把那些可能会对模型的整体结果产生一些干扰影响的因素给控制好。要是还想接着去把定类的自变量对因变量的那个影响关系分析得再深一点的话, 那就要做特别的处理, 这种做法就是专门去设置那些虚拟变量也被叫做是哑变量这么个东西。就拿上面说过的血型这个例子来说, 它是有四个水平的一个定类自变量, 这种情形下是可以生出三个的哑变量的, 做法是用其中的某一个水平来当作参照的, 比如说就用O型血当作参照的那种标准, 每个生成的那个哑变量都是用零点到一的这个区间值来表示清楚的, 如果是那一的话就代表的确实是已经属于了前面说的某一个分类里面的, 如果是零的话呢那就代表的不属于刚才说的这一类的意思在里面。在这些哑变量被放入模型当中, 并且开始参与分析以后, 通过这样一番操作所得到的回归系数就具备了实际意义, 从而能够更为良好地展现出不同类别与因变量两者之间所存在的关系。3. 数据存在异常值、缺失值所谓异常值, 指的是那些看上去明显就同其他的所有数据点存在着很大差别、偏离程度相当高的数据。那缺失值又是什么? 缺失值指的就是部分的数据出现了一定程度的缺失情况这样的一个问题状况。异常值可能会造成一种情况, 使得模型过度地拟合了这些属于异常的数据点, 这样一来模型的发展就会偏离整体上数据所真实反映的关系。我们可以用这样一个例子来阐述具体情形, 就是在分析产品销量与价格、广告投入这些不同因素之间的线性关系的时候, 假如出现了个别销量数据存在情况, 比如说因为记录错误这类原因, 导致数据显得非常高或者非常低, 这样的干扰就会产生作用, 从而影响到模型对于正常关系统筹和学习的进展工作。缺失值一方面会减少样本量, 降低模型可以利用的信息, 影响模型的估计精度另一方面也可能破坏数据的完整性, 使得模型在拟合过程中出现偏差, 降低模型的稳健性。针对这些问题, 常规的处理策略包括剔除异常值, 不过在决定进行剔除操作时, 需要谨慎甄别, 以确保那些并非存在特别含义的异常数据不会被错误清除, 同时, 对于缺失值的处理手段主要采用填补方式, 例如通过计算该统计变量的平均值来进行均值插补, 或者使用中位数替换的中位数插补方法, 还包含基于其他变量和含有缺失数据的统计变量之间关联关系来推算填补的回归插补技术, 以及运用多重插补这一类传统方法, 旨在最大程度还原数据完整状态, 借此将对后续模型造成的不利干扰减少到最低程度。二模型相关问题 1. 多重共线性多重共线性这种情况, 就是说的在多元线性回归模型的框架里头, 让那些个自变量之间, 存在了高度相关性的这么一种现象。咱们可以拿分析房价影响因素这个情况来打个比方, 比如说, 房屋面积以及房间数量这两个自变量, 它俩可能存在着比较强的相关性, 这是为什么? 这是因为通常来讲, 房屋面积越大, 那对应的房间内就可能越多。一旦多重共线性发生, 它会给回归系数的估计带来很坏的干扰。这会使得那些估计出来的系数不再稳定, 标准误会变大。这样一来, 判断系数到底是不是显著, 就会变得困难。统计推断的可靠程度, 也就跟着下降了。举个例子, 某个自变量本来是对因变量有着显著影响的。但是如果有了多重共线性在旁边捣乱, 研究人员有可能就错误地认为这个因素其实是没多少关系的。在统计学分析里, 大家通常会去算那个所谓叫方差膨胀因子的数值东西, 这个东西英文简称是 VIF。关于怎么判定有没有问题, 有个普遍的说法是当这个数字大于 10 的时候, 或者在一些比较严格的观点里是只要这个数值比 5 还要大的时候, 那就说明模型里确实出现了多重共线性这个麻烦状况。除此之外, 人们有时也想看看自变量们之间到底啥关系, 如果拿相关系数法来看的话, 发现要是其中有两个自变量的相关数值挺高很高, 甚至都快要到 1 那么接近了, 那也基本可以猜得出来这里面可能存在共线性的关联情况, 这算是个初步的判断办法。解决多重共线性问题的方法有很多种办法。首先可以手动剔除变量。具体做法是把那些 VIF 值比较大、相关性又很强的自变量进行筛选并剔除出去。不过在操作过程中要小心, 不要误删了重要的变量信息。其次可以采用逐步回归的方法。这种方法通过依次引入新的自变量, 一边引入还要做统计意义的检验, 同时观察调整后 R 方的变化情况进行自动筛选。最后就能挑出那些既有影响同时又不会让模型产生共线性问题的变量。另外岭回归和主成分分析也是常用的解决方法。岭回归会利用岭估计来代替普通的最低乘方估计。这种做法虽然是以损失一部分信息的代价换来的, 但能找到更稳定的回归系数。主成分分析则是把多个互相存在关联度的自变量转变成很少几个互不相干的综合变量, 然后用这些转换后的变量去参与建模工作。这样做的主要目的就是为了避开自变量之间会出现多重共线性的问题。2. 异方差性异方差性这个概念, 是说在线性回归模型当中, 那个误差项的方差, 不是固定不变的, 而是会跟着自变量的变化而变化, 这样一来, 它就违反了经典线性回归模型里面的一个关键假设, 也就是假说认为误差项应该是同方差的, 说白了就是应该有着大小一样的方差, 为了把这个事情说得更清楚具体一点, 我们可以举个例子出来看, 比如说现在大家在做一项研究, 这项研究是关于不同收入水平的人群的消费支出情况的, 在这种情况下呢, 很有可能会出现一种现象, 就是这个高收入人群他们的那个消费支出数据, 它的波动范围就是方差, 和那些低收入人群的波动范围是不一样的, 既然不一样, 那就说明在数据里面, 是可能存在异方差性的这个问题的。它的存在会导致原本使用普通最小二乘法进行参数估计的结果, 不再具备最优性以及有效性这样的特征。它也会造成 t 检验以及 F 检验这些统计推断手段所得到的结果出现不准确的情况。这样就会给关于模型方面的工作带来不利的影响具体包括评价模型时的表现, 还有预测所取得的效果都会变差。检测异方差性可以用残差图法, 把残差设为纵坐标, 把自变量设为横坐标, 然后画散点图来观察, 要是残差的散布呈现出一定趋势, 比如说随着自变量值增大, 残差的绝对值也在增大或者减小, 那样就可以初步判断存在异方差, 也可以用等级相关系数法做更严谨的检验, 通过计算对应的统计量并进行假设检验, 以此来推断异方差是否存在。针对异方差性问题, 常用的消除方法之一是采用稳健标准误法。这种方法可以在一定程度上减轻异方差对统计推断产生的影响。另外, 还可以进行Box-Cox变换。操作时需要依据数据的具体特点来选出合适的变换形式, 目的是使变换之后的数据能够符合同方差这一假设, 还有加权最小二乘法也是一种非常有效的手段, 需要结合误差方差与自变量之间存在的关联情况去定出权重数值, 接着对数据进行加权处理工作, 然后再开展回归分析才行, 不过得提醒的是它有时候没办法把异方差彻底消灭干净, 所以往往还需要跟其余各种方法搭配起来用才行。3. 自相关性自相关性, 它指的是在线性回归模型里面, 那个误差项和误差项之间存在着某种关联的问题, 也就是说在某一个特定时间点的误差数据, 会和别的其他时间点的误差数据产生联系, 它们并不是相互独立的这种状态, 这种情况往往经常会出现在时间序列类型的资料里头, 比方说你去分析每个月的产品销售数量, 还有像时间去进行促销活动这类因素之间所存在的那种关系的时候, 那么有可能就会出现相邻的那几个月的产品销售数据的误差部分会相互牵扯到一起的情况。当自相关性出现的时候, 普通最小二乘法估计出来的参数的方差会被低估。这会导致对回归系数显著性检验的结果变得不可靠。同时, 这也影响了模型的预测精度。在检测自相关性的时候, 我们通常可以借助DW检验和LM检验等方法来进行。其中呢, DW检验主要是用来对一阶自相关做出一个初步的判断。它的具体做法是先计算一下DW统计量的值, 接着把这个值和相应的临界值放到一起进行比较, 从而来确定到底存不存在自相关的现象。而相比之下, LM检验就显得更具有一般性了, 它可以用于检测多种不同形式的自相关情况。解决自相关性常用的手段有广义差分法, 通过对数据进行一定的变换来消除误差项之间的相关性还有迭代法, 不断调整模型参数来减小自相关性的影响, 使得模型能够更好地拟合数据, 提高模型的准确性和可靠性。4. 模型设定偏误模型设定偏误会包含多种类型, 这其中包括遗漏变量, 也就是说没有把那些对因变量有显著影响的自变量引进到这个模型里面去, 就像在分析学生成绩和学习因素关系的时候, 漏掉了学生学习时间这么重要的一个变量, 多余变量的情况是纳入了对因变量实际上没啥影响或者影响特别小的自变量, 这样做会增加模型的复杂性但没法提升解释能力, 变量形式错误是指变量之间实际的情况是非线性关系却错误地把它们当成线性关系来建模, 还有测量误差这种事, 也就是自变量或者因变量的测量数据不准确。这些模型在设定上的偏误会导致其不能准确地反映出各个变量之间的真实关系这种状况。这样一来, 就会影响到模型在拟合优度方面的表现。同时也会对模型的预测效果等产生影响。通常的做法是通过观察残差图的方法来发现一些端倪, 具体来说, 如果残差呈现出某种有规律的模式这样的情况, 可能就意味着存在模型设定偏误, 另外还可以利用统计检验的手段来判断变量的显著情况以及模型的拟合优度水平, 一旦发现原本认为重要的变量并不显著, 或者模型整体的拟合优度非常低等情况的时候, 都需要考虑是否存在设定偏误这个问题。解决的办法就是把对变量的选择情况的审查, 还有对关系的设定的审查, 都再仔细搞一回, 并且把模型重新调整一下, 通过补充那些遗漏掉的变量、把那些多余的变量给剔除掉、修正这些变量的具体形式或者是把测量方法给改进好, 等等, 来构建出一个更为合理和准确的线性回归模型。三、 这是一个关于广告销售的回归关系例子, 第一个例子是一元线性回归的例子, 这个例子是用广告投入的量还有产品的销售量当作说明。使用现有的库, 来完成一元线性回归任务的完整代码例子。在这个例子中, 我们选用广告投入量, 把它当作自变量。同时, 把产品销售量, 作为因变量。这样做的目的, 是为了分析这两者之间存在的线性联系。紧接着, 还需要进行相关的模型训练操作。之后, 要完成对模型的检验工作。最后, 还可以利用已经准备好的模型, 来进行后续的预测等行为。import matplotlib.pyplot as pltfrom sklearn.linear_model import LinearRegressionimport numpy as np# 数据获取data np.array([[29, 77], [28, 62], [34, 93], [31, 84], [25, 59], [29, 64], [32, 80], [31, 75], [24, 58], [33, 91],[25, 51], [31, 73], [26, 65], [30, 84]])x np.reshape(data[:, 0], (-1, 1)) # 第一列为广告投入量y np.reshape(data[:, 1], (-1, 1)) # 第二列为产品销售量# 绘制散点图plt.scatter(x, y) # 通过散点图很明显确定两列数据具备线形相关满足一元线形回归的使用条件plt.xlabel(Advertising investment)plt.ylabel(Product sales volume)# 建一元线性回归模型lr LinearRegression()lr.fit(x, y) # 训练模型a round(lr.coef_[0][0], 2) # 查看斜率b round(lr.intercept_[0], 2) # 查看截距print(线性回归模型为y {}x {}. .format(a, b))x_test np.array([[20], [55]])y_test lr.predict(x_test)plt.plot(x_test, y_test, colorr)# 实例化LinearRegression类创建线性回归模型对象lr接着调用fit方法传入自变量x和因变量y的数据让模型进行训练通过训练来确定模型的系数斜率a和截距b。训练完成后通过访问模型的coef_属性由于返回的是二维数组形式所以取[0][0]获取具体的斜率值和intercept_属性获取截距值并将其打印出来展示所得到的线性回归模型的表达式形式。# 模型检验lr.score(x, y)# 调用lr.score方法传入自变量x和因变量y这个方法会返回模型的决定系数R²用于评估模型对数据的拟合程度R²的值越接近 1表示模型拟合效果越好越能准确地反映自变量和因变量之间的关系。# 预测x_pred [[40], [45], [50]]y_pred lr.predict(x_pred)plt.scatter(x_pred, y_pred, colorg, marker*)plt.legend([mode, train, pred])plt.show()2. 多元线性回归示例以广告花费不同维度与销售额为例这是一个关于多元线性回归的代码示例, 它展示了一种做法, 就是把多个广告花费维度作为自变量放进去, 然后去预测销售额这个因变量, 结果就被算出来了, 代码里面包括了读入数据集这一步, 还有处理数据这一步, 也包含了生成模型这一步, 又涵盖了预测结果这一步, 同时也计算了误差这一步, 最后还进行了视图化展示这一块环节。import pandas as pdfrom sklearn.linear_model import LinearRegressionimport matplotlib.pyplot as pltimport seaborn as sns# 写入数据df_ads pd.read_csv(advertising.csv)df_ads.head()# 导入数据可视化所需要的库# 对所有的标签和特征两两显示其相关性热力图(heatmap)得到两两相关系数sns.heatmap(df_ads.corr(), cmapYlGnBu, annotTrue)plt.show()# 显示销量和各种广告投放量的散点图sns.pairplot(df_ads, x_vars[wechat, weibo, others], # x轴y_varssales, # y轴height4, aspect1, kindscatter)plt.show()# 准备训练数据X df_ads[[wechat, weibo, others]]y df_ads[sales]# 创建线性回归模型并拟合训练数据model LinearRegression()model.fit(X, y)# 预测结果y_pred model.predict(X)# 计算误差这里以均方误差为例实际可根据需求选用其他评估指标from sklearn.metrics import mean_squared_errormse mean_squared_error(y, y_pred)print(均方误差, mse)# 数据可视化展示拟合效果简单示例用散点图展示真实值和预测值对比plt.scatter(y, y_pred)plt.xlabel(真实销售额)plt.ylabel(预测销售额)plt.title(多元线性回归拟合效果对比)plt.show()二这是关于时间产品销量回归关系的一个示例, 它通过结合使用了线性回归模型以及基于时间序列进行预测的ARIMA模型来进行展示。这是相关库的使用情况的一个示例, 像等等这些库被拿来用, 然后基于 ARIMA 模型去对时间序列里的数据进行一番处理操作, 再把线性回归的分析方法也结合起来, 去看看时间相关的产品的销量之间到底是什么样的关系样子, 这份代码里不仅展现了数据怎么画成图来看到的情况, 还包含了去检验序列是否是平稳的这个步骤环节, 还有把模型给建立起来的过程细节, 以及最后进行预测的那部分功能内容。import pandas as pdfrom statsmodels.tsa.arima_model import ARIMAfrom statsmodels.graphics.tsaplots import plot_acf, plot_pacffrom statsmodels.tsa.stattools import adfuller as ADFimport matplotlib.pyplot as plt# 写入数据data pd.read_csv(sales.csv, header0, index_col0, parse_datesTrue, squeezeTrue)# 时序图绘制查看数据的时间序列特征data.plot()plt.title(时间序列数据)plt.xlabel(时间)plt.ylabel(产品销量)plt.show()# 自相关图查看序列自相关性plot_acf(data).show()# 平稳性检验ADF检验result ADF(data[销量])print(原始序列的ADF检验结果为, result)# 假设经过分析等确定了ARIMA模型的参数这里示例设置为(1, 1, 1)实际需根据具体数据情况确定model ARIMA(data, order(1, 1, 1))model_fit model.fit(disp0)# 预测未来销量这里假设预测未来7步可根据实际需求调整forecast model_fit.forecast(steps7)[0]print(预测的未来销量, forecast)# 结合线性回归这里简单示例假设已有一个简单线性回归模型lr实际需根据具体数据构建合适的线性回归模型# 例如用时间序列的某个特征如滞后一期的销量等作为自变量产品销量作为因变量构建线性回归模型# 以下是伪代码示意仅为展示结合思路# 假设X是构建好的自变量数据如滞后一期销量数据等lr是已经训练好的线性回归模型# y_pred_linear lr.predict(X)# 可以进一步对比ARIMA模型预测结果和结合线性回归后的预测结果等进行分析这里省略具体分析代码实际根据需求编写四、总结在实际的应用场景里, 线性回归模型是能够跑得比较快并且其得出的结果也非常容易被大家所理解和分析的, 然而它同时也会面临一些挑战, 例如当数据是非线性的时候其对拟合效果的限制会比较多, 另外它对异常值的敏感度较高以及受到多重共线性问题的影响等情况都是存在的, 因此在使用这一模型的时候需要结合具体的实际情况来进行多次的测试与相关的调整操作, 只有经过这样一系列过程之后才有可能获得令人满意的效果。笔者真心期盼此篇文章能够对各位人士产生一定程度的切实性助力作用, 倘若文中存在任何不当或者有误之处, 非常欢迎相关人士予以积极指正。
