简介一套使用Python的数据分析与挖掘实战配套实验资源面向正在学习数据分析、数据挖掘的初学者和高校相关专业学生。资源按12个章节组织每章均配有可直接运行的数据源与源代码示例方便读者边学边练、快速复现典型分析案例。整个压缩包共包含701个文件体积约334.67兆字节其中以图片、数据库脚本、Python源码、Excel数据表为主要类型还包含文本说明、XML配置、CSV样本、模型文件等能够支持数据清洗、特征处理、建模评估、结果可视化等完整实践环节。目前该资源已有3523人学习下载说明其参考价值较高。借助分章节的代码和数据配套读者既可以循着教程逐步理解数据挖掘整体流程也可以自行修改参数、更换数据集完成扩展实验从而巩固课堂知识并可作为课程设计、毕业设计或技能竞赛前的实操素材。1. 这套Python数据分析与挖掘实战实验包到底解决什么问题很多学Python的人都有这种经历numpy、pandas、matplotlib的教程刷了一遍每个API都眼熟但拿到一份真实业务数据时还是不知道从哪下手。数据分析与挖掘最尴尬的节点不是“不会函数”而是“没有完整的带数据、带代码的练习场景”。这套标着“实验数据和源代码 共12个章节”的压缩包价值不在代码本身而在它把数据探索、预处理、建模到可视化的完整链路一次性给齐了。你可以顺着章节把每个案例跑通再回头把自己的数据套进同样的流程里。适合刚学完Python基础、准备用数据分析项目练手的人也适合工作里需要快速验证分类、聚类、关联规则等算法效果的从业者。2. 拆解12章节源码结构先看懂每个实验在做什么2.1 12个章节在展开什么样的分析链路拿到压缩包后我一般不会急着解压跑代码而是先看目录结构。标准的《Python数据分析与挖掘实战》类编排12章大体沿着一条主线走先搭环境、再学探索、然后预处理、最后上算法后面几章则是综合案例。你可以把它理解为一条“从数据到结论”的流水线。章节阶段核心主题主要涉及库/工具实验产出环境基础Python开发环境、pandas/numpy常用操作numpy, pandas数据读入、基本统计数据探索数据质量分析、数据特征分析matplotlib, pandas缺失值、异常值、分布图数据预处理清洗、集成、变换、规约sklearn.preprocessing, pandas干净的标准数据表挖掘建模分类、聚类、关联规则、时序sklearn, statsmodels训练好的模型、规则集行业案例电商、金融、交通等综合实战pandas, sklearn完整分析报告思路拿到包后建议先建立这张“地图”然后从数据预处理章节开始看。不要一上来就啃最后一章的复杂案例因为最后几章通常复用前面章节的代码你直接跑会看到一堆“引用了之前定义的函数”的报错实际上是没按顺序运行而不是代码本身有错。2.2 跑通实验前的环境准备python安装教程与依赖版本锁定实验代码能不能一次跑通十个有八个是环境问题。常见做法是为这个项目建一个独立的虚拟环境不要让全局Python里一堆包互相打架。# 创建虚拟环境指定Python 3.8以上版本 python -m venv pydm_env # 激活环境Windows pydm_env\Scripts\activate # 激活环境Linux/macOS source pydm_env/bin/activate # 升级pip并安装核心依赖 pip install --upgrade pip pip install numpy pandas matplotlib scikit-learn jupyter这段命令做的事很简单先建一个干净的隔离环境再装数据分析与挖掘的主包。这里有个值得注意的参数——python -m venv其实就是Python自带的标准库不需要额外安装。如果你系统里同时装了Python 3.9和Python 3.11建议统一用3.9或3.10因为有些实验代码里用到的第三方特性和sklearn的API版本绑定比较紧。装完包后建议把所有依赖导出成一个requirements.txt方便换电脑或者在别人机器上复现。pip freeze requirements.txt以后换机器时一行pip install -r requirements.txt就能把环境完整还原这是避免“我机器上跑得好好的到你机器上就报错”最直接的手段。注意pip freeze导出的内容包含所有包的具体版本凡是看到某个包后面跟着符号的一般是本地安装的换机器时可能会出问题可以手动清理掉。2.3 读实验数据之前先弄清楚数据文件的三种形态实验包里最常见、也最劝退的问题是代码里写死了数据路径。你解压后第一件该做的事不是在命令行敲某个脚本而是先站在数据旁边想清楚自己手里有什么。from pathlib import Path import pandas as pd # 用pathlib代替字符串拼接自动适配Windows/Linux路径 data_dir Path(./实验数据) # 实际目录名按解压结果调整 # 列出目录下所有数据文件 for f in data_dir.glob(*.csv): print(f.name, f.stat().st_size) # 随便读一个csv先看前5行和形状 df pd.read_csv(data_dir / chapter03_data.csv, encodingutf-8) print(df.shape) print(df.head())代码说明Path.glob是按文件名模式匹配的迭代器这里匹配所有csv文件。f.stat().st_size是文件字节数主要用于快速判断文件是否有内容——很多实验数据是生成器模拟的几千字节的csv其实只有表头加几行样例这时候直接跑模型当然会报“样本数不足”。pd.read_csv里的encoding参数是后补的实际上第一次跑很可能就要改成gbk这个坑后面单独讲。实验数据一般有三种形态csv文本、Excel表格、数据库导出文件。如果是数据库导出包里通常还会附带一个.sql文件你需要先导入数据库再跑代码。我自己的习惯是把所有数据文件先读到一个临时DataFrame里看一眼确认不是空文件之后再往下走这一步五分钟能省下后面两小时的排错时间。3. 用一个最小挖掘实验完整走一遍分类建模与可视化3.1 从实验数据到训练集切分数据时要避开的陷阱章节案例里的分类实验套路几乎都是“读数据→清理→切分→训练→评估”。这套流程看似简单但切分这一步最容易埋雷。如果原始数据是按时间排序的直接随机切分会把未来信息泄漏进训练集后续评估结果会虚高换到真实场景就翻车。我一般会先检查是否有时序字段有的话必须按时间顺序切。import pandas as pd import numpy as np from sklearn.model_selection import train_test_split df pd.read_csv(./data/sales.csv, encodinggbk) # 去掉全空的列只保留数值型字段用于建模 df df.dropna(axis1, howall) # 假设最后一列是目标标签 X df.iloc[:, :-1].select_dtypes(include[np.number]) y df.iloc[:, -1] # stratify保证训练集和测试集的类别比例一致 X_train, X_test, y_train, y_test train_test_split( X, y, test_size0.3, random_state42, stratifyy ) print(训练集样本数:, X_train.shape[0], 测试集样本数:, X_test.shape[0])逻辑说明dropna(axis1, howall)是把整列全为空的字段删掉而不是删行因为实验数据里经常有整列没填全的情况删行会丢掉大量样本。select_dtypes(include[np.number])只保留数值型特征避免把“性别”“城市”这类文本列直接扔进模型否则sklearn会报“无法处理字符串”。stratifyy是切分参数里最容易被忽略但最关键的——当分类目标本身分布不均衡时例如正样本只占10%不设置stratify测试集里可能一两个正样本都没有模型评估完全失真。这里还有一层容易被忽略的很多实验代码里有random_state参数。它保证每次运行切分结果一致是复现实验的基础。你拿到别人的源代码时不要手贱把这个参数去掉否则每次跑出来的AUC都不一样你还以为自己代码改坏了。3.2 分类模型的参数设置逻辑回归C值与随机森林n_estimators分类实验章节里最常见的两个模型是逻辑回归和随机森林因为它们一个简单透明一个效果好且不容易过拟合。逻辑回归主要调C值随机森林主要调树的棵数和深度。from sklearn.linear_model import LogisticRegression from sklearn.ensemble import RandomForestClassifier from sklearn.model_selection import cross_val_score # 逻辑回归C值越小正则化越强 lr LogisticRegression(C1.0, max_iter500, solverlbfgs) # 随机森林n_estimators在100左右比较稳 rf RandomForestClassifier(n_estimators100, max_depth6, min_samples_leaf3, random_state42) # 用5折交叉验证比较两个模型 for model in [lr, rf]: scores cross_val_score(model, X_train, y_train, cv5, scoringroc_auc) print(type(model).__name__, AUC:, scores.mean().round(3), /-, scores.std().round(3))代码说明给模型起好名字后统一用cross_val_score做验证不单独切验证集这样能用满训练数据。scoringroc_auc适用于二分类目标如果你的标签是多分类这里应该改成scoringaccuracy或者用roc_auc_ovr。max_iter500是给逻辑回归一个收敛的充足迭代次数默认100在某些稀疏特征上会不收敛报一条警告不影响结果但很烦人。调参的实际经验是这样的逻辑回归先用默认C1如果训练集准确率很高但交叉验证AUC明显偏低说明特征没做标准化先把数据StandardScaler一下再说别急着调C。随机森林的n_estimators从50到200效果增速递减超过300基本无收益还拖慢训练。max_depth对于数据量只有几千的实验数据设6~8就够了设得太深训练集分数好看测试集立刻崩。3.3 用python数据分析与可视化输出ROC曲线和特征重要性挖掘实验的另一个重头戏是画图。书里的案例很少只给出一个准确率数字就收工通常要配上ROC曲线和特征重要性图这样才能看出模型在不同阈值下的表现以及哪些字段在驱动预测。这个环节也最能体现数据分析与可视化的结合。import matplotlib.pyplot as plt from sklearn.metrics import roc_curve, auc from sklearn import metrics # 训练一个随机森林 rf.fit(X_train, y_train) y_score rf.predict_proba(X_test)[:, 1] # 计算ROC曲线数据 fpr, tpr, thresholds roc_curve(y_test, y_score) roc_auc auc(fpr, tpr) plt.figure(figsize(8, 6)) plt.plot(fpr, tpr, labelfRandomForest AUC{roc_auc:.3f}) plt.plot([0, 1], [0, 1], linestyle--, colorgray) plt.xlabel(False Positive Rate) plt.ylabel(True Positive Rate) plt.title(ROC Curve) plt.legend() plt.grid(alpha0.3) plt.savefig(./roc_result.png, dpi150) plt.show() # 特征重要性随机森林自带属性 importance pd.Series(rf.feature_importances_, indexX.columns) importance.sort_values(ascendingFalse).head(10).plot(kindbarh) plt.tight_layout() plt.savefig(./feature_importance.png, dpi150)代码说明predict_proba返回的是两个列第0列是类别0的概率第1列是类别1的概率取[:, 1]是拿正样本的预测概率。roc_curve依次返回假阳性率、真阳性率、阈值auc直接用积分方法算出曲线下面积这是衡量排序能力的标准指标。savefig的dpi150保证输出图像在报告里放大不糊。一个值得注意的点特征重要性的feature_importances_是随机森林训练完自动算好的但它的含义是“在所有特征中这个特征对于预测结果的贡献占比”不是相关性。占比小的特征不代表没用可能是和别的特征高度重复所以看到头几个特征占大头先别急着删其他特征先算一下相关性矩阵避免误删信息量大的字段。4. 避坑指南源代码与实验数据跑不通的高频原因4.1 现象read_csv一读数据就报UnicodeDecodeError打开实验数据文件时界面上冒出一串红色堆栈核心提示是UnicodeDecodeError: utf-8 codec cant decode byte。原因很简单很多实验数据是老式Windows中文系统里用Excel另存的编码是GBK或GB2312不是UTF-8。解决方法是把编码参数显式指定为gbk或更稳妥地用encodinggb18030它兼容GBK且能处理一些生僻字。如果仍报错就用errorsignore跳过坏字符但这样做的代价是某些中文字段会变成乱码需要事后清洗。我自己一般先打开记事本看文件的“另存为”编码再决定参数。4.2 现象sklearn模型训练报错提示某个参数不认得了报错通常是TypeError: __init__() got an unexpected keyword argument n_jobs或类似。原因是你用的scikit-learn版本和源代码编写时不一致早期版本API里的参数在新版被重命名或移除。最经典的是sklearn.model_selection.train_test_split在旧版写作sklearn.cross_validation.train_test_split还有LogisticRegression里的solver参数新版本才能设置。解决思路不是硬改回旧版本而是看报错信息提示的参数名去当前版本文档里找替代写法。如果非要用旧API可以装一个特定版本比如pip install scikit-learn0.24.2但建议还是改代码否则新项目根本没法维护。4.3 现象文件路径写死换一台电脑就找不到数据源代码里你可能看到D:/教学/实验/数据分析/实验数据/xxx.csv这样的硬编码路径。这种现象在教师给的实验包尤其常见解压到自己的笔记目录后路径全失效。解决办法是统一改成相对路径并始终以代码文件所在目录为基准。我习惯在代码开头先切换工作目录import os os.chdir(os.path.dirname(os.path.abspath(__file__)))这样无论你把整个文件夹放到哪儿只要文件夹内部结构不变代码都能跑。注意在Jupyter Notebook里__file__不存在改用os.path.abspath(.)。4.4 现象matplotlib画图中文显示成方块代码能跑图也能出但坐标轴中文标签全是豆腐块有时候还伴随着一行警告Glyph missing from font。原因是matplotlib默认字体不支持中文。解决方式是设置中文字体推荐用SimHei或Microsoft YaHei。plt.rcParams[font.sans-serif] [SimHei] plt.rcParams[axes.unicode_minus] False第二行负号不显示成方块这一行不设置坐标轴上负数会变成奇怪的竖线。如果你是macOS写[Arial Unicode MS]Linux写[WenQuanYi Zen Hei]。不想改代码的话也可以在绘图前单独指定字体但全局设置一次能省下后面所有图的麻烦。4.5 现象源代码里出现xrange、print hello 这类Python2语法老项目的一个特征是print后面没有括号或者用了xrange这个Python2关键字。Python3直接报语法错误没有商量余地。这种代码不能硬跑需要手动改造xrange全部替换成rangeprint xxx改成print(xxx)还有dict.iteritems()改成dict.items()。想省力的话可以用2to3工具自动转换但转换结果往往不完美比如强制转换后的zip返回迭代器后续代码如果当列表用又会出问题。我的做法是先全局搜索几个关键符号快速评估代码年代再决定是手工改还是工具改。4.6 现象模型训练时提示输入数据包含NaN或无穷值实验数据不是天然干净的一定有缺失值和异常值。sklearn的许多算法不接受NaN所以训练前必须处理。你可以在读入数据后加一条保险检查print(df.isnull().sum().sum()) # 打印缺失值总数 print(np.isinf(df.select_dtypes(include[np.number])).sum().sum()) # 打印无穷值总数如果存在无穷值常见原因是某个字段出现了除0或者对数转换溢出用df.replace([np.inf, -np.inf], np.nan)先把无穷值统一成缺失值再做填充。填充时不要一律用均值对于分布偏态很强的字段用中位数更稳因为均值容易被极端值带偏。5. 把12章源代码改造成自己的数据分析项目三个迁移技巧5.1 用config统一管理数据路径拒绝硬编码跑通一个章节实验不算难难的是把实验套路迁移到自己手上的真实数据分析项目。迁移的前提是代码不带着个人路径习惯和机器指纹。我一般会把所有可变的配置抽到一个config文件里无论是数据路径、随机种子、模型参数都放一起后续改起来一目了然。# config.py DATA_PATH { raw: ./data/raw/, processed: ./data/processed/, output: ./outputs/ } RANDOM_STATE 42 TEST_SIZE 0.3 MODEL_PARAMS { rf_n_estimators: 100, rf_max_depth: 6, lr_C: 1.0 }然后在业务脚本里引用它from config import DATA_PATH, RANDOM_STATE, TEST_SIZE import os raw_path os.path.join(DATA_PATH[raw], sales.csv) df pd.read_csv(raw_path)代码说明config.py本质上就是一个普通Python文件其他脚本导入它会执行一遍。注意保证你运行脚本的工作目录和config文件所在目录一致别在pathlib上绕弯子。这个做法的收益是数据换成新的、测试集比例需要调整时只改config一处不用在整个项目里搜索路径字符串。5.2 把挖掘流程封装成可复用的类实验代码普遍是平铺直叙读数据、做一件事、写一段注释、再做下一件事。这种写法对学习友好但真要复用就容易在脚本里来回复制粘贴。我会把“训练一个分类器并输出评估报表”的动作封装成类这样同一个流程可以反复用在不同的数据集上。class ClassificationPipeline: def __init__(self, model, target_col): self.model model self.target_col target_col def fit_report(self, df, feature_cols, test_size0.3, random_state42): X df[feature_cols] y df[self.target_col] from sklearn.model_selection import train_test_split X_train, X_test, y_train, y_test train_test_split( X, y, test_sizetest_size, random_staterandom_state, stratifyy ) self.model.fit(X_train, y_train) return { train_score: self.model.score(X_train, y_train), test_score: self.model.score(X_test, y_test) } # 使用示例 pipeline ClassificationPipeline(RandomForestClassifier(n_estimators100), target) report pipeline.fit_report(df, feature_cols[col_a, col_b, col_c])代码说明__init__里只存模型和目标列不直接读数据让这个类保持灵活。fit_report内部做切分、训练和评分返回字典而不是打印方便后续写入CSV或生成报告。注意这里我没让类自动识别特征列因为数据分析项目的特征选择是经常变动的显式传入才不会发生“特征泄漏到目标变量”的意外。5.3 用相关性热力图快速定位数据质量迁移项目的另一个常用技巧是在建模前先用一张相关性热力图扫描所有数值型字段。这一步不在12章节的某个实验里单独出现但几乎所有案例在数据分析阶段都会用到。import seaborn as sns corr df.corr(numeric_onlyTrue) plt.figure(figsize(12, 10)) sns.heatmap(corr, annotFalse, cmapvlag, center0, squareTrue, linewidths0.5, cbar_kws{shrink: 0.8}) plt.tight_layout() plt.show() # 查看与目标变量相关性最高的前10个特征 target_corr corr[target].abs().sort_values(ascendingFalse) print(target_corr.head(10))代码说明df.corr()默认算Pearson相关系数矩阵annotFalse不显示数值是为了避免热力图太密集看不清cmapvlag用蓝红配色蓝色负相关、红色正相关、白色零相关。这套输出的价值是一眼看到哪些字段和目标变量几乎无关哪些字段彼此高度相关。我通常会把相关系数超过0.8的两个字段删掉其中一个因为留着它们会导致逻辑回归的系数不稳定随机森林的特征重要性也会被稀释。6. 不是跑通就完事如何验证你的挖掘结果真的可信很多实验包里的案例跑完最后一章数据集就删了然后去面试时说“我做过数据分析”。但真正的数据分析项目看的不只是你会跑模型而是你的结果经不经得起推敲。我自己的习惯是每次模型训练完不过早看测试集分数而是先看交叉验证结果。如果5折交叉验证的AUC均值是0.82但5个分数分别是0.95、0.76、0.97、0.71、0.71标准差0.13说明模型在不同数据子集上表现极不稳定这时候报0.82就是在模糊真相。常见做法是打印每一折的分数而不是只打印均值。标准差大于0.05就要注意了先检查是不是样本量太小或者特征里有异常极端值。另一个常用的验证手段是学习曲线——用增长的数据量训练模型看训练集误差和验证集误差是否收敛。如果训练集分数高、验证集分数低且两者之间的差距不随样本量减小就是典型的过拟合。这时候不是继续调参而是先减少特征数量或者给模型增加约束决策树调小max_depth随机森林调大min_samples_leaf。如果两条曲线都低说明欠拟合那就该换更复杂的模型或者造特征。我看了太多拿到实验代码就跑一遍、然后把输出截图发朋友圈的案例真实业务里没有人关心你的随机森林拍出0.85还是0.88他们关心的是你为什么选择随机森林而不是逻辑回归、你的测试集是怎么切的、这个结果在换一批数据之后还成不成立。所以我会在跑通章节实验后强迫自己再回答三个问题这个模型的误差主要来自哪些样本换一个切分种子结果变化大吗这些特征换到同类数据上还解释得通吗这套流程做完才算真正吸收了12章实验代码的价值。对我来说一个数据分析项目做到位不是看成品有多高级而是看中间决策过程中你拒绝了多少个看似可行的捷径。最后分享一个我的笨办法每跑通一个章节就把代码里的关键函数手工重新实现一遍即使写得比源码丑也比单纯复制粘贴更让我记得住。希望帮到你。本文还有配套的精品资源点击获取
Python数据分析与挖掘实战：从实验代码到项目迁移的完整指南
简介一套使用Python的数据分析与挖掘实战配套实验资源面向正在学习数据分析、数据挖掘的初学者和高校相关专业学生。资源按12个章节组织每章均配有可直接运行的数据源与源代码示例方便读者边学边练、快速复现典型分析案例。整个压缩包共包含701个文件体积约334.67兆字节其中以图片、数据库脚本、Python源码、Excel数据表为主要类型还包含文本说明、XML配置、CSV样本、模型文件等能够支持数据清洗、特征处理、建模评估、结果可视化等完整实践环节。目前该资源已有3523人学习下载说明其参考价值较高。借助分章节的代码和数据配套读者既可以循着教程逐步理解数据挖掘整体流程也可以自行修改参数、更换数据集完成扩展实验从而巩固课堂知识并可作为课程设计、毕业设计或技能竞赛前的实操素材。1. 这套Python数据分析与挖掘实战实验包到底解决什么问题很多学Python的人都有这种经历numpy、pandas、matplotlib的教程刷了一遍每个API都眼熟但拿到一份真实业务数据时还是不知道从哪下手。数据分析与挖掘最尴尬的节点不是“不会函数”而是“没有完整的带数据、带代码的练习场景”。这套标着“实验数据和源代码 共12个章节”的压缩包价值不在代码本身而在它把数据探索、预处理、建模到可视化的完整链路一次性给齐了。你可以顺着章节把每个案例跑通再回头把自己的数据套进同样的流程里。适合刚学完Python基础、准备用数据分析项目练手的人也适合工作里需要快速验证分类、聚类、关联规则等算法效果的从业者。2. 拆解12章节源码结构先看懂每个实验在做什么2.1 12个章节在展开什么样的分析链路拿到压缩包后我一般不会急着解压跑代码而是先看目录结构。标准的《Python数据分析与挖掘实战》类编排12章大体沿着一条主线走先搭环境、再学探索、然后预处理、最后上算法后面几章则是综合案例。你可以把它理解为一条“从数据到结论”的流水线。章节阶段核心主题主要涉及库/工具实验产出环境基础Python开发环境、pandas/numpy常用操作numpy, pandas数据读入、基本统计数据探索数据质量分析、数据特征分析matplotlib, pandas缺失值、异常值、分布图数据预处理清洗、集成、变换、规约sklearn.preprocessing, pandas干净的标准数据表挖掘建模分类、聚类、关联规则、时序sklearn, statsmodels训练好的模型、规则集行业案例电商、金融、交通等综合实战pandas, sklearn完整分析报告思路拿到包后建议先建立这张“地图”然后从数据预处理章节开始看。不要一上来就啃最后一章的复杂案例因为最后几章通常复用前面章节的代码你直接跑会看到一堆“引用了之前定义的函数”的报错实际上是没按顺序运行而不是代码本身有错。2.2 跑通实验前的环境准备python安装教程与依赖版本锁定实验代码能不能一次跑通十个有八个是环境问题。常见做法是为这个项目建一个独立的虚拟环境不要让全局Python里一堆包互相打架。# 创建虚拟环境指定Python 3.8以上版本 python -m venv pydm_env # 激活环境Windows pydm_env\Scripts\activate # 激活环境Linux/macOS source pydm_env/bin/activate # 升级pip并安装核心依赖 pip install --upgrade pip pip install numpy pandas matplotlib scikit-learn jupyter这段命令做的事很简单先建一个干净的隔离环境再装数据分析与挖掘的主包。这里有个值得注意的参数——python -m venv其实就是Python自带的标准库不需要额外安装。如果你系统里同时装了Python 3.9和Python 3.11建议统一用3.9或3.10因为有些实验代码里用到的第三方特性和sklearn的API版本绑定比较紧。装完包后建议把所有依赖导出成一个requirements.txt方便换电脑或者在别人机器上复现。pip freeze requirements.txt以后换机器时一行pip install -r requirements.txt就能把环境完整还原这是避免“我机器上跑得好好的到你机器上就报错”最直接的手段。注意pip freeze导出的内容包含所有包的具体版本凡是看到某个包后面跟着符号的一般是本地安装的换机器时可能会出问题可以手动清理掉。2.3 读实验数据之前先弄清楚数据文件的三种形态实验包里最常见、也最劝退的问题是代码里写死了数据路径。你解压后第一件该做的事不是在命令行敲某个脚本而是先站在数据旁边想清楚自己手里有什么。from pathlib import Path import pandas as pd # 用pathlib代替字符串拼接自动适配Windows/Linux路径 data_dir Path(./实验数据) # 实际目录名按解压结果调整 # 列出目录下所有数据文件 for f in data_dir.glob(*.csv): print(f.name, f.stat().st_size) # 随便读一个csv先看前5行和形状 df pd.read_csv(data_dir / chapter03_data.csv, encodingutf-8) print(df.shape) print(df.head())代码说明Path.glob是按文件名模式匹配的迭代器这里匹配所有csv文件。f.stat().st_size是文件字节数主要用于快速判断文件是否有内容——很多实验数据是生成器模拟的几千字节的csv其实只有表头加几行样例这时候直接跑模型当然会报“样本数不足”。pd.read_csv里的encoding参数是后补的实际上第一次跑很可能就要改成gbk这个坑后面单独讲。实验数据一般有三种形态csv文本、Excel表格、数据库导出文件。如果是数据库导出包里通常还会附带一个.sql文件你需要先导入数据库再跑代码。我自己的习惯是把所有数据文件先读到一个临时DataFrame里看一眼确认不是空文件之后再往下走这一步五分钟能省下后面两小时的排错时间。3. 用一个最小挖掘实验完整走一遍分类建模与可视化3.1 从实验数据到训练集切分数据时要避开的陷阱章节案例里的分类实验套路几乎都是“读数据→清理→切分→训练→评估”。这套流程看似简单但切分这一步最容易埋雷。如果原始数据是按时间排序的直接随机切分会把未来信息泄漏进训练集后续评估结果会虚高换到真实场景就翻车。我一般会先检查是否有时序字段有的话必须按时间顺序切。import pandas as pd import numpy as np from sklearn.model_selection import train_test_split df pd.read_csv(./data/sales.csv, encodinggbk) # 去掉全空的列只保留数值型字段用于建模 df df.dropna(axis1, howall) # 假设最后一列是目标标签 X df.iloc[:, :-1].select_dtypes(include[np.number]) y df.iloc[:, -1] # stratify保证训练集和测试集的类别比例一致 X_train, X_test, y_train, y_test train_test_split( X, y, test_size0.3, random_state42, stratifyy ) print(训练集样本数:, X_train.shape[0], 测试集样本数:, X_test.shape[0])逻辑说明dropna(axis1, howall)是把整列全为空的字段删掉而不是删行因为实验数据里经常有整列没填全的情况删行会丢掉大量样本。select_dtypes(include[np.number])只保留数值型特征避免把“性别”“城市”这类文本列直接扔进模型否则sklearn会报“无法处理字符串”。stratifyy是切分参数里最容易被忽略但最关键的——当分类目标本身分布不均衡时例如正样本只占10%不设置stratify测试集里可能一两个正样本都没有模型评估完全失真。这里还有一层容易被忽略的很多实验代码里有random_state参数。它保证每次运行切分结果一致是复现实验的基础。你拿到别人的源代码时不要手贱把这个参数去掉否则每次跑出来的AUC都不一样你还以为自己代码改坏了。3.2 分类模型的参数设置逻辑回归C值与随机森林n_estimators分类实验章节里最常见的两个模型是逻辑回归和随机森林因为它们一个简单透明一个效果好且不容易过拟合。逻辑回归主要调C值随机森林主要调树的棵数和深度。from sklearn.linear_model import LogisticRegression from sklearn.ensemble import RandomForestClassifier from sklearn.model_selection import cross_val_score # 逻辑回归C值越小正则化越强 lr LogisticRegression(C1.0, max_iter500, solverlbfgs) # 随机森林n_estimators在100左右比较稳 rf RandomForestClassifier(n_estimators100, max_depth6, min_samples_leaf3, random_state42) # 用5折交叉验证比较两个模型 for model in [lr, rf]: scores cross_val_score(model, X_train, y_train, cv5, scoringroc_auc) print(type(model).__name__, AUC:, scores.mean().round(3), /-, scores.std().round(3))代码说明给模型起好名字后统一用cross_val_score做验证不单独切验证集这样能用满训练数据。scoringroc_auc适用于二分类目标如果你的标签是多分类这里应该改成scoringaccuracy或者用roc_auc_ovr。max_iter500是给逻辑回归一个收敛的充足迭代次数默认100在某些稀疏特征上会不收敛报一条警告不影响结果但很烦人。调参的实际经验是这样的逻辑回归先用默认C1如果训练集准确率很高但交叉验证AUC明显偏低说明特征没做标准化先把数据StandardScaler一下再说别急着调C。随机森林的n_estimators从50到200效果增速递减超过300基本无收益还拖慢训练。max_depth对于数据量只有几千的实验数据设6~8就够了设得太深训练集分数好看测试集立刻崩。3.3 用python数据分析与可视化输出ROC曲线和特征重要性挖掘实验的另一个重头戏是画图。书里的案例很少只给出一个准确率数字就收工通常要配上ROC曲线和特征重要性图这样才能看出模型在不同阈值下的表现以及哪些字段在驱动预测。这个环节也最能体现数据分析与可视化的结合。import matplotlib.pyplot as plt from sklearn.metrics import roc_curve, auc from sklearn import metrics # 训练一个随机森林 rf.fit(X_train, y_train) y_score rf.predict_proba(X_test)[:, 1] # 计算ROC曲线数据 fpr, tpr, thresholds roc_curve(y_test, y_score) roc_auc auc(fpr, tpr) plt.figure(figsize(8, 6)) plt.plot(fpr, tpr, labelfRandomForest AUC{roc_auc:.3f}) plt.plot([0, 1], [0, 1], linestyle--, colorgray) plt.xlabel(False Positive Rate) plt.ylabel(True Positive Rate) plt.title(ROC Curve) plt.legend() plt.grid(alpha0.3) plt.savefig(./roc_result.png, dpi150) plt.show() # 特征重要性随机森林自带属性 importance pd.Series(rf.feature_importances_, indexX.columns) importance.sort_values(ascendingFalse).head(10).plot(kindbarh) plt.tight_layout() plt.savefig(./feature_importance.png, dpi150)代码说明predict_proba返回的是两个列第0列是类别0的概率第1列是类别1的概率取[:, 1]是拿正样本的预测概率。roc_curve依次返回假阳性率、真阳性率、阈值auc直接用积分方法算出曲线下面积这是衡量排序能力的标准指标。savefig的dpi150保证输出图像在报告里放大不糊。一个值得注意的点特征重要性的feature_importances_是随机森林训练完自动算好的但它的含义是“在所有特征中这个特征对于预测结果的贡献占比”不是相关性。占比小的特征不代表没用可能是和别的特征高度重复所以看到头几个特征占大头先别急着删其他特征先算一下相关性矩阵避免误删信息量大的字段。4. 避坑指南源代码与实验数据跑不通的高频原因4.1 现象read_csv一读数据就报UnicodeDecodeError打开实验数据文件时界面上冒出一串红色堆栈核心提示是UnicodeDecodeError: utf-8 codec cant decode byte。原因很简单很多实验数据是老式Windows中文系统里用Excel另存的编码是GBK或GB2312不是UTF-8。解决方法是把编码参数显式指定为gbk或更稳妥地用encodinggb18030它兼容GBK且能处理一些生僻字。如果仍报错就用errorsignore跳过坏字符但这样做的代价是某些中文字段会变成乱码需要事后清洗。我自己一般先打开记事本看文件的“另存为”编码再决定参数。4.2 现象sklearn模型训练报错提示某个参数不认得了报错通常是TypeError: __init__() got an unexpected keyword argument n_jobs或类似。原因是你用的scikit-learn版本和源代码编写时不一致早期版本API里的参数在新版被重命名或移除。最经典的是sklearn.model_selection.train_test_split在旧版写作sklearn.cross_validation.train_test_split还有LogisticRegression里的solver参数新版本才能设置。解决思路不是硬改回旧版本而是看报错信息提示的参数名去当前版本文档里找替代写法。如果非要用旧API可以装一个特定版本比如pip install scikit-learn0.24.2但建议还是改代码否则新项目根本没法维护。4.3 现象文件路径写死换一台电脑就找不到数据源代码里你可能看到D:/教学/实验/数据分析/实验数据/xxx.csv这样的硬编码路径。这种现象在教师给的实验包尤其常见解压到自己的笔记目录后路径全失效。解决办法是统一改成相对路径并始终以代码文件所在目录为基准。我习惯在代码开头先切换工作目录import os os.chdir(os.path.dirname(os.path.abspath(__file__)))这样无论你把整个文件夹放到哪儿只要文件夹内部结构不变代码都能跑。注意在Jupyter Notebook里__file__不存在改用os.path.abspath(.)。4.4 现象matplotlib画图中文显示成方块代码能跑图也能出但坐标轴中文标签全是豆腐块有时候还伴随着一行警告Glyph missing from font。原因是matplotlib默认字体不支持中文。解决方式是设置中文字体推荐用SimHei或Microsoft YaHei。plt.rcParams[font.sans-serif] [SimHei] plt.rcParams[axes.unicode_minus] False第二行负号不显示成方块这一行不设置坐标轴上负数会变成奇怪的竖线。如果你是macOS写[Arial Unicode MS]Linux写[WenQuanYi Zen Hei]。不想改代码的话也可以在绘图前单独指定字体但全局设置一次能省下后面所有图的麻烦。4.5 现象源代码里出现xrange、print hello 这类Python2语法老项目的一个特征是print后面没有括号或者用了xrange这个Python2关键字。Python3直接报语法错误没有商量余地。这种代码不能硬跑需要手动改造xrange全部替换成rangeprint xxx改成print(xxx)还有dict.iteritems()改成dict.items()。想省力的话可以用2to3工具自动转换但转换结果往往不完美比如强制转换后的zip返回迭代器后续代码如果当列表用又会出问题。我的做法是先全局搜索几个关键符号快速评估代码年代再决定是手工改还是工具改。4.6 现象模型训练时提示输入数据包含NaN或无穷值实验数据不是天然干净的一定有缺失值和异常值。sklearn的许多算法不接受NaN所以训练前必须处理。你可以在读入数据后加一条保险检查print(df.isnull().sum().sum()) # 打印缺失值总数 print(np.isinf(df.select_dtypes(include[np.number])).sum().sum()) # 打印无穷值总数如果存在无穷值常见原因是某个字段出现了除0或者对数转换溢出用df.replace([np.inf, -np.inf], np.nan)先把无穷值统一成缺失值再做填充。填充时不要一律用均值对于分布偏态很强的字段用中位数更稳因为均值容易被极端值带偏。5. 把12章源代码改造成自己的数据分析项目三个迁移技巧5.1 用config统一管理数据路径拒绝硬编码跑通一个章节实验不算难难的是把实验套路迁移到自己手上的真实数据分析项目。迁移的前提是代码不带着个人路径习惯和机器指纹。我一般会把所有可变的配置抽到一个config文件里无论是数据路径、随机种子、模型参数都放一起后续改起来一目了然。# config.py DATA_PATH { raw: ./data/raw/, processed: ./data/processed/, output: ./outputs/ } RANDOM_STATE 42 TEST_SIZE 0.3 MODEL_PARAMS { rf_n_estimators: 100, rf_max_depth: 6, lr_C: 1.0 }然后在业务脚本里引用它from config import DATA_PATH, RANDOM_STATE, TEST_SIZE import os raw_path os.path.join(DATA_PATH[raw], sales.csv) df pd.read_csv(raw_path)代码说明config.py本质上就是一个普通Python文件其他脚本导入它会执行一遍。注意保证你运行脚本的工作目录和config文件所在目录一致别在pathlib上绕弯子。这个做法的收益是数据换成新的、测试集比例需要调整时只改config一处不用在整个项目里搜索路径字符串。5.2 把挖掘流程封装成可复用的类实验代码普遍是平铺直叙读数据、做一件事、写一段注释、再做下一件事。这种写法对学习友好但真要复用就容易在脚本里来回复制粘贴。我会把“训练一个分类器并输出评估报表”的动作封装成类这样同一个流程可以反复用在不同的数据集上。class ClassificationPipeline: def __init__(self, model, target_col): self.model model self.target_col target_col def fit_report(self, df, feature_cols, test_size0.3, random_state42): X df[feature_cols] y df[self.target_col] from sklearn.model_selection import train_test_split X_train, X_test, y_train, y_test train_test_split( X, y, test_sizetest_size, random_staterandom_state, stratifyy ) self.model.fit(X_train, y_train) return { train_score: self.model.score(X_train, y_train), test_score: self.model.score(X_test, y_test) } # 使用示例 pipeline ClassificationPipeline(RandomForestClassifier(n_estimators100), target) report pipeline.fit_report(df, feature_cols[col_a, col_b, col_c])代码说明__init__里只存模型和目标列不直接读数据让这个类保持灵活。fit_report内部做切分、训练和评分返回字典而不是打印方便后续写入CSV或生成报告。注意这里我没让类自动识别特征列因为数据分析项目的特征选择是经常变动的显式传入才不会发生“特征泄漏到目标变量”的意外。5.3 用相关性热力图快速定位数据质量迁移项目的另一个常用技巧是在建模前先用一张相关性热力图扫描所有数值型字段。这一步不在12章节的某个实验里单独出现但几乎所有案例在数据分析阶段都会用到。import seaborn as sns corr df.corr(numeric_onlyTrue) plt.figure(figsize(12, 10)) sns.heatmap(corr, annotFalse, cmapvlag, center0, squareTrue, linewidths0.5, cbar_kws{shrink: 0.8}) plt.tight_layout() plt.show() # 查看与目标变量相关性最高的前10个特征 target_corr corr[target].abs().sort_values(ascendingFalse) print(target_corr.head(10))代码说明df.corr()默认算Pearson相关系数矩阵annotFalse不显示数值是为了避免热力图太密集看不清cmapvlag用蓝红配色蓝色负相关、红色正相关、白色零相关。这套输出的价值是一眼看到哪些字段和目标变量几乎无关哪些字段彼此高度相关。我通常会把相关系数超过0.8的两个字段删掉其中一个因为留着它们会导致逻辑回归的系数不稳定随机森林的特征重要性也会被稀释。6. 不是跑通就完事如何验证你的挖掘结果真的可信很多实验包里的案例跑完最后一章数据集就删了然后去面试时说“我做过数据分析”。但真正的数据分析项目看的不只是你会跑模型而是你的结果经不经得起推敲。我自己的习惯是每次模型训练完不过早看测试集分数而是先看交叉验证结果。如果5折交叉验证的AUC均值是0.82但5个分数分别是0.95、0.76、0.97、0.71、0.71标准差0.13说明模型在不同数据子集上表现极不稳定这时候报0.82就是在模糊真相。常见做法是打印每一折的分数而不是只打印均值。标准差大于0.05就要注意了先检查是不是样本量太小或者特征里有异常极端值。另一个常用的验证手段是学习曲线——用增长的数据量训练模型看训练集误差和验证集误差是否收敛。如果训练集分数高、验证集分数低且两者之间的差距不随样本量减小就是典型的过拟合。这时候不是继续调参而是先减少特征数量或者给模型增加约束决策树调小max_depth随机森林调大min_samples_leaf。如果两条曲线都低说明欠拟合那就该换更复杂的模型或者造特征。我看了太多拿到实验代码就跑一遍、然后把输出截图发朋友圈的案例真实业务里没有人关心你的随机森林拍出0.85还是0.88他们关心的是你为什么选择随机森林而不是逻辑回归、你的测试集是怎么切的、这个结果在换一批数据之后还成不成立。所以我会在跑通章节实验后强迫自己再回答三个问题这个模型的误差主要来自哪些样本换一个切分种子结果变化大吗这些特征换到同类数据上还解释得通吗这套流程做完才算真正吸收了12章实验代码的价值。对我来说一个数据分析项目做到位不是看成品有多高级而是看中间决策过程中你拒绝了多少个看似可行的捷径。最后分享一个我的笨办法每跑通一个章节就把代码里的关键函数手工重新实现一遍即使写得比源码丑也比单纯复制粘贴更让我记得住。希望帮到你。本文还有配套的精品资源点击获取
