简介华为杯研赛历年赛题截止2021年压缩包汇集了2011年至2021年间2020年除外华为杯中国研究生数学建模竞赛的赛题资料主要面向参加研赛的研究生团队与数学建模爱好者帮助读者快速了解历年命题方向与题型难度。压缩包体积约769MB内容按年份组织年份编号对应当年赛题便于按需检索与模拟训练。已有8047人浏览学习是被广泛使用的备赛参考。资料内含各年度赛题正文、问题背景及配套数据覆盖大数据分析、人工智能、能源管理、环境保护等前沿领域。通过研读这些赛题读者能够学习如何将实际工程与社会问题抽象为数学模型掌握多元统计、优化算法、数值计算等方法的实战应用同时提升团队分工、论文撰写与结果呈现等综合能力。对于初次参赛或寻求突破的选手而言这是一份定位清晰、覆盖多年的高价值题库值得在赛前反复琢磨。1. 华为杯研赛赛题包一份截止2021年的建模真题资产华为杯研赛赛题包截止2021年压缩包记录了中国研究生数学建模竞赛十余年的真题原文、配套数据与问题描述是备赛学生最先入手的资料之一。拿到真题包不等于拿到题库真正的价值藏在题目背景文本和结构化的数据文件里同一类优化问题换一个行业场景约束条件和数据量级就完全不同。这里从 ZIP 内部结构讲起先做文件级整理和编码统一再按领域与模型统计历年考察方向给出一个用 Python 抽取文本并建立可检索题库的方案最后把基于这套题库的三周演练节奏和复盘技巧一并讲清楚。适合准备研赛的研究生、带竞赛的指导教师以及对数学建模题目做文本分析的工程师。2. 华为杯研赛赛题包的目录结构与批量解压整理2.1 先检查压缩包完整性与内容清单拿到 ZIP 后不要急着双击解压先做两件事校验压缩包是否完整列出内容清单。这样做能避免解压到一半报 CRC 错误也能提前判断赛题文件是按年份组织还是按题型组织。研赛题目包的来源渠道多样不同来源的文件组织方式不完全一致提前看一眼内部结构可以省掉后面很多重新整理的功夫。在 Linux 环境下用 unzip 自带的参数完成校验和清单查看unzip -t 华为杯研赛历年赛题截止2021年.zip unzip -l 华为杯研赛历年赛题截止2021年.zip-t参数对压缩包内的每个文件执行 CRC 校验输出No errors detected in compressed data表示文件完整-l列出压缩包内每个文件的大小、日期和完整路径可以快速看出目录是不是按年份组织。如果包损坏输出里会直接指出具体文件名这时先重新下载或找来源方重新传输。Windows 上不方便用 unzip 命令时可以用 PowerShell 校验文件哈希Get-FileHash -Algorithm SHA256 -Path .\华为杯研赛历年赛题截止2021年.zip拿到哈希值后和来源方公布的校验值比对能确认文件在传输过程中没有被改动。这一步成本很低但对一份要长期留存的资料来说很关键。2.2 批量解压并统一文件编码确认完整后开始解压。压缩包内部文件名如果包含中文容易在部分环境下出现乱码原因大多出在 ZIP 内文件名编码是 GBK 而系统默认按 UTF-8 解码。Linux 下推荐用 7z 处理中文文件名7z x 华为杯研赛历年赛题截止2021年.zip -o./huawei_bei find ./huawei_bei -type f | head -30-o指定输出目录7z 对中文编码的兼容性比 unzip 更好。解压完成后用find看一眼实际文件列表确认目录层级是否符合预期。如果仍有文件名乱码用 Python 脚本批量修正。乱码最常见的形态是2019}}这类替换字符修复思路是先按 GBK 解码原始字节再重新编码为 UTF-8import os, zipfile src 华为杯研赛历年赛题截止2021年.zip dst huawei_bei os.makedirs(dst, exist_okTrue) with zipfile.ZipFile(src) as zf: for info in zf.infolist(): name info.filename.encode(cp437).decode(gbk, errorsignore) target os.path.join(dst, name) if info.is_dir(): os.makedirs(target, exist_okTrue) continue os.makedirs(os.path.dirname(target), exist_okTrue) with zf.open(info) as f_in, open(target, wb) as f_out: f_out.write(f_in.read())cp437是 Python 处理 ZIP 内非 UTF-8 文件名时的默认解码方式先还原成原始字节再用gbk解码回正确中文。文件名本身不是乱码的场景不需要走这段逻辑直接zf.extractall(dst)即可。目录里有大量文件时建议写成脚本而不是手动重命名原因有两个一是题目压缩包里经常有几十个文件手工改名容易漏二是脚本执行顺序可记录后面要追溯整理过程时可以直接看代码。2.3 建立按年份与题型的目录索引解压完成后下一步是把散落文件归到统一目录结构。我一般采用的规则是年份做顶层目录题目文档和数据文件分开存放huawei_bei/ 2004/ 题目/ 数据/ 2005/ ... 2021/如果原始文件本身就是按年份组织的这一步会非常快。每道赛题一般包含以下几个组成部分。组成常见文件类型用途题目正文PDF、Word问题描述、假设条件、输出要求数据文件CSV、Excel、txt模型输入、验证数据参考说明PDF、txt部分年份包含补充说明论文模板docx部分年份提供提交模板分好目录后给每个年份目录写一个README.txt记录该年赛题数量和自己当时的初步判断。用脚本生成for d in huawei_bei/*/; do echo 资料目录: $d $d/README.txt ls -1 $d $d/README.txt done生成后人工补充一两句话就行这些备注在后期快速定位某类题目时非常有用。3. 把历年赛题按领域与模型分类华为杯研赛考察地图3.1 领域分布与考察热点的变化把 2004 到 2021 年的题目放在一起看能够明显看到比赛题目的关注面在变化。早期题目更偏经典运筹与确定性模型交通调度、网络规划、资源配置这类问题出现频率高实现手段以线性规划、整数规划、排队论和微分方程为主。越到后期题目中带明显数据驱动色彩的比重逐渐加大数据预处理、特征工程和结果可视化成为能否拿到好名次的关键环节。下面是一张依据常见赛题内容整理的领域分布示意表这是一个大致分类不同来源的归类标准会有差异。领域典型关键词常见模型方向交通与物流路径规划、拥堵、配送图论、整数规划、仿真通信与网络基站、带宽、时延优化、排队论能源与环境风电、光伏、排放时间序列、预测、微分方程生物与医学疫苗、病原、影像统计、机器学习、图像处理金融与经济定价、风险、供需回归、时间序列、随机模型制造与系统排产、质检、故障调度、可靠性、聚类这张表的价值在于它告诉你准备阶段不需要平均用力。拿到历年赛题后先把自己学校或者导师组熟悉的行业领域圈出来再对照表格把该领域的真题按时间顺序做一遍比盲目从头题刷到尾题效率高得多。跨领域题目同样值得关注因为建模方法往往在领域间迁移同一种优化思想在交通和制造里只是约束条件不同。3.2 高频模型从微分方程、随机模拟到机器学习对题目正文做词频统计后可以发现模型关键词的分布有明显的层次。最稳定出现的是优化和统计这两类它们几乎是每年必考。优化类的题目集中在线性规划、整数规划与动态规划统计类的题目核心是回归分析、假设检验与方差分析。这两类是数学建模课程的基本盘。第二梯队的模型则跟具体年份的数据条件强相关。随机模拟在前中期出现频繁题目中涉及随机到达、需求波动时蒙特卡洛和排队网络就是主力工具。微分方程模型更多出现在物理机制清楚的题里比如热传导、种群增长、污染物扩散。到了 2015 年之后机器学习相关的题目明显增加集成学习、聚类、神经网络开始成为部分题目的基础方法但通常不会要求参赛者在题目正文里直接训练一个大模型更多是让参赛者把算法结果嵌入到一个完整的建模流程里。需要强调的是看到机器学习类题目并不意味着传统方法失效。近年评分较好的论文往往是一种组合用机理模型描述系统演化再用机器学习修正误差。备赛阶段既要会调库训练也要能把优化的目标函数写清楚两手同时准备。区别在于传统方法需要把公式推导完整机器学习方法则需要把数据划分、交叉验证和评价指标交代清楚两者写作重心不同。3.3 数据文件格式的演变与预处理要点赛题包里除了题目文档更重要的是数据文件。早期数据多以 Excel 和 txt 形式出现单文件规模在几百 KB 的量级列结构相对清晰。后续年份里 CSV 和 JSON 变多部分题目直接给出多表关联结构或者有明显缺失值和离群值的实际观测数据考题的考察点开始从“算得出”向“数据处理干净”延伸。拿到一个数据文件后建议按固定顺序做五步检查看列名与字段含义确认有没有说明文档。看数据类型日期列是否被解析成字符串数值列有没有混入单位。检查缺失值比例超过三成的列要考虑是否保留或构造派生特征。看量纲差异是否需要对连续变量做标准化。保存一份原始备份所有清洗操作都基于副本进行。这五个步骤耗时很少却决定了后续模型能否稳定收敛。很多参赛队伍把大量时间花在重新清洗数据上原因是第一天没有把这个流程跑完。把赛题包里的每个数据文件都按这套检查顺序过一遍本身就是很实战的预处理训练。其中缺失值检查可以用 pandas 快速完成import pandas as pd df pd.read_csv(data.csv, encodinggbk) print(df.dtypes) print(df.isna().mean().sort_values(ascendingFalse))read_csv里的encoding参数要按文件实际编码给定常见的是gbk和utf-8两种。isna().mean()输出每一列的缺失率缺失率最高的列排在最前面和题目说明里的数据来源结合着看可以判断是原始缺失还是读取错位造成的空值。4. 用Python批量抽取赛题文本把ZIP变成可检索题库4.1 读取赛题包里的PDF、Word与Excel文件历年赛题的题目正文格式不统一PDF、Word、文本混合出现。为了让赛题包真正变成可检索的个人题库我建议写一个统一的读取脚本把所有文本抽取出来落到同一种格式里。这样后续检索时只面对一份统一的索引而不是在几十个不同格式的文件间来回切换。先确定依赖。PDF 用pdfplumber读取Word 用python-docxExcel 用pandas全部装在一个虚拟环境里pip install pdfplumber python-docx pandas openpyxl读取三个类型文件的示例函数如下import pdfplumber import pandas as pd from docx import Document from pathlib import Path def extract_pdf(path: Path) - str: parts [] with pdfplumber.open(path) as pdf: for page in pdf.pages: text page.extract_text() or parts.append(text) return \n.join(parts) def extract_docx(path: Path) - str: doc Document(path) return \n.join(p.text for p in doc.paragraphs) def extract_xlsx_sheet(path: Path) - str: df pd.read_excel(path, sheet_nameNone) lines [] for name, frame in df.items(): lines.append(f[sheet: {name}]) lines.append(frame.head(20).to_csv(indexFalse)) return \n.join(lines) def extract_file(path: Path) - str: if path.suffix .pdf: return extract_pdf(path) if path.suffix .docx: return extract_docx(path) if path.suffix in (.xlsx, .xls): return extract_xlsx_sheet(path) return extract_pdf按页抽取文本并拼接extract_docx只取段落因为题目正文大多在段落里。extract_xlsx_sheet不把整个表打出来只取前 20 行用于检索时的预览避免题库文件过大。extract_file是总入口按文件后缀分发到对应函数return 兜住其他类型的文件。4.2 对赛题进行关键词提取与标签标注文本抽取完成后要对每道题做关键词提取。没有现成 NLP 环境时直接用jieba做词频统计即可满足大部分需求先安装pip install jieba安装完成后定义关键词提取函数import jieba from collections import Counter def extract_tags(text: str, top_k15): words [w for w in jieba.cut(text) if len(w) 2] stopwords {问题, 题目, 要求, 说明, 一个, 可以, 需要} filtered [w for w in words if w not in stopwords and not w.isdigit()] return [w for w, _ in Counter(filtered).most_common(top_k)]jieba.cut对中文题目做分词停用词表里的词会在统计前被过滤掉。这里给的停用词只是基础版实际使用时还需要根据赛题文本特点补充比如把“数据”“模型”这种出现频率过高但没有区分度的词加入停用词。top_k默认取 15标签太碎就调小覆盖不够就调大。对每一年的每一道题跑一遍关键词提取然后把结果保存成一张表年份题号关键词按次数排序对应文件名2019A调度、约束、整数规划2019A.pdf2020B时间序列、预测、缺失值2020B_data.csv保存的关键代码如下records [] for path in all_files: text extract_file(path) tags extract_tags(text) records.append({ 年份: path.parent.name, 题号: path.stem[:1], 关键词: .join(tags), 对应文件名: path.name, }) idx pd.DataFrame(records) idx.to_csv(ti_index.csv, indexFalse, encodingutf-8-sig)all_files可以用Path(huawei_bei).rglob(*)生成匹配所有子目录下的文件。年份直接从父目录名取题号则按文件名首字符截取规则可以根据实际情况调整。编码用utf-8-sig保存Excel 打开时不会出现中文乱码。4.3 按知识点反向检索原题题库索引建立后检索变得很直接。假设想找和“聚类”相关的所有赛题import pandas as pd idx pd.read_csv(ti_index.csv) mask idx[关键词].str.contains(聚类, naFalse) result idx[mask] print(result[[年份, 题号, 对应文件名]])str.contains做的是子串匹配只要关键词列里包含“聚类”两个字就会被选中即使这个词和别的词组合在一起也能命中。naFalse让空值不参与匹配避免报错。配合 PDF 抽取时的页码信息还能直接定位到某道题的具体小节。这一步做完压缩包就从静态资料库变成了可交互的赛题检索系统。5. 基于赛题包的备赛演练三周循环法与复盘技巧5.1 三周循环法的题量安排一份赛题包里的量很大从 2004 到 2021 年的题全部精做并不现实。我更推荐按三周一轮的方式组织。第一周只做近三年的题题目选定后先花半天把题目背景读透再用一天做数据预处理随后两天建模求解最后一天写摘要和正文框架。第二周换到更早两年的题重点放在建模求解环节刻意限制论文写作时间。第三周做综合模拟按赛制完整走完一套组合题完全模拟赛场时间分配。5.2 赛后复盘的结构化记录复盘要记录的不是“这题我没做出来”而是具体的卡点。给每个题目建一个复盘表至少包含三列卡住的位置、卡住的原因、下一次的应对。卡住的位置原因分类下一次应对数据清洗耗时过长对缺失值策略不明确先跑完整检查流程再建模模型结果不收敛参数初始值不合适增加网格搜索环节论文摘要结论不清晰没有留出写作时间用固定时间段专门写作这张表在下次训练前先看一遍比刷题数量更重要。卡住的位置要写具体到函数或数据表避免写成“模型效果不好”这种无法指导行动的话。5.3 最后的验证技巧把检索脚本和题目整理脚本都跑一遍确认索引能查到目标文件再把所有赛题按年份建一个软链接目录方便随时切换。最后用五分钟检查目录里是否有重复文件find huawei_bei -type f -exec md5sum {} \; | sort | awk { if ($1 prev_hash) print duplicate:, $2 prev_hash $1 }这条命令把目录内所有文件按哈希值排序相邻哈希相同的文件会被标记为重复文件。对下载多次的不同版本压缩包这一步能很快找出同名但内容不同的文件。验证通过后这套赛题包就正式成为自己的备赛基础设施随时可以按领域、按年份、按模型三种方式取用。本文还有配套的精品资源点击获取
华为杯研赛赛题包整理指南：解压、分类与Python题库构建
简介华为杯研赛历年赛题截止2021年压缩包汇集了2011年至2021年间2020年除外华为杯中国研究生数学建模竞赛的赛题资料主要面向参加研赛的研究生团队与数学建模爱好者帮助读者快速了解历年命题方向与题型难度。压缩包体积约769MB内容按年份组织年份编号对应当年赛题便于按需检索与模拟训练。已有8047人浏览学习是被广泛使用的备赛参考。资料内含各年度赛题正文、问题背景及配套数据覆盖大数据分析、人工智能、能源管理、环境保护等前沿领域。通过研读这些赛题读者能够学习如何将实际工程与社会问题抽象为数学模型掌握多元统计、优化算法、数值计算等方法的实战应用同时提升团队分工、论文撰写与结果呈现等综合能力。对于初次参赛或寻求突破的选手而言这是一份定位清晰、覆盖多年的高价值题库值得在赛前反复琢磨。1. 华为杯研赛赛题包一份截止2021年的建模真题资产华为杯研赛赛题包截止2021年压缩包记录了中国研究生数学建模竞赛十余年的真题原文、配套数据与问题描述是备赛学生最先入手的资料之一。拿到真题包不等于拿到题库真正的价值藏在题目背景文本和结构化的数据文件里同一类优化问题换一个行业场景约束条件和数据量级就完全不同。这里从 ZIP 内部结构讲起先做文件级整理和编码统一再按领域与模型统计历年考察方向给出一个用 Python 抽取文本并建立可检索题库的方案最后把基于这套题库的三周演练节奏和复盘技巧一并讲清楚。适合准备研赛的研究生、带竞赛的指导教师以及对数学建模题目做文本分析的工程师。2. 华为杯研赛赛题包的目录结构与批量解压整理2.1 先检查压缩包完整性与内容清单拿到 ZIP 后不要急着双击解压先做两件事校验压缩包是否完整列出内容清单。这样做能避免解压到一半报 CRC 错误也能提前判断赛题文件是按年份组织还是按题型组织。研赛题目包的来源渠道多样不同来源的文件组织方式不完全一致提前看一眼内部结构可以省掉后面很多重新整理的功夫。在 Linux 环境下用 unzip 自带的参数完成校验和清单查看unzip -t 华为杯研赛历年赛题截止2021年.zip unzip -l 华为杯研赛历年赛题截止2021年.zip-t参数对压缩包内的每个文件执行 CRC 校验输出No errors detected in compressed data表示文件完整-l列出压缩包内每个文件的大小、日期和完整路径可以快速看出目录是不是按年份组织。如果包损坏输出里会直接指出具体文件名这时先重新下载或找来源方重新传输。Windows 上不方便用 unzip 命令时可以用 PowerShell 校验文件哈希Get-FileHash -Algorithm SHA256 -Path .\华为杯研赛历年赛题截止2021年.zip拿到哈希值后和来源方公布的校验值比对能确认文件在传输过程中没有被改动。这一步成本很低但对一份要长期留存的资料来说很关键。2.2 批量解压并统一文件编码确认完整后开始解压。压缩包内部文件名如果包含中文容易在部分环境下出现乱码原因大多出在 ZIP 内文件名编码是 GBK 而系统默认按 UTF-8 解码。Linux 下推荐用 7z 处理中文文件名7z x 华为杯研赛历年赛题截止2021年.zip -o./huawei_bei find ./huawei_bei -type f | head -30-o指定输出目录7z 对中文编码的兼容性比 unzip 更好。解压完成后用find看一眼实际文件列表确认目录层级是否符合预期。如果仍有文件名乱码用 Python 脚本批量修正。乱码最常见的形态是2019}}这类替换字符修复思路是先按 GBK 解码原始字节再重新编码为 UTF-8import os, zipfile src 华为杯研赛历年赛题截止2021年.zip dst huawei_bei os.makedirs(dst, exist_okTrue) with zipfile.ZipFile(src) as zf: for info in zf.infolist(): name info.filename.encode(cp437).decode(gbk, errorsignore) target os.path.join(dst, name) if info.is_dir(): os.makedirs(target, exist_okTrue) continue os.makedirs(os.path.dirname(target), exist_okTrue) with zf.open(info) as f_in, open(target, wb) as f_out: f_out.write(f_in.read())cp437是 Python 处理 ZIP 内非 UTF-8 文件名时的默认解码方式先还原成原始字节再用gbk解码回正确中文。文件名本身不是乱码的场景不需要走这段逻辑直接zf.extractall(dst)即可。目录里有大量文件时建议写成脚本而不是手动重命名原因有两个一是题目压缩包里经常有几十个文件手工改名容易漏二是脚本执行顺序可记录后面要追溯整理过程时可以直接看代码。2.3 建立按年份与题型的目录索引解压完成后下一步是把散落文件归到统一目录结构。我一般采用的规则是年份做顶层目录题目文档和数据文件分开存放huawei_bei/ 2004/ 题目/ 数据/ 2005/ ... 2021/如果原始文件本身就是按年份组织的这一步会非常快。每道赛题一般包含以下几个组成部分。组成常见文件类型用途题目正文PDF、Word问题描述、假设条件、输出要求数据文件CSV、Excel、txt模型输入、验证数据参考说明PDF、txt部分年份包含补充说明论文模板docx部分年份提供提交模板分好目录后给每个年份目录写一个README.txt记录该年赛题数量和自己当时的初步判断。用脚本生成for d in huawei_bei/*/; do echo 资料目录: $d $d/README.txt ls -1 $d $d/README.txt done生成后人工补充一两句话就行这些备注在后期快速定位某类题目时非常有用。3. 把历年赛题按领域与模型分类华为杯研赛考察地图3.1 领域分布与考察热点的变化把 2004 到 2021 年的题目放在一起看能够明显看到比赛题目的关注面在变化。早期题目更偏经典运筹与确定性模型交通调度、网络规划、资源配置这类问题出现频率高实现手段以线性规划、整数规划、排队论和微分方程为主。越到后期题目中带明显数据驱动色彩的比重逐渐加大数据预处理、特征工程和结果可视化成为能否拿到好名次的关键环节。下面是一张依据常见赛题内容整理的领域分布示意表这是一个大致分类不同来源的归类标准会有差异。领域典型关键词常见模型方向交通与物流路径规划、拥堵、配送图论、整数规划、仿真通信与网络基站、带宽、时延优化、排队论能源与环境风电、光伏、排放时间序列、预测、微分方程生物与医学疫苗、病原、影像统计、机器学习、图像处理金融与经济定价、风险、供需回归、时间序列、随机模型制造与系统排产、质检、故障调度、可靠性、聚类这张表的价值在于它告诉你准备阶段不需要平均用力。拿到历年赛题后先把自己学校或者导师组熟悉的行业领域圈出来再对照表格把该领域的真题按时间顺序做一遍比盲目从头题刷到尾题效率高得多。跨领域题目同样值得关注因为建模方法往往在领域间迁移同一种优化思想在交通和制造里只是约束条件不同。3.2 高频模型从微分方程、随机模拟到机器学习对题目正文做词频统计后可以发现模型关键词的分布有明显的层次。最稳定出现的是优化和统计这两类它们几乎是每年必考。优化类的题目集中在线性规划、整数规划与动态规划统计类的题目核心是回归分析、假设检验与方差分析。这两类是数学建模课程的基本盘。第二梯队的模型则跟具体年份的数据条件强相关。随机模拟在前中期出现频繁题目中涉及随机到达、需求波动时蒙特卡洛和排队网络就是主力工具。微分方程模型更多出现在物理机制清楚的题里比如热传导、种群增长、污染物扩散。到了 2015 年之后机器学习相关的题目明显增加集成学习、聚类、神经网络开始成为部分题目的基础方法但通常不会要求参赛者在题目正文里直接训练一个大模型更多是让参赛者把算法结果嵌入到一个完整的建模流程里。需要强调的是看到机器学习类题目并不意味着传统方法失效。近年评分较好的论文往往是一种组合用机理模型描述系统演化再用机器学习修正误差。备赛阶段既要会调库训练也要能把优化的目标函数写清楚两手同时准备。区别在于传统方法需要把公式推导完整机器学习方法则需要把数据划分、交叉验证和评价指标交代清楚两者写作重心不同。3.3 数据文件格式的演变与预处理要点赛题包里除了题目文档更重要的是数据文件。早期数据多以 Excel 和 txt 形式出现单文件规模在几百 KB 的量级列结构相对清晰。后续年份里 CSV 和 JSON 变多部分题目直接给出多表关联结构或者有明显缺失值和离群值的实际观测数据考题的考察点开始从“算得出”向“数据处理干净”延伸。拿到一个数据文件后建议按固定顺序做五步检查看列名与字段含义确认有没有说明文档。看数据类型日期列是否被解析成字符串数值列有没有混入单位。检查缺失值比例超过三成的列要考虑是否保留或构造派生特征。看量纲差异是否需要对连续变量做标准化。保存一份原始备份所有清洗操作都基于副本进行。这五个步骤耗时很少却决定了后续模型能否稳定收敛。很多参赛队伍把大量时间花在重新清洗数据上原因是第一天没有把这个流程跑完。把赛题包里的每个数据文件都按这套检查顺序过一遍本身就是很实战的预处理训练。其中缺失值检查可以用 pandas 快速完成import pandas as pd df pd.read_csv(data.csv, encodinggbk) print(df.dtypes) print(df.isna().mean().sort_values(ascendingFalse))read_csv里的encoding参数要按文件实际编码给定常见的是gbk和utf-8两种。isna().mean()输出每一列的缺失率缺失率最高的列排在最前面和题目说明里的数据来源结合着看可以判断是原始缺失还是读取错位造成的空值。4. 用Python批量抽取赛题文本把ZIP变成可检索题库4.1 读取赛题包里的PDF、Word与Excel文件历年赛题的题目正文格式不统一PDF、Word、文本混合出现。为了让赛题包真正变成可检索的个人题库我建议写一个统一的读取脚本把所有文本抽取出来落到同一种格式里。这样后续检索时只面对一份统一的索引而不是在几十个不同格式的文件间来回切换。先确定依赖。PDF 用pdfplumber读取Word 用python-docxExcel 用pandas全部装在一个虚拟环境里pip install pdfplumber python-docx pandas openpyxl读取三个类型文件的示例函数如下import pdfplumber import pandas as pd from docx import Document from pathlib import Path def extract_pdf(path: Path) - str: parts [] with pdfplumber.open(path) as pdf: for page in pdf.pages: text page.extract_text() or parts.append(text) return \n.join(parts) def extract_docx(path: Path) - str: doc Document(path) return \n.join(p.text for p in doc.paragraphs) def extract_xlsx_sheet(path: Path) - str: df pd.read_excel(path, sheet_nameNone) lines [] for name, frame in df.items(): lines.append(f[sheet: {name}]) lines.append(frame.head(20).to_csv(indexFalse)) return \n.join(lines) def extract_file(path: Path) - str: if path.suffix .pdf: return extract_pdf(path) if path.suffix .docx: return extract_docx(path) if path.suffix in (.xlsx, .xls): return extract_xlsx_sheet(path) return extract_pdf按页抽取文本并拼接extract_docx只取段落因为题目正文大多在段落里。extract_xlsx_sheet不把整个表打出来只取前 20 行用于检索时的预览避免题库文件过大。extract_file是总入口按文件后缀分发到对应函数return 兜住其他类型的文件。4.2 对赛题进行关键词提取与标签标注文本抽取完成后要对每道题做关键词提取。没有现成 NLP 环境时直接用jieba做词频统计即可满足大部分需求先安装pip install jieba安装完成后定义关键词提取函数import jieba from collections import Counter def extract_tags(text: str, top_k15): words [w for w in jieba.cut(text) if len(w) 2] stopwords {问题, 题目, 要求, 说明, 一个, 可以, 需要} filtered [w for w in words if w not in stopwords and not w.isdigit()] return [w for w, _ in Counter(filtered).most_common(top_k)]jieba.cut对中文题目做分词停用词表里的词会在统计前被过滤掉。这里给的停用词只是基础版实际使用时还需要根据赛题文本特点补充比如把“数据”“模型”这种出现频率过高但没有区分度的词加入停用词。top_k默认取 15标签太碎就调小覆盖不够就调大。对每一年的每一道题跑一遍关键词提取然后把结果保存成一张表年份题号关键词按次数排序对应文件名2019A调度、约束、整数规划2019A.pdf2020B时间序列、预测、缺失值2020B_data.csv保存的关键代码如下records [] for path in all_files: text extract_file(path) tags extract_tags(text) records.append({ 年份: path.parent.name, 题号: path.stem[:1], 关键词: .join(tags), 对应文件名: path.name, }) idx pd.DataFrame(records) idx.to_csv(ti_index.csv, indexFalse, encodingutf-8-sig)all_files可以用Path(huawei_bei).rglob(*)生成匹配所有子目录下的文件。年份直接从父目录名取题号则按文件名首字符截取规则可以根据实际情况调整。编码用utf-8-sig保存Excel 打开时不会出现中文乱码。4.3 按知识点反向检索原题题库索引建立后检索变得很直接。假设想找和“聚类”相关的所有赛题import pandas as pd idx pd.read_csv(ti_index.csv) mask idx[关键词].str.contains(聚类, naFalse) result idx[mask] print(result[[年份, 题号, 对应文件名]])str.contains做的是子串匹配只要关键词列里包含“聚类”两个字就会被选中即使这个词和别的词组合在一起也能命中。naFalse让空值不参与匹配避免报错。配合 PDF 抽取时的页码信息还能直接定位到某道题的具体小节。这一步做完压缩包就从静态资料库变成了可交互的赛题检索系统。5. 基于赛题包的备赛演练三周循环法与复盘技巧5.1 三周循环法的题量安排一份赛题包里的量很大从 2004 到 2021 年的题全部精做并不现实。我更推荐按三周一轮的方式组织。第一周只做近三年的题题目选定后先花半天把题目背景读透再用一天做数据预处理随后两天建模求解最后一天写摘要和正文框架。第二周换到更早两年的题重点放在建模求解环节刻意限制论文写作时间。第三周做综合模拟按赛制完整走完一套组合题完全模拟赛场时间分配。5.2 赛后复盘的结构化记录复盘要记录的不是“这题我没做出来”而是具体的卡点。给每个题目建一个复盘表至少包含三列卡住的位置、卡住的原因、下一次的应对。卡住的位置原因分类下一次应对数据清洗耗时过长对缺失值策略不明确先跑完整检查流程再建模模型结果不收敛参数初始值不合适增加网格搜索环节论文摘要结论不清晰没有留出写作时间用固定时间段专门写作这张表在下次训练前先看一遍比刷题数量更重要。卡住的位置要写具体到函数或数据表避免写成“模型效果不好”这种无法指导行动的话。5.3 最后的验证技巧把检索脚本和题目整理脚本都跑一遍确认索引能查到目标文件再把所有赛题按年份建一个软链接目录方便随时切换。最后用五分钟检查目录里是否有重复文件find huawei_bei -type f -exec md5sum {} \; | sort | awk { if ($1 prev_hash) print duplicate:, $2 prev_hash $1 }这条命令把目录内所有文件按哈希值排序相邻哈希相同的文件会被标记为重复文件。对下载多次的不同版本压缩包这一步能很快找出同名但内容不同的文件。验证通过后这套赛题包就正式成为自己的备赛基础设施随时可以按领域、按年份、按模型三种方式取用。本文还有配套的精品资源点击获取
