简介Python智慧教室是一套面向真实教学场景的完整源码项目适合具备一定Python基础的开发者、教育技术研究者以及希望借助AI改善课堂管理的教师。项目围绕课堂互动与考试公平设计了群体课堂专注度分析、考试作弊智能检测、动态人脸点名三大核心模块涉及OpenCV图像处理、深度学习框架训练、NLP文本相似度计算和人脸识别等技术方向。压缩包共218个文件以py源码与pyc编译文件为主同时包含ui界面文件、图标图片、xml配置文件、模型文件、演示gif以及说明文档便于直接阅读、运行和二次开发整体包大小约17MB目录结构清晰。该资源已有389人学习下载后可获得可运行的代码框架、配套数据集和依赖库清单并借助演示录像直观了解各功能实际效果。通过深入阅读项目还能掌握从视频流分析、模型调用到桌面端界面整合的完整工程思路学习OpenCV、face_recognition、TensorFlow/PyTorch等库在真实系统中的应用方式是一份兼具教学与实战价值的参考资源。1. 把课堂视频变成决策数据一份能拆出三条路线的智慧教室源码教室角落的摄像头不停机地录着 50 个人的动态教师端此刻最需要的不是一段回放而是三个问题的答案谁没来、谁在走神、谁的答卷和同学高度重合。这份 Python 智慧教室源码 zip 里的 demo.gif 演示的正是这一整套流程——群体课堂专注度分析负责把“抬头低头、闭眼打盹”变成可统计的注意力分数文本相似度模块处理考试中的抄袭甄别动态点名则靠人脸识别和 QR 码双通道完成考勤。压缩包里既有 video_sources.csv 这样的数据入口也有 nms_kernel.cu、gpu_nms.hpp 这类做检测框加速的底层文件适合做教育信息化、考务系统或课堂互动的开发者和产品经理。拆开源码的价值不在于开箱即用而在于你能单独抽出 OpenCV 帧特征管线、NLTK 相似度计算、face_recognition 编码注册这三段分别嵌进自己的业务流。2. 群体课堂专注度分析OpenCV 特征管线与注意力打分2.1 注意力为什么依赖头部姿态与闭眼比例课堂场景下普通网络摄像头距离学生普遍在 2 到 5 米瞳孔追踪基本不可用所以工程上能稳定提取的专注度信号只有两类头部姿态角变化和 PERCLOS单位时间内眼睛闭合帧占比。抬头看黑板、低头记笔记、侧头与同学交流这三种状态在头部姿态上表现为 pitch、yaw、roll 三个角度的连续变化而闭眼打盹则直接反映在 EAREye Aspect Ratio指标的骤降上。弱监督条件下这套特征虽然做不到百分百精确但作为课堂趋势统计已经足够稳定。2.2 video_sources.csv 的字段设计与采样节奏项目源码根目录下的 video_sources.csv 是视频源的统一入口我建议打开后按下面的结构核对字段。常见做法是每一行对应一段课堂录像列名由用户自己定义后由 pandas 读取。字段名类型说明sourcestring视频文件的绝对或相对路径labelstring标注类型例如 attention / boredomresolutionint送入模型前缩放到的宽边像素fpsint视频实际帧率决定抽帧间隔我在处理类似项目时会把分辨率统一压到 640px 宽边fps 设为 30然后按每 5 帧取 1 帧做分析。摄像头场景里动作的持续时间大多在 0.5 秒以上5 帧取 1 帧不会漏掉闭眼或转头又能把计算量控制在实时范围内。这里有个常见误区把 fps 当成送入检测器的频率直接用。实际写入 CSV 的 fps 只服务于时间轴换算抽帧逻辑要单独写在循环里否则同一秒内会重复计算大量相似帧拖慢整个管线。2.3 基于 dlib 68 点关键点的特征提取实现学业检测部分最常见的做法是用 dlib 的 68 点人脸关键点模型做特征抽取。下面的代码演示了从 CSV 读入视频源后逐帧计算 EAR 和头部姿态的骨架逻辑。import cv2 import dlib import numpy as np import pandas as pd FACE_DOWNSAMPLE_RATIO 1.3 PREDICTOR_PATH models/shape_predictor_68_face_landmarks.dat detector dlib.get_frontal_face_detector() predictor dlib.shape_predictor(PREDICTOR_PATH) sources pd.read_csv(video_sources.csv) def compute_ear(landmarks): # EAR眼睛纵横比值越低表示越接近闭眼 def eye_points(idx_list): pts [(landmarks.part(i).x, landmarks.part(i).y) for i in idx_list] return np.array(pts, dtypenp.float64) left eye_points([36, 37, 38, 39, 40, 41]) right eye_points([42, 43, 44, 45, 46, 47]) def ear_for(eye): # 分子是两条垂直距离之和分母是水平距离 vertical np.linalg.norm(eye[1] - eye[5]) np.linalg.norm(eye[2] - eye[4]) horizontal np.linalg.norm(eye[0] - eye[3]) return vertical / (2.0 * horizontal) return (ear_for(left) ear_for(right)) / 2.0 for _, row in sources.iterrows(): cap cv2.VideoCapture(row[source]) frame_idx 0 while True: ret, frame cap.read() if not ret: break if frame_idx % 5 ! 0: frame_idx 1 continue gray cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY) faces detector(gray, 1) # 第二个参数是金字塔上采样次数 for face in faces: landmarks predictor(gray, face) ear_value compute_ear(landmarks) # EAR 低于 0.2 时认为该帧处于闭眼状态 if ear_value 0.2: # 记录闭眼时间戳后续计算 PERCLOS pass frame_idx 1 cap.release()这里需要重点解释两个参数。detector(gray, 1)的上采样次数设为 1表示把图像放大一倍后再检测小尺寸人脸召回率更高但代价是耗时约增加三倍如果教室里学生距离较近或摄像头分辨率偏低可以调整为 2否则保持 1 就好。EAR 0.2是我在教室环境里常用的闭眼阈值实际可以根据摄像头安装高度略微下调到 0.18因为远距离下关键点定位误差会被放大阈值太严会把闭眼误判成睁眼。上面的代码把闭眼事件直接 pass 掉真正落地时应该把时间戳写入一个环形队列用滑动窗口计算 PERCLOS这样得到的课堂专注度曲线更平滑。2.4 专注度打分的下限阈值给单个学生打分时我一般把一节课切成 30 秒的窗口窗口内 PERCLOS 超过 0.4 就判定为疲劳状态对群体则直接统计窗口内所有学生的注意力平均值。这个 0.4 的线上经验值意味着一个学生在一分钟内闭眼累计超过 24 秒系统才提示教师关注。课堂中低头写字、看书会带来头部姿态向下的持续偏转如果只按低头时长判断几乎每个人都会被评为不专注所以正确做法是把头部姿态、EAR 和身体侧转三个特征加权而不是单一特征下结论。群体专注度分数低于 0.6 时我才会在教师端给出提示避免轻微波动触发无意义告警。3. 考试作弊检测NLTK 文本预处理与 TF-IDF 相似度判定3.1 文本相似度在考试场景的适用边界把 NLP 用于作弊检测项目针对的是主观题、简答题和论述题这类长文本答案选择题和填空题靠的是答案比对不在这套逻辑的射程内。它的核心思路是把每个学生的答案向量化再计算两两之间的余弦相似度相似度越高抄袭嫌疑越大。这个方案不依赖题库答案只要考卷是同一套它就能在没有标准答案的情况下找出相互抄袭的学生组这是它比关键词匹配实用得多的地方。3.2 NLTK 预处理分词、停用词与词干化文本进入向量化之前先经过 nltk 的清洗流程。中文答案要先按句切分并去除标点英文或中英混排的课程需要统一小写。下面给出可复用的预处理函数。import nltk from nltk.corpus import stopwords from nltk.stem import SnowballStemmer import re nltk.download(punkt) nltk.download(stopwords) stop_words set(stopwords.words(english)) stemmer SnowballStemmer(english) def normalize_answer(text): # 去除标点与多余空格统一小写 text re.sub(r[^a-zA-Z\u4e00-\u9fa5\s], , text.lower()) tokens nltk.word_tokenize(text) cleaned [] for token in tokens: if token in stop_words: continue # 英文做词干化中文保留原词 if token.isascii(): token stemmer.stem(token) if len(token) 1: cleaned.append(token) return .join(cleaned)这个函数里有几个参数影响后续相似度结果。stopwords.words(english)是 nltk 内置停用词表但我不建议替换掉带否定含义的词比如 not、no、never它们在论述题里恰恰是观点分界点删掉会让“支持某观点”和“反对某观点”变成同一向量。len(token) 1过滤单字符 token防止“a”“我”这类字干扰向量维度。如果是纯中文试卷把SnowballStemmer移除即可中文字符本身没有词干变化强行做英文词干化会误伤拼音词根。3.3 scikit-learn 向量化与余弦相似度计算预处理完成后用 TfidfVectorizer 把文本转为 TF-IDF 特征矩阵再计算学生答案两两之间的相似度矩阵。from sklearn.feature_extraction.text import TfidfVectorizer from sklearn.metrics.pairwise import cosine_similarity answers [ 机器学习的核心是让模型从数据中学习规律, 机器学习的核心是让系统从大量数据中自动学习规律, 今天天气很好适合户外运动 ] normalized [normalize_answer(a) for a in answers] vectorizer TfidfVectorizer(ngram_range(1, 2), sublinear_tfTrue) tfidf_matrix vectorizer.fit_transform(normalized) similarity cosine_similarity(tfidf_matrix) print(similarity.round(4)) # 输出示例 # [[1. 0.8343 0. ] # [0.8343 1. 0. ] # [0. 0. 1. ]]ngram_range(1, 2)是这里最关键的一个参数它同时保留单个词和相邻双词。第 0 句和第 1 句只有“数据”和“系统”两个词的差别如果只用 unigram相似度会低很多而加入 bigram 后语义重叠被保留相似度拉高到 0.83更容易命中抄袭信号。sublinear_tfTrue用1 log(tf)代替原始词频抑制高频通用词对向量的主导处理课程名词重复出现的长答案时这个开关效果明显。3.4 相似度阈值分段与复核机制阈值不能一刀切我习惯把相似度分成四档每档对应不同处理动作。相似度区间判定建议动作0.00 - 0.35正常不处理0.35 - 0.60存疑标记人工抽查0.60 - 0.80较重嫌疑调取两卷人工比对0.80 - 1.00高疑似自动告警并进入复核流程需要说明的是这套方法对“复制后删改几个词”的场景有效但对完全同义改写比如把“机器学习”替换成“ML”把“规律”替换成“模式”的识别率会明显下降因为 TF-IDF 是词面匹配语义等价词在向量空间里和不同词一样被孤立。项目里如果遇到高相似度但内容确实不同的答卷先检查预处理阶段是否把关键词误删了再考虑是否加入词向量模型做语义层扩展。4. 动态点名face_recognition 编码注册与实时匹配4.1 128 维面部编码的本质face_recognition 库的底层是 dlib 的 ResNet 模型它把一张人脸图映射成一个 128 维向量。同一个人在不同角度、不同光照下的两张照片向量间的欧氏距离很小不同人无论长相多接近距离都相对较大。动态点名系统就是靠这个距离度量判断视频帧里的人脸属于哪位学生。这个方案不需要训练自己的分类器只要有一张干净的注册照片就能参与识别非常适合开学季批量录入班级的场景。4.2 从照片目录到 encodings.pkl 的注册流程注册库的构建代码可以下载源码包后直接复用我通常把每个学生的照片放在以学号命名的子目录里然后批量生成编码文件。import face_recognition import pickle from pathlib import Path STUDENT_DIR Path(students) output {} for person_dir in STUDENT_DIR.iterdir(): if not person_dir.is_dir(): continue student_id person_dir.name for img_file in person_dir.glob(*.jpg): # 加载图片并转换为 RGBface_recognition 内部使用 RGB 顺序 image face_recognition.load_image_file(str(img_file)) encodings face_recognition.face_encodings(image) if encodings: # 一个学生多张照片时全部保存识别时取均值 output.setdefault(student_id, []).append(encodings[0]) else: print(f{student_id} 的 {img_file.name} 未检测到人脸) with open(encodings.pkl, wb) as f: pickle.dump(output, f)传给face_encodings的图片默认执行一次完整检测如果传入的是多人大合影需要先调用face_locations得到所有脸部位置再逐个编码否则只返回第一张人脸的结果。代码里每个学生存多张编码可以采用均值向量做后续匹配我建议一学期内固定使用同一张注册照避免因发型、眼镜变化导致同一个人不同编码之间的距离被拉开从而误判成两个人。4.3 实时匹配的置信度阈值与去重策略摄像头画面里同一个学生每帧都会出现如果每帧都记录出勤系统会把一次考勤统计成几十条。我通常在识别循环里做两个动作第一每 10 帧执行一次识别约合 0.3 秒间隔第二对已标记出勤的学生启动冷却时间十分钟内不再重复登记。import face_recognition import pickle import numpy as np with open(encodings.pkl, rb) as f: encodings_db pickle.load(f) known_ids list(encodings_db.keys()) known_vectors [np.mean(v, axis0) for v in encodings_db.values()] def recognize_face(rgb_frame): boxes face_recognition.face_locations(rgb_frame, modelhog) if not boxes: return [] current_encodings face_recognition.face_encodings(rgb_frame, boxes) results [] for vec in current_encodings: distances np.linalg.norm(known_vectors - vec, axis1) best_idx int(np.argmin(distances)) if distances[best_idx] 0.6: results.append(known_ids[best_idx]) return resultsmodelhog表示用 CPU 友好的 HOG 检测器适合实时流如果教室光线偏暗或人脸偏小可以改成cnn但推理耗时至少增加三倍。0.6是欧氏距离的默认阈值这个值越小判定越严格。教室场景采集距离远、分辨率有限我会放宽到 0.65一旦发现不同学生互相误认再往下调回 0.55。4.4 QR 码扫码兜底与演示流程压缩包里出现的 qr-code-scan.ico 和 scan.ico 说明项目保留了一个扫码签到入口。人脸识别在逆光、口罩遮挡、低头趴桌时大概率失效此时教师可以打开扫码窗口让学生用手机端出示一次性的二维码完成签到。两个图标的区分在于入口归属一般 scan.ico 面向学生端扫码qr-code-scan.ico 面向教师端扫码枪或摄像头。在 demo.gif 的演示流程里人脸识别结果和扫码结果最后会合并到同一张考勤表主键就是学号这样即使某个学生全程没被摄像头拍到也不会缺勤。5. 从 zip 到可运行GPU 加速适配与工程收敛5.1 NMS 在人脸检测链路中的位置dlib 和 OpenCV 的检测器在多人教室里很容易对同一张脸输出多个重叠框直接送入人脸编码会造成重复计算。NMS非极大值抑制的作用是计算所有检测框之间的 IoU把 IoU 高于 0.5 的框合并只保留置信度最高的那个。源码里的 nms_kernel.cu 和 gpu_nms.hpp 对应的是这一步骤的 CUDA 实现。画面中只有一两个学生时CPU 版 NMS 耗时可以忽略但整间教室 40 人同框每帧检测出上百个候选框纯 Python 双重循环处理 IoU 会拖慢整个识别链路GPU 版的意义在这里体现。5.2 nms_kernel.cu 的编译条件与 GPU 版本匹配从 zip 里解压出的 gpu_nms.hpp 是 C 头文件nms_kernel.cu 是 CUDA 核函数源码。如果你手里的环境预编译产物和本地驱动不匹配比如作者用 CUDA 10.2 编译而你装的是 CUDA 11.x 或更新的驱动运行时通常会报 kernel 加载失败。这时需要就地重新编译cd detector/nms python setup.py build_ext --inplace验证是否编译成功在 Python 里import gpu_nms不报错才算通过。编译前确认nvcc --version与显驱支持的最高版本一致如果 CUDA_HOME 环境变量指向了旧的 toolkitsetup.py会默默链接到错误版本这类问题看编译日志经常被忽略。没有 NVIDIA GPU 的环境可以直接使用源码里的 CPU 回退路径检测框去重逻辑不变只是耗时高一些。5.3 解包落地时的高发问题最后给出我在部署这类智慧教室工程时遇到频率最高的三个问题挨个排查通常能让项目顺利跑通。问题现象根因处理导入 face_recognition 报 dll 加载失败Visual C 运行库缺失或 dlib 未正确安装先装 Visual C Redistributable再pip install dlib不要依赖 zip 里的旧 .so读取 video_sources.csv 里的视频失败路径中带中文或空格OpenCV 无法解析把项目移动到纯英文路径下CSV 里的 source 改成相对路径模型文件加载慢或内存溢出shape_predictor 68 点模型约 100MB低配机器多进程并发加载在服务启动时只加载一次并放入全局变量不要每个摄像头进程重复加载我一般会在项目根目录放一个launch.sh依次做三件事检查虚拟环境依赖、确认模型文件存在、启动教师端 Web 面板。这样拿到 zip 的人不必读长 README 就能把环境拉起来。面对 demo.gif 里的演示效果你要做的第一件事不是跑完整流程而是把三个功能拆成独立的可调用模块分别验证输入输出后再合并。本文还有配套的精品资源点击获取
智慧教室源码解析：OpenCV注意力分析、TF-IDF查重与face_recognition点名
简介Python智慧教室是一套面向真实教学场景的完整源码项目适合具备一定Python基础的开发者、教育技术研究者以及希望借助AI改善课堂管理的教师。项目围绕课堂互动与考试公平设计了群体课堂专注度分析、考试作弊智能检测、动态人脸点名三大核心模块涉及OpenCV图像处理、深度学习框架训练、NLP文本相似度计算和人脸识别等技术方向。压缩包共218个文件以py源码与pyc编译文件为主同时包含ui界面文件、图标图片、xml配置文件、模型文件、演示gif以及说明文档便于直接阅读、运行和二次开发整体包大小约17MB目录结构清晰。该资源已有389人学习下载后可获得可运行的代码框架、配套数据集和依赖库清单并借助演示录像直观了解各功能实际效果。通过深入阅读项目还能掌握从视频流分析、模型调用到桌面端界面整合的完整工程思路学习OpenCV、face_recognition、TensorFlow/PyTorch等库在真实系统中的应用方式是一份兼具教学与实战价值的参考资源。1. 把课堂视频变成决策数据一份能拆出三条路线的智慧教室源码教室角落的摄像头不停机地录着 50 个人的动态教师端此刻最需要的不是一段回放而是三个问题的答案谁没来、谁在走神、谁的答卷和同学高度重合。这份 Python 智慧教室源码 zip 里的 demo.gif 演示的正是这一整套流程——群体课堂专注度分析负责把“抬头低头、闭眼打盹”变成可统计的注意力分数文本相似度模块处理考试中的抄袭甄别动态点名则靠人脸识别和 QR 码双通道完成考勤。压缩包里既有 video_sources.csv 这样的数据入口也有 nms_kernel.cu、gpu_nms.hpp 这类做检测框加速的底层文件适合做教育信息化、考务系统或课堂互动的开发者和产品经理。拆开源码的价值不在于开箱即用而在于你能单独抽出 OpenCV 帧特征管线、NLTK 相似度计算、face_recognition 编码注册这三段分别嵌进自己的业务流。2. 群体课堂专注度分析OpenCV 特征管线与注意力打分2.1 注意力为什么依赖头部姿态与闭眼比例课堂场景下普通网络摄像头距离学生普遍在 2 到 5 米瞳孔追踪基本不可用所以工程上能稳定提取的专注度信号只有两类头部姿态角变化和 PERCLOS单位时间内眼睛闭合帧占比。抬头看黑板、低头记笔记、侧头与同学交流这三种状态在头部姿态上表现为 pitch、yaw、roll 三个角度的连续变化而闭眼打盹则直接反映在 EAREye Aspect Ratio指标的骤降上。弱监督条件下这套特征虽然做不到百分百精确但作为课堂趋势统计已经足够稳定。2.2 video_sources.csv 的字段设计与采样节奏项目源码根目录下的 video_sources.csv 是视频源的统一入口我建议打开后按下面的结构核对字段。常见做法是每一行对应一段课堂录像列名由用户自己定义后由 pandas 读取。字段名类型说明sourcestring视频文件的绝对或相对路径labelstring标注类型例如 attention / boredomresolutionint送入模型前缩放到的宽边像素fpsint视频实际帧率决定抽帧间隔我在处理类似项目时会把分辨率统一压到 640px 宽边fps 设为 30然后按每 5 帧取 1 帧做分析。摄像头场景里动作的持续时间大多在 0.5 秒以上5 帧取 1 帧不会漏掉闭眼或转头又能把计算量控制在实时范围内。这里有个常见误区把 fps 当成送入检测器的频率直接用。实际写入 CSV 的 fps 只服务于时间轴换算抽帧逻辑要单独写在循环里否则同一秒内会重复计算大量相似帧拖慢整个管线。2.3 基于 dlib 68 点关键点的特征提取实现学业检测部分最常见的做法是用 dlib 的 68 点人脸关键点模型做特征抽取。下面的代码演示了从 CSV 读入视频源后逐帧计算 EAR 和头部姿态的骨架逻辑。import cv2 import dlib import numpy as np import pandas as pd FACE_DOWNSAMPLE_RATIO 1.3 PREDICTOR_PATH models/shape_predictor_68_face_landmarks.dat detector dlib.get_frontal_face_detector() predictor dlib.shape_predictor(PREDICTOR_PATH) sources pd.read_csv(video_sources.csv) def compute_ear(landmarks): # EAR眼睛纵横比值越低表示越接近闭眼 def eye_points(idx_list): pts [(landmarks.part(i).x, landmarks.part(i).y) for i in idx_list] return np.array(pts, dtypenp.float64) left eye_points([36, 37, 38, 39, 40, 41]) right eye_points([42, 43, 44, 45, 46, 47]) def ear_for(eye): # 分子是两条垂直距离之和分母是水平距离 vertical np.linalg.norm(eye[1] - eye[5]) np.linalg.norm(eye[2] - eye[4]) horizontal np.linalg.norm(eye[0] - eye[3]) return vertical / (2.0 * horizontal) return (ear_for(left) ear_for(right)) / 2.0 for _, row in sources.iterrows(): cap cv2.VideoCapture(row[source]) frame_idx 0 while True: ret, frame cap.read() if not ret: break if frame_idx % 5 ! 0: frame_idx 1 continue gray cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY) faces detector(gray, 1) # 第二个参数是金字塔上采样次数 for face in faces: landmarks predictor(gray, face) ear_value compute_ear(landmarks) # EAR 低于 0.2 时认为该帧处于闭眼状态 if ear_value 0.2: # 记录闭眼时间戳后续计算 PERCLOS pass frame_idx 1 cap.release()这里需要重点解释两个参数。detector(gray, 1)的上采样次数设为 1表示把图像放大一倍后再检测小尺寸人脸召回率更高但代价是耗时约增加三倍如果教室里学生距离较近或摄像头分辨率偏低可以调整为 2否则保持 1 就好。EAR 0.2是我在教室环境里常用的闭眼阈值实际可以根据摄像头安装高度略微下调到 0.18因为远距离下关键点定位误差会被放大阈值太严会把闭眼误判成睁眼。上面的代码把闭眼事件直接 pass 掉真正落地时应该把时间戳写入一个环形队列用滑动窗口计算 PERCLOS这样得到的课堂专注度曲线更平滑。2.4 专注度打分的下限阈值给单个学生打分时我一般把一节课切成 30 秒的窗口窗口内 PERCLOS 超过 0.4 就判定为疲劳状态对群体则直接统计窗口内所有学生的注意力平均值。这个 0.4 的线上经验值意味着一个学生在一分钟内闭眼累计超过 24 秒系统才提示教师关注。课堂中低头写字、看书会带来头部姿态向下的持续偏转如果只按低头时长判断几乎每个人都会被评为不专注所以正确做法是把头部姿态、EAR 和身体侧转三个特征加权而不是单一特征下结论。群体专注度分数低于 0.6 时我才会在教师端给出提示避免轻微波动触发无意义告警。3. 考试作弊检测NLTK 文本预处理与 TF-IDF 相似度判定3.1 文本相似度在考试场景的适用边界把 NLP 用于作弊检测项目针对的是主观题、简答题和论述题这类长文本答案选择题和填空题靠的是答案比对不在这套逻辑的射程内。它的核心思路是把每个学生的答案向量化再计算两两之间的余弦相似度相似度越高抄袭嫌疑越大。这个方案不依赖题库答案只要考卷是同一套它就能在没有标准答案的情况下找出相互抄袭的学生组这是它比关键词匹配实用得多的地方。3.2 NLTK 预处理分词、停用词与词干化文本进入向量化之前先经过 nltk 的清洗流程。中文答案要先按句切分并去除标点英文或中英混排的课程需要统一小写。下面给出可复用的预处理函数。import nltk from nltk.corpus import stopwords from nltk.stem import SnowballStemmer import re nltk.download(punkt) nltk.download(stopwords) stop_words set(stopwords.words(english)) stemmer SnowballStemmer(english) def normalize_answer(text): # 去除标点与多余空格统一小写 text re.sub(r[^a-zA-Z\u4e00-\u9fa5\s], , text.lower()) tokens nltk.word_tokenize(text) cleaned [] for token in tokens: if token in stop_words: continue # 英文做词干化中文保留原词 if token.isascii(): token stemmer.stem(token) if len(token) 1: cleaned.append(token) return .join(cleaned)这个函数里有几个参数影响后续相似度结果。stopwords.words(english)是 nltk 内置停用词表但我不建议替换掉带否定含义的词比如 not、no、never它们在论述题里恰恰是观点分界点删掉会让“支持某观点”和“反对某观点”变成同一向量。len(token) 1过滤单字符 token防止“a”“我”这类字干扰向量维度。如果是纯中文试卷把SnowballStemmer移除即可中文字符本身没有词干变化强行做英文词干化会误伤拼音词根。3.3 scikit-learn 向量化与余弦相似度计算预处理完成后用 TfidfVectorizer 把文本转为 TF-IDF 特征矩阵再计算学生答案两两之间的相似度矩阵。from sklearn.feature_extraction.text import TfidfVectorizer from sklearn.metrics.pairwise import cosine_similarity answers [ 机器学习的核心是让模型从数据中学习规律, 机器学习的核心是让系统从大量数据中自动学习规律, 今天天气很好适合户外运动 ] normalized [normalize_answer(a) for a in answers] vectorizer TfidfVectorizer(ngram_range(1, 2), sublinear_tfTrue) tfidf_matrix vectorizer.fit_transform(normalized) similarity cosine_similarity(tfidf_matrix) print(similarity.round(4)) # 输出示例 # [[1. 0.8343 0. ] # [0.8343 1. 0. ] # [0. 0. 1. ]]ngram_range(1, 2)是这里最关键的一个参数它同时保留单个词和相邻双词。第 0 句和第 1 句只有“数据”和“系统”两个词的差别如果只用 unigram相似度会低很多而加入 bigram 后语义重叠被保留相似度拉高到 0.83更容易命中抄袭信号。sublinear_tfTrue用1 log(tf)代替原始词频抑制高频通用词对向量的主导处理课程名词重复出现的长答案时这个开关效果明显。3.4 相似度阈值分段与复核机制阈值不能一刀切我习惯把相似度分成四档每档对应不同处理动作。相似度区间判定建议动作0.00 - 0.35正常不处理0.35 - 0.60存疑标记人工抽查0.60 - 0.80较重嫌疑调取两卷人工比对0.80 - 1.00高疑似自动告警并进入复核流程需要说明的是这套方法对“复制后删改几个词”的场景有效但对完全同义改写比如把“机器学习”替换成“ML”把“规律”替换成“模式”的识别率会明显下降因为 TF-IDF 是词面匹配语义等价词在向量空间里和不同词一样被孤立。项目里如果遇到高相似度但内容确实不同的答卷先检查预处理阶段是否把关键词误删了再考虑是否加入词向量模型做语义层扩展。4. 动态点名face_recognition 编码注册与实时匹配4.1 128 维面部编码的本质face_recognition 库的底层是 dlib 的 ResNet 模型它把一张人脸图映射成一个 128 维向量。同一个人在不同角度、不同光照下的两张照片向量间的欧氏距离很小不同人无论长相多接近距离都相对较大。动态点名系统就是靠这个距离度量判断视频帧里的人脸属于哪位学生。这个方案不需要训练自己的分类器只要有一张干净的注册照片就能参与识别非常适合开学季批量录入班级的场景。4.2 从照片目录到 encodings.pkl 的注册流程注册库的构建代码可以下载源码包后直接复用我通常把每个学生的照片放在以学号命名的子目录里然后批量生成编码文件。import face_recognition import pickle from pathlib import Path STUDENT_DIR Path(students) output {} for person_dir in STUDENT_DIR.iterdir(): if not person_dir.is_dir(): continue student_id person_dir.name for img_file in person_dir.glob(*.jpg): # 加载图片并转换为 RGBface_recognition 内部使用 RGB 顺序 image face_recognition.load_image_file(str(img_file)) encodings face_recognition.face_encodings(image) if encodings: # 一个学生多张照片时全部保存识别时取均值 output.setdefault(student_id, []).append(encodings[0]) else: print(f{student_id} 的 {img_file.name} 未检测到人脸) with open(encodings.pkl, wb) as f: pickle.dump(output, f)传给face_encodings的图片默认执行一次完整检测如果传入的是多人大合影需要先调用face_locations得到所有脸部位置再逐个编码否则只返回第一张人脸的结果。代码里每个学生存多张编码可以采用均值向量做后续匹配我建议一学期内固定使用同一张注册照避免因发型、眼镜变化导致同一个人不同编码之间的距离被拉开从而误判成两个人。4.3 实时匹配的置信度阈值与去重策略摄像头画面里同一个学生每帧都会出现如果每帧都记录出勤系统会把一次考勤统计成几十条。我通常在识别循环里做两个动作第一每 10 帧执行一次识别约合 0.3 秒间隔第二对已标记出勤的学生启动冷却时间十分钟内不再重复登记。import face_recognition import pickle import numpy as np with open(encodings.pkl, rb) as f: encodings_db pickle.load(f) known_ids list(encodings_db.keys()) known_vectors [np.mean(v, axis0) for v in encodings_db.values()] def recognize_face(rgb_frame): boxes face_recognition.face_locations(rgb_frame, modelhog) if not boxes: return [] current_encodings face_recognition.face_encodings(rgb_frame, boxes) results [] for vec in current_encodings: distances np.linalg.norm(known_vectors - vec, axis1) best_idx int(np.argmin(distances)) if distances[best_idx] 0.6: results.append(known_ids[best_idx]) return resultsmodelhog表示用 CPU 友好的 HOG 检测器适合实时流如果教室光线偏暗或人脸偏小可以改成cnn但推理耗时至少增加三倍。0.6是欧氏距离的默认阈值这个值越小判定越严格。教室场景采集距离远、分辨率有限我会放宽到 0.65一旦发现不同学生互相误认再往下调回 0.55。4.4 QR 码扫码兜底与演示流程压缩包里出现的 qr-code-scan.ico 和 scan.ico 说明项目保留了一个扫码签到入口。人脸识别在逆光、口罩遮挡、低头趴桌时大概率失效此时教师可以打开扫码窗口让学生用手机端出示一次性的二维码完成签到。两个图标的区分在于入口归属一般 scan.ico 面向学生端扫码qr-code-scan.ico 面向教师端扫码枪或摄像头。在 demo.gif 的演示流程里人脸识别结果和扫码结果最后会合并到同一张考勤表主键就是学号这样即使某个学生全程没被摄像头拍到也不会缺勤。5. 从 zip 到可运行GPU 加速适配与工程收敛5.1 NMS 在人脸检测链路中的位置dlib 和 OpenCV 的检测器在多人教室里很容易对同一张脸输出多个重叠框直接送入人脸编码会造成重复计算。NMS非极大值抑制的作用是计算所有检测框之间的 IoU把 IoU 高于 0.5 的框合并只保留置信度最高的那个。源码里的 nms_kernel.cu 和 gpu_nms.hpp 对应的是这一步骤的 CUDA 实现。画面中只有一两个学生时CPU 版 NMS 耗时可以忽略但整间教室 40 人同框每帧检测出上百个候选框纯 Python 双重循环处理 IoU 会拖慢整个识别链路GPU 版的意义在这里体现。5.2 nms_kernel.cu 的编译条件与 GPU 版本匹配从 zip 里解压出的 gpu_nms.hpp 是 C 头文件nms_kernel.cu 是 CUDA 核函数源码。如果你手里的环境预编译产物和本地驱动不匹配比如作者用 CUDA 10.2 编译而你装的是 CUDA 11.x 或更新的驱动运行时通常会报 kernel 加载失败。这时需要就地重新编译cd detector/nms python setup.py build_ext --inplace验证是否编译成功在 Python 里import gpu_nms不报错才算通过。编译前确认nvcc --version与显驱支持的最高版本一致如果 CUDA_HOME 环境变量指向了旧的 toolkitsetup.py会默默链接到错误版本这类问题看编译日志经常被忽略。没有 NVIDIA GPU 的环境可以直接使用源码里的 CPU 回退路径检测框去重逻辑不变只是耗时高一些。5.3 解包落地时的高发问题最后给出我在部署这类智慧教室工程时遇到频率最高的三个问题挨个排查通常能让项目顺利跑通。问题现象根因处理导入 face_recognition 报 dll 加载失败Visual C 运行库缺失或 dlib 未正确安装先装 Visual C Redistributable再pip install dlib不要依赖 zip 里的旧 .so读取 video_sources.csv 里的视频失败路径中带中文或空格OpenCV 无法解析把项目移动到纯英文路径下CSV 里的 source 改成相对路径模型文件加载慢或内存溢出shape_predictor 68 点模型约 100MB低配机器多进程并发加载在服务启动时只加载一次并放入全局变量不要每个摄像头进程重复加载我一般会在项目根目录放一个launch.sh依次做三件事检查虚拟环境依赖、确认模型文件存在、启动教师端 Web 面板。这样拿到 zip 的人不必读长 README 就能把环境拉起来。面对 demo.gif 里的演示效果你要做的第一件事不是跑完整流程而是把三个功能拆成独立的可调用模块分别验证输入输出后再合并。本文还有配套的精品资源点击获取
