简介这份PDF面向具备一定Python基础、希望进入机器学习与语音识别方向的开发者与学习者围绕「构建一个可运行的语音识别器」这一目标展开。内容从读取与绘制音频数据入手逐步讲解音频信号转频域、自定义参数生成音频、合成音乐、提取频域特征、创建隐马尔科夫模型最终整合为完整识别流程帮助读者把理论落到代码实践。资源为单个PDF文件压缩包约1.06MB篇幅紧凑、便于随身查阅与按章节练习。目前已有788人学习说明其在同类教程中具备一定参考价值。读者可从中获得音频采样与标准化处理、傅里叶变换频谱分析、MFCC特征提取、HMM建模及音素到文本映射等关键环节的实现思路并借助numpy、scipy、matplotlib等库完成从数据读取到模型搭建的闭环适合作为语音识别入门与项目实战的案头参考。1. 从一段 44100Hz 的波形说起这份 PDF 到底能帮你搭出什么很多人第一次做语音识别卡住的地方不是模型而是连一段 wav 文件怎么读进来、波形长什么样、采样率意味着什么脑子里都是糊的。这份《Python机器学习项目开发实战_语音识别_编程案例解析实例详解课程教程.pdf》里的第 7 章恰好就是从这个最底层的问题切入的它不跟你空谈算法而是从scipy.io.wavfile读文件开始一步步带你走到用隐马尔科夫模型HMM识别出 7 个英文单词。整章覆盖了读取与绘制音频、时域转频域、自定义参数生成音频、合成音乐、提取 MFCC 频域特征、创建 HMM、搭建语音识别器这条完整链路。适合已经会写 Python、想找一个能跑通的语音识别入门项目练手的开发者也适合做课程设计或机器学习项目作业的同学拿来当骨架。它不追求工业级精度但胜在每一步都有可复现的代码和参数解释能让你真正理解语音识别系统内部在发生什么。2. 读取音频与频域转换把声音变成能算的数组2.1 音频信号的数字化本质与读取方式音频文件本质上是连续声波的数字化快照。真实世界的声音是连续的模拟波形要存进计算机就得按固定时间间隔采样、再把每个采样点的幅度量化成数字。语音场景里常见的采样率是 44100 Hz意思是每秒钟把信号切成 44100 份每隔约 1/44100 秒记录一个幅度值。采样率越高还原出来的声音越接近连续信号但数据量也越大。理解这一点很关键因为后面所有的时间轴计算、频率轴换算都依赖采样率这个基准。读取音频用scipy.io.wavfile就够了它返回两个东西采样率和音频数据数组。音频数据通常是 16 位有符号整型取值范围在 -32768 到 32767 之间。直接拿这个整数去做傅里叶变换或者画图数值范围太大不利于后续处理所以第一步标准化是必须的。import numpy as np import matplotlib.pyplot as plt from scipy.io import wavfile # 读取音频文件返回采样率和音频数据数组 sampling_freq, audio wavfile.read(input_read.wav) # 打印信号的基本参数 print(Shape:, audio.shape) print(Datatype:, audio.dtype) print(Duration:, round(audio.shape[0] / float(sampling_freq), 3), seconds) # 16位有符号整型标准化到 [-1, 1] 区间 audio audio / (2.**15) # 只取前30个采样点用于可视化 audio audio[:30] # 建立时间轴按采样频率缩放 x_values np.arange(0, len(audio), 1) / float(sampling_freq) # 单位从秒转换为毫秒 x_values * 1000 plt.plot(x_values, audio, colorblack) plt.xlabel(Time (ms)) plt.ylabel(Amplitude) plt.title(Audio signal) plt.show()这段代码里有两个参数值得注意。2.**15是 32768对应 16 位有符号整型的满量程除以它就把整数映射到了 -1 到 1 之间。时间轴先除以采样率得到秒再乘 1000 转成毫秒这样横轴读起来更直观。只取前 30 个点是因为采样率太高全部画出来横轴会压缩得看不清单个波形细节。2.2 傅里叶变换与功率谱的工程实现时域波形告诉你信号随时间怎么振动但它不告诉你这段声音里有哪些频率成分。而语音的性质恰恰由频率内容决定所以必须做时域到频域的转换。傅里叶变换就是干这个的把复杂信号分解成不同频率正弦波的叠加。工程上用的是快速傅里叶变换FFTnumpy.fft.fft直接可用。有一个细节容易翻车FFT 的结果是关于中心点对称的后半部分是前半部分的镜像所以只需要取前一半。另外我们最终关心的是功率信号所以要对幅度平方再做对数变换转成 dB。import numpy as np from scipy.io import wavfile import matplotlib.pyplot as plt # 读取音频文件 sampling_freq, audio wavfile.read(input_freq.wav) # 标准化到 [-1, 1] audio audio / (2.**15) # 提取数组长度 len_audio len(audio) # 应用傅里叶变换 transformed_signal np.fft.fft(audio) half_length int(np.ceil((len_audio 1) / 2.0)) transformed_signal abs(transformed_signal[0:half_length]) transformed_signal / float(len_audio) transformed_signal ** 2 # 提取转换后的信号长度 len_ts len(transformed_signal) # 根据信号长度的奇偶性对部分信号乘以2 if len_audio % 2: transformed_signal[1:len_ts] * 2 else: transformed_signal[1:len_ts-1] * 2 # 转换为分贝值 power 10 * np.log10(transformed_signal) # 建立频率轴单位转换为 kHz x_values np.arange(0, half_length, 1) * (sampling_freq / len_audio) / 1000.0 plt.figure() plt.plot(x_values, power, colorblack) plt.xlabel(Freq (in kHz)) plt.ylabel(Power (in dB)) plt.show()这里有几个参数逻辑要讲清楚。half_length取(len_audio 1) / 2.0向上取整是为了处理奇数长度信号时也能正确截取。除以len_audio是归一化避免功率值随信号长度线性增长。乘 2 的操作是因为只取了前半段频谱能量少算了一半需要补偿回来——但直流分量索引 0和偶数长度时的奈奎斯特分量最后一个点不需要乘 2所以代码里用奇偶判断做了区分。频率轴的换算公式是采样率 / 信号长度得到每个频率 bin 的间隔再除以 1000 转成 kHz。3. 生成音频与合成音乐从正弦波到能听的旋律3.1 用 NumPy 构造可控音频信号理解了音频是正弦波的混合之后反过来用 NumPy 生成音频就是顺理成章的事。你可以指定时长、采样率、音调频率构造出一个纯正弦波再加上噪声模拟真实环境最后写成 wav 文件。这个过程能帮你建立对音频参数时长、采样率、频率、幅度的直觉。import numpy as np import matplotlib.pyplot as plt from scipy.io.wavfile import write # 定义输出文件 output_file output_generated.wav # 指定音频生成参数 duration 3 # 时长单位秒 sampling_freq 44100 # 采样率单位 Hz tone_freq 587 # 音调频率单位 Hz min_val -2 * np.pi max_val 2 * np.pi # 生成时间轴和音频信号 t np.linspace(min_val, max_val, duration * sampling_freq) audio np.sin(2 * np.pi * tone_freq * t) # 叠加噪声 noise 0.4 * np.random.rand(duration * sampling_freq) audio noise # 归一化并转换为16位整型 scaling_factor pow(2, 15) - 1 audio_normalized audio / np.max(np.abs(audio)) audio_scaled np.int16(audio_normalized * scaling_factor) # 写入输出文件 write(output_file, sampling_freq, audio_scaled) # 取前100个采样点可视化 audio audio[:100] x_values np.arange(0, len(audio), 1) / float(sampling_freq) x_values * 1000 plt.plot(x_values, audio, colorblack) plt.xlabel(Time (ms)) plt.ylabel(Amplitude) plt.title(Audio signal) plt.show()参数上tone_freq决定音高587 Hz 接近 D5 音。np.linspace从 -2π 到 2π 生成时间点配合sin(2π * f * t)就能得到指定频率的正弦波。噪声幅度 0.4 是经验值太大会盖过信号太小听不出效果。写文件前必须归一化到 [-1, 1] 再乘pow(2,15)-1转成 16 位整型否则write函数会因为数据类型不对而报错或产生爆音。3.2 基于频率映射表合成音阶序列单个正弦波只能发出“嘀”一声要合成音乐需要一张音阶到频率的映射表然后按序列拼接不同音高的音频片段。这份资源里用了一个 JSON 文件tone_freq_map.json来存音阶和频率的对应关系常见做法是参考标准音高频率表比如 A4 440 Hz来构建。import json import numpy as np from scipy.io.wavfile import write def synthesizer(freq, duration, amp1.0, sampling_freq44100): 基于频率和时长合成音调 t np.linspace(0, duration, int(duration * sampling_freq)) audio amp * np.sin(2 * np.pi * freq * t) return audio.astype(np.int16) if __name__ __main__: tone_map_file tone_freq_map.json with open(tone_map_file, r) as f: tone_freq_map json.loads(f.read()) # 定义音阶序列及每个音的持续时间 tone_seq [(D, 0.3), (G, 0.6), (C, 0.5), (A, 0.3), (Asharp, 0.7)] amplitude 10000 sampling_freq 44100 output np.array([]) for item in tone_seq: input_tone item[0] duration item[1] synthesized_tone synthesizer(tone_freq_map[input_tone], duration, amplitude, sampling_freq) output np.append(output, synthesized_tone, axis0) write(output_tone_seq.wav, sampling_freq, output)synthesizer函数里amp控制音量10000 这个值在 16 位整型范围内留了足够余量不会削波。tone_seq列表里每个元组是音阶名和持续秒数按顺序拼接就能得到一段简单旋律。np.append沿 axis0 拼接一维数组最终写成一个完整的 wav 文件。这套逻辑虽然简单但它是理解更复杂音频合成比如加包络、和弦的基础。4. 提取 MFCC 特征与构建 HMM 分类器4.1 MFCC 与滤波器组特征的提取原始音频数据维度太高直接丢给分类器效果很差。语音识别里最常用的频域特征是梅尔频率倒谱系数MFCC它模拟人耳对频率的非线性感知把功率谱通过梅尔滤波器组和离散余弦变换压缩成低维特征向量。这份资源用的是python_speech_features包里的mfcc和logfbank两个函数。import numpy as np import matplotlib.pyplot as plt from scipy.io import wavfile from python_speech_features import mfcc, logfbank # 读取音频文件 sampling_freq, audio wavfile.read(input_freq.wav) # 提取MFCC和滤波器组特征 mfcc_features mfcc(audio, sampling_freq) filterbank_features logfbank(audio, sampling_freq) # 打印特征维度信息 print(\nMFCC:\nNumber of windows , mfcc_features.shape[0]) print(Length of each feature , mfcc_features.shape[1]) print(\nFilter bank:\nNumber of windows , filterbank_features.shape[0]) print(Length of each feature , filterbank_features.shape[1]) # 可视化MFCC特征 mfcc_features mfcc_features.T plt.matshow(mfcc_features) plt.title(MFCC) # 可视化滤波器组特征 filterbank_features filterbank_features.T plt.matshow(filterbank_features) plt.title(Filter bank) plt.show()mfcc函数默认返回一个二维数组行数是时间窗数量列数是每个窗的特征维度默认 13 维。logfbank返回滤波器组能量维度更高默认 26 维适合做更细粒度的分析。转置之后用plt.matshow画出来横轴是时间纵轴是特征维度颜色深浅代表数值大小。这里有个常见坑python_speech_features的导入名是python_speech_features但有些老教程写的是from features import mfcc那是旧版本的写法新版本已经改了包名照着老代码跑会直接 ImportError。4.2 用 hmmlearn 封装高斯隐马尔科夫模型隐马尔科夫模型擅长处理时间序列数据音频信号恰好就是典型的时间序列。它的核心思想是观测到的音频特征由一组隐藏状态生成通过训练找到这些隐藏状态的转移概率和发射概率就能对信号建模。这份资源用hmmlearn包里的GaussianHMM来封装一个训练器类。import numpy as np from hmmlearn import hmm class HMMTrainer(object): def __init__(self, model_nameGaussianHMM, n_components4, cov_typediag, n_iter1000): self.model_name model_name self.n_components n_components self.cov_type cov_type self.n_iter n_iter self.models [] if self.model_name GaussianHMM: self.model hmm.GaussianHMM( n_componentsself.n_components, covariance_typeself.cov_type, n_iterself.n_iter ) else: raise TypeError(Invalid model type) def train(self, X): X是二维数组每一行是一个特征向量 np.seterr(allignore) self.models.append(self.model.fit(X)) def get_score(self, input_data): 对输入数据运行模型返回得分 return self.model.score(input_data)参数选择上n_components4表示假设有 4 个隐藏状态这个数字取决于你的数据复杂度词内音素越多需要的状态可能越多。cov_typediag表示协方差矩阵是对角矩阵计算量小适合特征维度不高的情况如果特征维度之间相关性强的可以改成full。n_iter1000是训练迭代上限实际训练时模型可能在更少迭代内收敛。np.seterr(allignore)是为了压制训练过程中可能出现的数值警告不影响结果但能让终端干净些。4.3 搭建完整的语音识别器有了 HMM 训练器接下来就是把它用到实际的单词识别任务上。这份资源用了一个包含 7 个单词、每个单词 15 个音频文件的小型数据库。思路很直接为每个单词类别训练一个独立的 HMM识别新音频时把它分别喂给所有模型得分最高的那个模型对应的标签就是预测结果。import os import argparse import numpy as np from scipy.io import wavfile from hmmlearn import hmm from python_speech_features import mfcc def build_arg_parser(): parser argparse.ArgumentParser(descriptionTrains the HMM classifier) parser.add_argument(--input-folder, destinput_folder, requiredTrue, helpInput folder containing the audio files in subfolders) return parser if __name__ __main__: args build_arg_parser().parse_args() input_folder args.input_folder hmm_models [] # 遍历输入文件夹下的每个子文件夹 for dirname in os.listdir(input_folder): subfolder os.path.join(input_folder, dirname) if not os.path.isdir(subfolder): continue # 子文件夹名即为类别标签 label subfolder[subfolder.rfind(/) 1:] X np.array([]) y_words [] # 遍历子文件夹中的音频文件留最后一个用于测试 for filename in [x for x in os.listdir(subfolder) if x.endswith(.wav)][:-1]: filepath os.path.join(subfolder, filename) sampling_freq, audio wavfile.read(filepath) mfcc_features mfcc(audio, sampling_freq) if len(X) 0: X mfcc_features else: X np.append(X, mfcc_features, axis0) y_words.append(label) # 为每个类别训练一个HMM模型 hmm_trainer HMMTrainer() hmm_trainer.train(X) hmm_models.append((hmm_trainer, label)) hmm_trainer None # 测试文件列表 input_files [ data/pineapple/pineapple15.wav, data/orange/orange15.wav, data/apple/apple15.wav, data/kiwi/kiwi15.wav ] for input_file in input_files: sampling_freq, audio wavfile.read(input_file) mfcc_features mfcc(audio, sampling_freq) max_score None output_label None # 遍历所有模型选取得分最高的 for item in hmm_models: hmm_model, label item score hmm_model.get_score(mfcc_features) if max_score is None or score max_score: max_score score output_label label print(\nTrue:, input_file[input_file.find(/)1:input_file.rfind(/)]) print(Predicted:, output_label)这段代码有几个关键设计点。每个类别的所有训练样本的 MFCC 特征被纵向拼接成一个大的二维数组一次性喂给 HMM 训练这样模型能学到该类别的整体特征分布。测试时留出每个类别的最后一个文件不参与训练保证评估的公正性。get_score返回的是模型对输入数据的对数似然值越大说明该模型越匹配这段音频。max_score初始为None而不是 0是因为对数似然可能是负数用 0 初始化会导致第一个模型永远被跳过。5. 避坑与排查跑通这套代码必须跨过的五个坎5.1 现象ImportError: No module named features原因这份资源的代码写于较早时期当时python_speech_features包的导入方式是from features import mfcc。新版本已经改为from python_speech_features import mfcc包名变了但很多老教程没更新。解决统一改成from python_speech_features import mfcc, logfbank并用pip install python_speech_features安装。如果 pip 源里找不到可以尝试从源码安装但注意不要装成同名的其他包。5.2 现象wavfile.read读进来的数组是 int16做 FFT 后数值巨大原因16 位整型的取值范围是 -32768 到 32767直接做傅里叶变换得到的幅度值会非常大后续平方和对数运算容易溢出或产生无效值。解决读取后立即执行audio audio / (2.**15)标准化到 [-1, 1]。这一步在所有涉及数值计算的环节之前都要做包括 FFT、MFCC 提取和写文件前的归一化。5.3 现象HMM 训练时报ValueError: Expected 2D array, got 1D array instead原因hmmlearn的fit方法要求输入是二维数组每一行是一个特征向量。如果直接把一维的音频数组传进去就会报这个错。解决确保传给train方法的是 MFCC 特征矩阵形状为(时间窗数量, 特征维度)。如果只有一个样本用mfcc_features.reshape(1, -1)显式转成二维。多个样本拼接时用np.append(X, mfcc_features, axis0)不要用np.concatenate搞错轴。5.4 现象识别结果总是预测成同一个单词原因最常见的情况是某个类别的训练数据量远大于其他类别或者 MFCC 特征没有做均值归一化导致模型被某个类别主导。另外n_components设置过大而训练数据太少模型会过拟合到某个局部最优。解决先检查每个类别的样本数量是否均衡。然后对 MFCC 特征做均值归一化减去均值除以标准差这一步能显著提升不同模型之间的可比性。如果数据量确实少把n_components降到 2 或 3减少模型复杂度。5.5 现象生成的 wav 文件播放时有严重爆音或完全没声音原因写文件前没有做归一化或者归一化后没有转成 int16。scipy.io.wavfile.write对数据类型敏感传 float 数组进去可能被截断成 0 或者产生溢出。解决写文件前执行audio_normalized audio / np.max(np.abs(audio))再乘pow(2,15)-1转成np.int16。如果音频全零检查np.max(np.abs(audio))是否为 0是的话说明信号本身有问题回溯生成环节。6. 进阶技巧让这套识别器更稳的几个实操习惯跑通基础版本之后有几个习惯能帮你把识别准确率往上提一截。第一个是给 MFCC 特征加滑动窗口均值归一化。原始 MFCC 对录音音量、信道差异很敏感同一单词在不同录音条件下提取的特征分布会偏移。常见做法是在时间轴上用一个滑动窗计算均值和标准差然后对每个窗内的特征做标准化。这个操作不需要额外依赖用numpy的cumsum就能实现代价是引入一个窗口长度参数一般取 50 到 100 帧之间。第二个习惯是训练 HMM 之前先做 PCA 降维。MFCC 默认 13 维加上一阶差分和二阶差分能到 39 维但小数据集上高维特征反而容易让协方差矩阵估计不准。用sklearn.decomposition.PCA降到 8 到 10 维训练速度会快很多识别率通常不会掉有时还会升。注意 PCA 的fit只能在训练集上做测试集用同样的变换矩阵投影否则就是数据泄露。第三个是给每个类别的 HMM 设置不同的n_components。单词长度不一样短单词比如 “apple” 和 “kiwi”用 3 个状态可能就够了长单词比如 “pineapple”用 5 到 6 个状态更合适。一个偷懒但有效的做法是按音频平均时长来分配状态数时长越长状态越多比例控制在每 0.3 秒一个状态左右。最后一个习惯是保留一个验证集来调参。这份资源里只留了最后一个文件做测试样本太少单次结果波动大。我一般会做 3 折交叉验证把每个类别的 15 个文件分成 3 份轮流拿 2 份训练、1 份测试取平均识别率。这样调出来的n_components和cov_type更靠谱不会因为某一次运气好就以为参数选对了。从那以后我每次做音频分类项目都会先把采样率、位深、声道数这三个参数确认一遍再动手写特征提取因为血泪经验告诉我百分之八十的玄学问题都出在数据格式没对齐上。希望帮到你。本文还有配套的精品资源点击获取
Python语音识别实战：从音频读取到HMM分类器完整案例
简介这份PDF面向具备一定Python基础、希望进入机器学习与语音识别方向的开发者与学习者围绕「构建一个可运行的语音识别器」这一目标展开。内容从读取与绘制音频数据入手逐步讲解音频信号转频域、自定义参数生成音频、合成音乐、提取频域特征、创建隐马尔科夫模型最终整合为完整识别流程帮助读者把理论落到代码实践。资源为单个PDF文件压缩包约1.06MB篇幅紧凑、便于随身查阅与按章节练习。目前已有788人学习说明其在同类教程中具备一定参考价值。读者可从中获得音频采样与标准化处理、傅里叶变换频谱分析、MFCC特征提取、HMM建模及音素到文本映射等关键环节的实现思路并借助numpy、scipy、matplotlib等库完成从数据读取到模型搭建的闭环适合作为语音识别入门与项目实战的案头参考。1. 从一段 44100Hz 的波形说起这份 PDF 到底能帮你搭出什么很多人第一次做语音识别卡住的地方不是模型而是连一段 wav 文件怎么读进来、波形长什么样、采样率意味着什么脑子里都是糊的。这份《Python机器学习项目开发实战_语音识别_编程案例解析实例详解课程教程.pdf》里的第 7 章恰好就是从这个最底层的问题切入的它不跟你空谈算法而是从scipy.io.wavfile读文件开始一步步带你走到用隐马尔科夫模型HMM识别出 7 个英文单词。整章覆盖了读取与绘制音频、时域转频域、自定义参数生成音频、合成音乐、提取 MFCC 频域特征、创建 HMM、搭建语音识别器这条完整链路。适合已经会写 Python、想找一个能跑通的语音识别入门项目练手的开发者也适合做课程设计或机器学习项目作业的同学拿来当骨架。它不追求工业级精度但胜在每一步都有可复现的代码和参数解释能让你真正理解语音识别系统内部在发生什么。2. 读取音频与频域转换把声音变成能算的数组2.1 音频信号的数字化本质与读取方式音频文件本质上是连续声波的数字化快照。真实世界的声音是连续的模拟波形要存进计算机就得按固定时间间隔采样、再把每个采样点的幅度量化成数字。语音场景里常见的采样率是 44100 Hz意思是每秒钟把信号切成 44100 份每隔约 1/44100 秒记录一个幅度值。采样率越高还原出来的声音越接近连续信号但数据量也越大。理解这一点很关键因为后面所有的时间轴计算、频率轴换算都依赖采样率这个基准。读取音频用scipy.io.wavfile就够了它返回两个东西采样率和音频数据数组。音频数据通常是 16 位有符号整型取值范围在 -32768 到 32767 之间。直接拿这个整数去做傅里叶变换或者画图数值范围太大不利于后续处理所以第一步标准化是必须的。import numpy as np import matplotlib.pyplot as plt from scipy.io import wavfile # 读取音频文件返回采样率和音频数据数组 sampling_freq, audio wavfile.read(input_read.wav) # 打印信号的基本参数 print(Shape:, audio.shape) print(Datatype:, audio.dtype) print(Duration:, round(audio.shape[0] / float(sampling_freq), 3), seconds) # 16位有符号整型标准化到 [-1, 1] 区间 audio audio / (2.**15) # 只取前30个采样点用于可视化 audio audio[:30] # 建立时间轴按采样频率缩放 x_values np.arange(0, len(audio), 1) / float(sampling_freq) # 单位从秒转换为毫秒 x_values * 1000 plt.plot(x_values, audio, colorblack) plt.xlabel(Time (ms)) plt.ylabel(Amplitude) plt.title(Audio signal) plt.show()这段代码里有两个参数值得注意。2.**15是 32768对应 16 位有符号整型的满量程除以它就把整数映射到了 -1 到 1 之间。时间轴先除以采样率得到秒再乘 1000 转成毫秒这样横轴读起来更直观。只取前 30 个点是因为采样率太高全部画出来横轴会压缩得看不清单个波形细节。2.2 傅里叶变换与功率谱的工程实现时域波形告诉你信号随时间怎么振动但它不告诉你这段声音里有哪些频率成分。而语音的性质恰恰由频率内容决定所以必须做时域到频域的转换。傅里叶变换就是干这个的把复杂信号分解成不同频率正弦波的叠加。工程上用的是快速傅里叶变换FFTnumpy.fft.fft直接可用。有一个细节容易翻车FFT 的结果是关于中心点对称的后半部分是前半部分的镜像所以只需要取前一半。另外我们最终关心的是功率信号所以要对幅度平方再做对数变换转成 dB。import numpy as np from scipy.io import wavfile import matplotlib.pyplot as plt # 读取音频文件 sampling_freq, audio wavfile.read(input_freq.wav) # 标准化到 [-1, 1] audio audio / (2.**15) # 提取数组长度 len_audio len(audio) # 应用傅里叶变换 transformed_signal np.fft.fft(audio) half_length int(np.ceil((len_audio 1) / 2.0)) transformed_signal abs(transformed_signal[0:half_length]) transformed_signal / float(len_audio) transformed_signal ** 2 # 提取转换后的信号长度 len_ts len(transformed_signal) # 根据信号长度的奇偶性对部分信号乘以2 if len_audio % 2: transformed_signal[1:len_ts] * 2 else: transformed_signal[1:len_ts-1] * 2 # 转换为分贝值 power 10 * np.log10(transformed_signal) # 建立频率轴单位转换为 kHz x_values np.arange(0, half_length, 1) * (sampling_freq / len_audio) / 1000.0 plt.figure() plt.plot(x_values, power, colorblack) plt.xlabel(Freq (in kHz)) plt.ylabel(Power (in dB)) plt.show()这里有几个参数逻辑要讲清楚。half_length取(len_audio 1) / 2.0向上取整是为了处理奇数长度信号时也能正确截取。除以len_audio是归一化避免功率值随信号长度线性增长。乘 2 的操作是因为只取了前半段频谱能量少算了一半需要补偿回来——但直流分量索引 0和偶数长度时的奈奎斯特分量最后一个点不需要乘 2所以代码里用奇偶判断做了区分。频率轴的换算公式是采样率 / 信号长度得到每个频率 bin 的间隔再除以 1000 转成 kHz。3. 生成音频与合成音乐从正弦波到能听的旋律3.1 用 NumPy 构造可控音频信号理解了音频是正弦波的混合之后反过来用 NumPy 生成音频就是顺理成章的事。你可以指定时长、采样率、音调频率构造出一个纯正弦波再加上噪声模拟真实环境最后写成 wav 文件。这个过程能帮你建立对音频参数时长、采样率、频率、幅度的直觉。import numpy as np import matplotlib.pyplot as plt from scipy.io.wavfile import write # 定义输出文件 output_file output_generated.wav # 指定音频生成参数 duration 3 # 时长单位秒 sampling_freq 44100 # 采样率单位 Hz tone_freq 587 # 音调频率单位 Hz min_val -2 * np.pi max_val 2 * np.pi # 生成时间轴和音频信号 t np.linspace(min_val, max_val, duration * sampling_freq) audio np.sin(2 * np.pi * tone_freq * t) # 叠加噪声 noise 0.4 * np.random.rand(duration * sampling_freq) audio noise # 归一化并转换为16位整型 scaling_factor pow(2, 15) - 1 audio_normalized audio / np.max(np.abs(audio)) audio_scaled np.int16(audio_normalized * scaling_factor) # 写入输出文件 write(output_file, sampling_freq, audio_scaled) # 取前100个采样点可视化 audio audio[:100] x_values np.arange(0, len(audio), 1) / float(sampling_freq) x_values * 1000 plt.plot(x_values, audio, colorblack) plt.xlabel(Time (ms)) plt.ylabel(Amplitude) plt.title(Audio signal) plt.show()参数上tone_freq决定音高587 Hz 接近 D5 音。np.linspace从 -2π 到 2π 生成时间点配合sin(2π * f * t)就能得到指定频率的正弦波。噪声幅度 0.4 是经验值太大会盖过信号太小听不出效果。写文件前必须归一化到 [-1, 1] 再乘pow(2,15)-1转成 16 位整型否则write函数会因为数据类型不对而报错或产生爆音。3.2 基于频率映射表合成音阶序列单个正弦波只能发出“嘀”一声要合成音乐需要一张音阶到频率的映射表然后按序列拼接不同音高的音频片段。这份资源里用了一个 JSON 文件tone_freq_map.json来存音阶和频率的对应关系常见做法是参考标准音高频率表比如 A4 440 Hz来构建。import json import numpy as np from scipy.io.wavfile import write def synthesizer(freq, duration, amp1.0, sampling_freq44100): 基于频率和时长合成音调 t np.linspace(0, duration, int(duration * sampling_freq)) audio amp * np.sin(2 * np.pi * freq * t) return audio.astype(np.int16) if __name__ __main__: tone_map_file tone_freq_map.json with open(tone_map_file, r) as f: tone_freq_map json.loads(f.read()) # 定义音阶序列及每个音的持续时间 tone_seq [(D, 0.3), (G, 0.6), (C, 0.5), (A, 0.3), (Asharp, 0.7)] amplitude 10000 sampling_freq 44100 output np.array([]) for item in tone_seq: input_tone item[0] duration item[1] synthesized_tone synthesizer(tone_freq_map[input_tone], duration, amplitude, sampling_freq) output np.append(output, synthesized_tone, axis0) write(output_tone_seq.wav, sampling_freq, output)synthesizer函数里amp控制音量10000 这个值在 16 位整型范围内留了足够余量不会削波。tone_seq列表里每个元组是音阶名和持续秒数按顺序拼接就能得到一段简单旋律。np.append沿 axis0 拼接一维数组最终写成一个完整的 wav 文件。这套逻辑虽然简单但它是理解更复杂音频合成比如加包络、和弦的基础。4. 提取 MFCC 特征与构建 HMM 分类器4.1 MFCC 与滤波器组特征的提取原始音频数据维度太高直接丢给分类器效果很差。语音识别里最常用的频域特征是梅尔频率倒谱系数MFCC它模拟人耳对频率的非线性感知把功率谱通过梅尔滤波器组和离散余弦变换压缩成低维特征向量。这份资源用的是python_speech_features包里的mfcc和logfbank两个函数。import numpy as np import matplotlib.pyplot as plt from scipy.io import wavfile from python_speech_features import mfcc, logfbank # 读取音频文件 sampling_freq, audio wavfile.read(input_freq.wav) # 提取MFCC和滤波器组特征 mfcc_features mfcc(audio, sampling_freq) filterbank_features logfbank(audio, sampling_freq) # 打印特征维度信息 print(\nMFCC:\nNumber of windows , mfcc_features.shape[0]) print(Length of each feature , mfcc_features.shape[1]) print(\nFilter bank:\nNumber of windows , filterbank_features.shape[0]) print(Length of each feature , filterbank_features.shape[1]) # 可视化MFCC特征 mfcc_features mfcc_features.T plt.matshow(mfcc_features) plt.title(MFCC) # 可视化滤波器组特征 filterbank_features filterbank_features.T plt.matshow(filterbank_features) plt.title(Filter bank) plt.show()mfcc函数默认返回一个二维数组行数是时间窗数量列数是每个窗的特征维度默认 13 维。logfbank返回滤波器组能量维度更高默认 26 维适合做更细粒度的分析。转置之后用plt.matshow画出来横轴是时间纵轴是特征维度颜色深浅代表数值大小。这里有个常见坑python_speech_features的导入名是python_speech_features但有些老教程写的是from features import mfcc那是旧版本的写法新版本已经改了包名照着老代码跑会直接 ImportError。4.2 用 hmmlearn 封装高斯隐马尔科夫模型隐马尔科夫模型擅长处理时间序列数据音频信号恰好就是典型的时间序列。它的核心思想是观测到的音频特征由一组隐藏状态生成通过训练找到这些隐藏状态的转移概率和发射概率就能对信号建模。这份资源用hmmlearn包里的GaussianHMM来封装一个训练器类。import numpy as np from hmmlearn import hmm class HMMTrainer(object): def __init__(self, model_nameGaussianHMM, n_components4, cov_typediag, n_iter1000): self.model_name model_name self.n_components n_components self.cov_type cov_type self.n_iter n_iter self.models [] if self.model_name GaussianHMM: self.model hmm.GaussianHMM( n_componentsself.n_components, covariance_typeself.cov_type, n_iterself.n_iter ) else: raise TypeError(Invalid model type) def train(self, X): X是二维数组每一行是一个特征向量 np.seterr(allignore) self.models.append(self.model.fit(X)) def get_score(self, input_data): 对输入数据运行模型返回得分 return self.model.score(input_data)参数选择上n_components4表示假设有 4 个隐藏状态这个数字取决于你的数据复杂度词内音素越多需要的状态可能越多。cov_typediag表示协方差矩阵是对角矩阵计算量小适合特征维度不高的情况如果特征维度之间相关性强的可以改成full。n_iter1000是训练迭代上限实际训练时模型可能在更少迭代内收敛。np.seterr(allignore)是为了压制训练过程中可能出现的数值警告不影响结果但能让终端干净些。4.3 搭建完整的语音识别器有了 HMM 训练器接下来就是把它用到实际的单词识别任务上。这份资源用了一个包含 7 个单词、每个单词 15 个音频文件的小型数据库。思路很直接为每个单词类别训练一个独立的 HMM识别新音频时把它分别喂给所有模型得分最高的那个模型对应的标签就是预测结果。import os import argparse import numpy as np from scipy.io import wavfile from hmmlearn import hmm from python_speech_features import mfcc def build_arg_parser(): parser argparse.ArgumentParser(descriptionTrains the HMM classifier) parser.add_argument(--input-folder, destinput_folder, requiredTrue, helpInput folder containing the audio files in subfolders) return parser if __name__ __main__: args build_arg_parser().parse_args() input_folder args.input_folder hmm_models [] # 遍历输入文件夹下的每个子文件夹 for dirname in os.listdir(input_folder): subfolder os.path.join(input_folder, dirname) if not os.path.isdir(subfolder): continue # 子文件夹名即为类别标签 label subfolder[subfolder.rfind(/) 1:] X np.array([]) y_words [] # 遍历子文件夹中的音频文件留最后一个用于测试 for filename in [x for x in os.listdir(subfolder) if x.endswith(.wav)][:-1]: filepath os.path.join(subfolder, filename) sampling_freq, audio wavfile.read(filepath) mfcc_features mfcc(audio, sampling_freq) if len(X) 0: X mfcc_features else: X np.append(X, mfcc_features, axis0) y_words.append(label) # 为每个类别训练一个HMM模型 hmm_trainer HMMTrainer() hmm_trainer.train(X) hmm_models.append((hmm_trainer, label)) hmm_trainer None # 测试文件列表 input_files [ data/pineapple/pineapple15.wav, data/orange/orange15.wav, data/apple/apple15.wav, data/kiwi/kiwi15.wav ] for input_file in input_files: sampling_freq, audio wavfile.read(input_file) mfcc_features mfcc(audio, sampling_freq) max_score None output_label None # 遍历所有模型选取得分最高的 for item in hmm_models: hmm_model, label item score hmm_model.get_score(mfcc_features) if max_score is None or score max_score: max_score score output_label label print(\nTrue:, input_file[input_file.find(/)1:input_file.rfind(/)]) print(Predicted:, output_label)这段代码有几个关键设计点。每个类别的所有训练样本的 MFCC 特征被纵向拼接成一个大的二维数组一次性喂给 HMM 训练这样模型能学到该类别的整体特征分布。测试时留出每个类别的最后一个文件不参与训练保证评估的公正性。get_score返回的是模型对输入数据的对数似然值越大说明该模型越匹配这段音频。max_score初始为None而不是 0是因为对数似然可能是负数用 0 初始化会导致第一个模型永远被跳过。5. 避坑与排查跑通这套代码必须跨过的五个坎5.1 现象ImportError: No module named features原因这份资源的代码写于较早时期当时python_speech_features包的导入方式是from features import mfcc。新版本已经改为from python_speech_features import mfcc包名变了但很多老教程没更新。解决统一改成from python_speech_features import mfcc, logfbank并用pip install python_speech_features安装。如果 pip 源里找不到可以尝试从源码安装但注意不要装成同名的其他包。5.2 现象wavfile.read读进来的数组是 int16做 FFT 后数值巨大原因16 位整型的取值范围是 -32768 到 32767直接做傅里叶变换得到的幅度值会非常大后续平方和对数运算容易溢出或产生无效值。解决读取后立即执行audio audio / (2.**15)标准化到 [-1, 1]。这一步在所有涉及数值计算的环节之前都要做包括 FFT、MFCC 提取和写文件前的归一化。5.3 现象HMM 训练时报ValueError: Expected 2D array, got 1D array instead原因hmmlearn的fit方法要求输入是二维数组每一行是一个特征向量。如果直接把一维的音频数组传进去就会报这个错。解决确保传给train方法的是 MFCC 特征矩阵形状为(时间窗数量, 特征维度)。如果只有一个样本用mfcc_features.reshape(1, -1)显式转成二维。多个样本拼接时用np.append(X, mfcc_features, axis0)不要用np.concatenate搞错轴。5.4 现象识别结果总是预测成同一个单词原因最常见的情况是某个类别的训练数据量远大于其他类别或者 MFCC 特征没有做均值归一化导致模型被某个类别主导。另外n_components设置过大而训练数据太少模型会过拟合到某个局部最优。解决先检查每个类别的样本数量是否均衡。然后对 MFCC 特征做均值归一化减去均值除以标准差这一步能显著提升不同模型之间的可比性。如果数据量确实少把n_components降到 2 或 3减少模型复杂度。5.5 现象生成的 wav 文件播放时有严重爆音或完全没声音原因写文件前没有做归一化或者归一化后没有转成 int16。scipy.io.wavfile.write对数据类型敏感传 float 数组进去可能被截断成 0 或者产生溢出。解决写文件前执行audio_normalized audio / np.max(np.abs(audio))再乘pow(2,15)-1转成np.int16。如果音频全零检查np.max(np.abs(audio))是否为 0是的话说明信号本身有问题回溯生成环节。6. 进阶技巧让这套识别器更稳的几个实操习惯跑通基础版本之后有几个习惯能帮你把识别准确率往上提一截。第一个是给 MFCC 特征加滑动窗口均值归一化。原始 MFCC 对录音音量、信道差异很敏感同一单词在不同录音条件下提取的特征分布会偏移。常见做法是在时间轴上用一个滑动窗计算均值和标准差然后对每个窗内的特征做标准化。这个操作不需要额外依赖用numpy的cumsum就能实现代价是引入一个窗口长度参数一般取 50 到 100 帧之间。第二个习惯是训练 HMM 之前先做 PCA 降维。MFCC 默认 13 维加上一阶差分和二阶差分能到 39 维但小数据集上高维特征反而容易让协方差矩阵估计不准。用sklearn.decomposition.PCA降到 8 到 10 维训练速度会快很多识别率通常不会掉有时还会升。注意 PCA 的fit只能在训练集上做测试集用同样的变换矩阵投影否则就是数据泄露。第三个是给每个类别的 HMM 设置不同的n_components。单词长度不一样短单词比如 “apple” 和 “kiwi”用 3 个状态可能就够了长单词比如 “pineapple”用 5 到 6 个状态更合适。一个偷懒但有效的做法是按音频平均时长来分配状态数时长越长状态越多比例控制在每 0.3 秒一个状态左右。最后一个习惯是保留一个验证集来调参。这份资源里只留了最后一个文件做测试样本太少单次结果波动大。我一般会做 3 折交叉验证把每个类别的 15 个文件分成 3 份轮流拿 2 份训练、1 份测试取平均识别率。这样调出来的n_components和cov_type更靠谱不会因为某一次运气好就以为参数选对了。从那以后我每次做音频分类项目都会先把采样率、位深、声道数这三个参数确认一遍再动手写特征提取因为血泪经验告诉我百分之八十的玄学问题都出在数据格式没对齐上。希望帮到你。本文还有配套的精品资源点击获取
