English version:en/05-pie-assembly-in-practice.md本篇对应源码main/pie_dotprod.S·main/main.c·docs/milestones.md目标讲清楚 ESP32-P4 的 PIEProcessor Instruction Extensionxespv到底是什么、为什么必须手写汇编、以及两个会让人「随机数据对拍正确、真实数据全错」的致命 bug。1. 调研PIE 是什么、不是什么ESP32-P4 的 CPU 是 RISC-V 双核 400 MHz 单精度 FPU另带一个乐鑫私有的128-bit SIMD 扩展PIExespv。用硬数据核实不是道听途说事实依据编译器认识xespvgcc -dM -E -march...xespv出__riscv_xespv2001000march 已含扩展-marchrv32imafc_zicsr_zifencei_zaamo_zalrsc_xesploop_xespv工具链有两代xespv2p1/xespv2p2汇编器/反汇编器无公开 intrinsics 头文件无esp_pie.h/xespv.h无 builtinsGCC 不自动向量化到 xespv反汇编kmcu.c.o4136 条指令全为标准 RV32I/F 标量零 PIE调研硬数据可复现的原始输出构建 flagsbuild/toolchain/cflags实测-mabiilp32f -marchrv32imafc_zicsr_zifencei_zaamo_zalrsc_xesploop_xespv -mtuneesp-basegcc -dM -E关键宏证明编译器认识 xespv且是单精度 FPU#define __riscv_xespv 2001000 #define __riscv_xesploop 1000000 #define __riscv_flen 32 ← 单精度 FPU无 fp64 #define __riscv_xlen 32反汇编kmcu.c.o的指令分布objdump -d4136 条指令全标准标量零 PIE、零标准 RVVCount Name Count Name 385 lw 54 jalr 171 sw 54 auipc 156 addi 35 beqz 136 mv 34 j 122 flw 33 fsw 107 add 26 lui 75 li 25 bnez 74 slli 24 bne 71 fcvt.s.w ← int8→fp32 转换 24 mul 71 fmadd.s ← fp32 FMA 21 ret关键观察fcvt.s.w71 次fmadd.s71 次正是热循环里(float)q[j] * x[j]的标量实现——int8→fp32 转换 fp32 FMA。这证明-O2 -march...xespv下 GCC一条 PIE 指令都没生成。工具链里 PIE 相关二进制Glob实测...\riscv32-esp-elf\bin\objdump-xespv2p1.exe ...\riscv32-esp-elf\bin\objdump-xespv2p2.exe ...\riscv32-esp-elf\bin\as-xespv2p1.exe ...\riscv32-esp-elf\bin\as-xespv2p2.exe⇒ 两代 PIExespv2p1chip rev v1.x和xespv2p2chip rev v3.x。本板是 rev v3.1对应 PIE V2。决定性结论PIE 是纯定点 SIMD乐鑫自己 ESP-DL 里dl_esp32p4_dotprod_f32的源码注释“The PIE SIMD extension only supports integer datatypes, so the float dot productis implemented with the RISC-V single-precision FPU.”即PIE 没有 fp32 向量指令。所以要加速int8 权重 × fp32 激活的 GEMV唯一路径是激活定点化w8a16int8 权重 × int16 激活。注意区分PIExespv乐鑫私有≠ 标准 RVVv扩展。工具链里的riscv_vector.h对应标准 RVV而 march 里没有v标准 RVV intrinsics 全不可用。2. 指令来源移植乐鑫 ESP-DL乐鑫 ESP-DL 的dl_esp32p4_dotprod*.S提供了可编译的 PIE 指令参考。核心点积指令指令语义esp.zero.xacc清零累加器xaccesp.vldext.s8.ip q0,q1,addr,16加载 16 个 int8 并符号扩展成 q0,q116 个 int16esp.vld.128.ip q2,addr,16加载 16 字节8 个 int16esp.vmulas.s16.xacc(.ld.ip) q0,q2xacc q0×q28 个 int16 乘加.ld.ip变体同时后增加载esp.vext.s8 q0,q1,q4把 q416 个 int8符号扩展成 q0,q1esp.srs.s.xacc t3,a4把 xacc 求和右移 a4 位到标量 t3128-bit 向量寄存器q0..q7标量寄存器用 RISC-V 的a0..a7/x*。实测编码objdump -d pie_dotprod.S.o供核对指令是否被正确汇编esp.zero.xacc → 0x0000001b esp.vldext.s8.ip q0,q1,a0,16 → 0x8821009f esp.vld.128.ip q2,a1,16 → 0x0311889f esp.vld.128.ip q3,a1,16 → 0x03118c9f esp.vmulas.s16.xacc q0,q2 → 0x0aa3a01b esp.vmulas.s16.xacc q1,q3 → 0x2ea3a01b esp.srs.s.xacc t3,a4 → 0x9cf3261b现成的点积格式函数格式dl_esp32p4_dotprod_i16k8o16int8 × int16w8a16最匹配现有 int8 权重dl_esp32p4_dotprod_i16k16o16int16 × int16dl_esp32p4_dotprod_i8k8o16int8 × int83. 分块 GEMV 内核pie_gemv_row本项目写了pie_dotprod.S其中pie_gemv_row做「分块 GEMV」acc Σ_b d[b] · dot(q[b*32 .. b*3232], x[b*32 .. b*3232])每块 32 元素 2 轮 16 元素用乐鑫的.ld.ip流水线pie_gemv_row_blk: esp.zero.xacc esp.vldext.s8.ip q0, q1, a0, 16 /* 轮1: 16 int8 */ esp.vld.128.ip q2, a1, 16 esp.vld.128.ip q3, a1, 16 esp.vmulas.s16.xacc.ld.ip q4, a0, 16, q0, q2 /* 轮1: q0*q2; q4轮2 int8 */ esp.vmulas.s16.xacc.ld.ip q2, a1, 16, q1, q3 esp.vext.s8 q0, q1, q4 /* q4 - q0,q1 */ esp.vld.128.ip q3, a1, 16 esp.vmulas.s16.xacc.ld.ip q4, a0, 16, q0, q2 /* 轮2 */ esp.vmulas.s16.xacc.ld.ip q2, a1, 16, q1, q3 addi a0, a0, -16 /* 回退多加载 */ addi a1, a1, -16 esp.srs.s.xacc t3, a4 fcvt.s.w ft1, t3 flw ft2, 0(a2) fmadd.s ft0, ft1, ft2, ft0 /* fp32 累加 d[b]*dot_b */C 侧调用kmcu.cexternfloatpie_gemv_row(constint8_t*q,constint16_t*x,constfloat*d,intnblk,intshift);/* 量化激活 x → int16per-vector scale */floatS32767.0f/max_abs(x);for(j)xq[j](int16_t)(x[j]*S(x[j]0?0.5f:-0.5f));for(r)y[r]pie_gemv_row(qr*align,xq,dr*nblk,nblk,0)*(1/S);4. 两个致命 bug务必先读Bug APIE 指令的标量操作数不能用 t0-t2x5-x7症状汇编报illegal operands esp.srs.s.xacc t2,t1、esp.vld.128.ip q2,t2,16。原因PIE 指令的地址/标量操作数有寄存器编码约束t0-t2x5-x7非法。解决用a0-a7x10-x17或t3x28。esp.srs.s.xacc t3, a4✅t3x28 合法esp.srs.s.xacc t2, t1❌t2x7, t1x6 非法Bug B16 字节对齐最隐蔽症状随机数据对拍 diff0真实模型权重全错——single-token argmax 从 684 变成 865dot 值越大错得越多。定位过程完整数据链pie_dotprod_s8s16点积match1 ✅pie_gemv_row随机数据 diff0 ✅真实模型 GEMV 出错 ❌——前 3 个 GEMV 的blk0对拍[PIE-DBG] blk0 scalar_dot-467146 pie_dot-40541 d00.00287 ← 错 [PIE-DBG] blk0 scalar_dot-138428 pie_dot182837 d00.00531 ← 错符号都反了 [PIE-DBG] blk0 scalar_dot-6589 pie_dot-112498 d00.00189 ← 错修复后16 字节对齐[PIE-DBG] blk0 scalar_dot-467146 pie_dot-467146 d00.00287 ← 一致 [PIE-DBG] blk0 scalar_dot-138428 pie_dot-138428 d00.00531 ← 一致 [PIE-DBG] blk0 scalar_dot-6589 pie_dot-6589 d00.00189 ← 一致关键判据scalar_q标量用同一份量化 xq 反量化算与scalar标量用原始 fp32只差 ~3e-6说明量化正确而piePIE 用 xq与scalar_q差 0.6~0.8说明是 PIE 计算错了不是量化精度不足。这排除了「量化误差」、锁定了「实现 bug」。原因esp.vld.128/vldext.s8要求16 字节对齐地址。scratch 里的 int16 量化缓冲xq用heap_caps_malloc分配只保证4 字节对齐导致 vld 读到了错位的数据。随机数据static aligned(16)恰好对齐所以没暴露。解决用heap_caps_aligned_alloc(16, size, MALLOC_CAP_8BIT)分配 scratch。float*sc(float*)heap_caps_aligned_alloc(16,sc_f*sizeof(float),MALLOC_CAP_8BIT);教训「随机数据对拍通过」不等于「实现正确」。量化值满量程、dot 值大时对齐/溢出类 bug 才会暴露。对拍测试要覆盖满量程输入和真实权重两种场景。5. 单算子验证阶段 0在接入 forward 之前先用pie_bench做单算子对拍 测速[PIE] dotprod N4096 scalar19713 pie19713 match1 [PIE] 200 iters: scalar16396 us pie782 us speedup20.97x纯计算加速21×数据在内部 RAM无 PSRAM 带宽墙。接入 forward 后收敛到2.11×——正好落在预估的带宽墙区间2–4×。6. 复现建议先跑通pie_dotprod_s8s16点积并确认match1再跑pie_gemv_row对拍务必用满量程输入x ∈ ±32767验证对齐最后才接入gemv_q8和输出头并用single-token argmax作为快速正确性哨兵。对应源码文件关键符号 / 位置支撑本文哪部分main/pie_dotprod.Spie_dotprod_s8s16、pie_gemv_row、pie_gemv_row_blk第 3 节分块 GEMV 内核pie_gemv_row_blk标签main/main.cpie_bench、pie_gemv_row第 5 节单算子对拍与测速docs/milestones.mddl_esp32p4_dotprod_i16k8o16、esp.vldext.s8.ip第 1–2 节 PIE 调研与指令来源《Kestrel-MCU 手记》· 全系列 28 篇在 ESP32-P4 上从零训练并部署 32M~64M 参数 MoE 大模型5.7~6.4 tok/s源码、权重、训练脚本与全部文章开源可复现。仓库https://gitee.com/pei-xiaoguang/kestrel-llm-mcu · 觉得有用欢迎 Star
05 · 手写 SIMD 汇编提速 21 倍：ESP32-P4 PIE 定点 GEMV 实战与两个致命 Bug
English version:en/05-pie-assembly-in-practice.md本篇对应源码main/pie_dotprod.S·main/main.c·docs/milestones.md目标讲清楚 ESP32-P4 的 PIEProcessor Instruction Extensionxespv到底是什么、为什么必须手写汇编、以及两个会让人「随机数据对拍正确、真实数据全错」的致命 bug。1. 调研PIE 是什么、不是什么ESP32-P4 的 CPU 是 RISC-V 双核 400 MHz 单精度 FPU另带一个乐鑫私有的128-bit SIMD 扩展PIExespv。用硬数据核实不是道听途说事实依据编译器认识xespvgcc -dM -E -march...xespv出__riscv_xespv2001000march 已含扩展-marchrv32imafc_zicsr_zifencei_zaamo_zalrsc_xesploop_xespv工具链有两代xespv2p1/xespv2p2汇编器/反汇编器无公开 intrinsics 头文件无esp_pie.h/xespv.h无 builtinsGCC 不自动向量化到 xespv反汇编kmcu.c.o4136 条指令全为标准 RV32I/F 标量零 PIE调研硬数据可复现的原始输出构建 flagsbuild/toolchain/cflags实测-mabiilp32f -marchrv32imafc_zicsr_zifencei_zaamo_zalrsc_xesploop_xespv -mtuneesp-basegcc -dM -E关键宏证明编译器认识 xespv且是单精度 FPU#define __riscv_xespv 2001000 #define __riscv_xesploop 1000000 #define __riscv_flen 32 ← 单精度 FPU无 fp64 #define __riscv_xlen 32反汇编kmcu.c.o的指令分布objdump -d4136 条指令全标准标量零 PIE、零标准 RVVCount Name Count Name 385 lw 54 jalr 171 sw 54 auipc 156 addi 35 beqz 136 mv 34 j 122 flw 33 fsw 107 add 26 lui 75 li 25 bnez 74 slli 24 bne 71 fcvt.s.w ← int8→fp32 转换 24 mul 71 fmadd.s ← fp32 FMA 21 ret关键观察fcvt.s.w71 次fmadd.s71 次正是热循环里(float)q[j] * x[j]的标量实现——int8→fp32 转换 fp32 FMA。这证明-O2 -march...xespv下 GCC一条 PIE 指令都没生成。工具链里 PIE 相关二进制Glob实测...\riscv32-esp-elf\bin\objdump-xespv2p1.exe ...\riscv32-esp-elf\bin\objdump-xespv2p2.exe ...\riscv32-esp-elf\bin\as-xespv2p1.exe ...\riscv32-esp-elf\bin\as-xespv2p2.exe⇒ 两代 PIExespv2p1chip rev v1.x和xespv2p2chip rev v3.x。本板是 rev v3.1对应 PIE V2。决定性结论PIE 是纯定点 SIMD乐鑫自己 ESP-DL 里dl_esp32p4_dotprod_f32的源码注释“The PIE SIMD extension only supports integer datatypes, so the float dot productis implemented with the RISC-V single-precision FPU.”即PIE 没有 fp32 向量指令。所以要加速int8 权重 × fp32 激活的 GEMV唯一路径是激活定点化w8a16int8 权重 × int16 激活。注意区分PIExespv乐鑫私有≠ 标准 RVVv扩展。工具链里的riscv_vector.h对应标准 RVV而 march 里没有v标准 RVV intrinsics 全不可用。2. 指令来源移植乐鑫 ESP-DL乐鑫 ESP-DL 的dl_esp32p4_dotprod*.S提供了可编译的 PIE 指令参考。核心点积指令指令语义esp.zero.xacc清零累加器xaccesp.vldext.s8.ip q0,q1,addr,16加载 16 个 int8 并符号扩展成 q0,q116 个 int16esp.vld.128.ip q2,addr,16加载 16 字节8 个 int16esp.vmulas.s16.xacc(.ld.ip) q0,q2xacc q0×q28 个 int16 乘加.ld.ip变体同时后增加载esp.vext.s8 q0,q1,q4把 q416 个 int8符号扩展成 q0,q1esp.srs.s.xacc t3,a4把 xacc 求和右移 a4 位到标量 t3128-bit 向量寄存器q0..q7标量寄存器用 RISC-V 的a0..a7/x*。实测编码objdump -d pie_dotprod.S.o供核对指令是否被正确汇编esp.zero.xacc → 0x0000001b esp.vldext.s8.ip q0,q1,a0,16 → 0x8821009f esp.vld.128.ip q2,a1,16 → 0x0311889f esp.vld.128.ip q3,a1,16 → 0x03118c9f esp.vmulas.s16.xacc q0,q2 → 0x0aa3a01b esp.vmulas.s16.xacc q1,q3 → 0x2ea3a01b esp.srs.s.xacc t3,a4 → 0x9cf3261b现成的点积格式函数格式dl_esp32p4_dotprod_i16k8o16int8 × int16w8a16最匹配现有 int8 权重dl_esp32p4_dotprod_i16k16o16int16 × int16dl_esp32p4_dotprod_i8k8o16int8 × int83. 分块 GEMV 内核pie_gemv_row本项目写了pie_dotprod.S其中pie_gemv_row做「分块 GEMV」acc Σ_b d[b] · dot(q[b*32 .. b*3232], x[b*32 .. b*3232])每块 32 元素 2 轮 16 元素用乐鑫的.ld.ip流水线pie_gemv_row_blk: esp.zero.xacc esp.vldext.s8.ip q0, q1, a0, 16 /* 轮1: 16 int8 */ esp.vld.128.ip q2, a1, 16 esp.vld.128.ip q3, a1, 16 esp.vmulas.s16.xacc.ld.ip q4, a0, 16, q0, q2 /* 轮1: q0*q2; q4轮2 int8 */ esp.vmulas.s16.xacc.ld.ip q2, a1, 16, q1, q3 esp.vext.s8 q0, q1, q4 /* q4 - q0,q1 */ esp.vld.128.ip q3, a1, 16 esp.vmulas.s16.xacc.ld.ip q4, a0, 16, q0, q2 /* 轮2 */ esp.vmulas.s16.xacc.ld.ip q2, a1, 16, q1, q3 addi a0, a0, -16 /* 回退多加载 */ addi a1, a1, -16 esp.srs.s.xacc t3, a4 fcvt.s.w ft1, t3 flw ft2, 0(a2) fmadd.s ft0, ft1, ft2, ft0 /* fp32 累加 d[b]*dot_b */C 侧调用kmcu.cexternfloatpie_gemv_row(constint8_t*q,constint16_t*x,constfloat*d,intnblk,intshift);/* 量化激活 x → int16per-vector scale */floatS32767.0f/max_abs(x);for(j)xq[j](int16_t)(x[j]*S(x[j]0?0.5f:-0.5f));for(r)y[r]pie_gemv_row(qr*align,xq,dr*nblk,nblk,0)*(1/S);4. 两个致命 bug务必先读Bug APIE 指令的标量操作数不能用 t0-t2x5-x7症状汇编报illegal operands esp.srs.s.xacc t2,t1、esp.vld.128.ip q2,t2,16。原因PIE 指令的地址/标量操作数有寄存器编码约束t0-t2x5-x7非法。解决用a0-a7x10-x17或t3x28。esp.srs.s.xacc t3, a4✅t3x28 合法esp.srs.s.xacc t2, t1❌t2x7, t1x6 非法Bug B16 字节对齐最隐蔽症状随机数据对拍 diff0真实模型权重全错——single-token argmax 从 684 变成 865dot 值越大错得越多。定位过程完整数据链pie_dotprod_s8s16点积match1 ✅pie_gemv_row随机数据 diff0 ✅真实模型 GEMV 出错 ❌——前 3 个 GEMV 的blk0对拍[PIE-DBG] blk0 scalar_dot-467146 pie_dot-40541 d00.00287 ← 错 [PIE-DBG] blk0 scalar_dot-138428 pie_dot182837 d00.00531 ← 错符号都反了 [PIE-DBG] blk0 scalar_dot-6589 pie_dot-112498 d00.00189 ← 错修复后16 字节对齐[PIE-DBG] blk0 scalar_dot-467146 pie_dot-467146 d00.00287 ← 一致 [PIE-DBG] blk0 scalar_dot-138428 pie_dot-138428 d00.00531 ← 一致 [PIE-DBG] blk0 scalar_dot-6589 pie_dot-6589 d00.00189 ← 一致关键判据scalar_q标量用同一份量化 xq 反量化算与scalar标量用原始 fp32只差 ~3e-6说明量化正确而piePIE 用 xq与scalar_q差 0.6~0.8说明是 PIE 计算错了不是量化精度不足。这排除了「量化误差」、锁定了「实现 bug」。原因esp.vld.128/vldext.s8要求16 字节对齐地址。scratch 里的 int16 量化缓冲xq用heap_caps_malloc分配只保证4 字节对齐导致 vld 读到了错位的数据。随机数据static aligned(16)恰好对齐所以没暴露。解决用heap_caps_aligned_alloc(16, size, MALLOC_CAP_8BIT)分配 scratch。float*sc(float*)heap_caps_aligned_alloc(16,sc_f*sizeof(float),MALLOC_CAP_8BIT);教训「随机数据对拍通过」不等于「实现正确」。量化值满量程、dot 值大时对齐/溢出类 bug 才会暴露。对拍测试要覆盖满量程输入和真实权重两种场景。5. 单算子验证阶段 0在接入 forward 之前先用pie_bench做单算子对拍 测速[PIE] dotprod N4096 scalar19713 pie19713 match1 [PIE] 200 iters: scalar16396 us pie782 us speedup20.97x纯计算加速21×数据在内部 RAM无 PSRAM 带宽墙。接入 forward 后收敛到2.11×——正好落在预估的带宽墙区间2–4×。6. 复现建议先跑通pie_dotprod_s8s16点积并确认match1再跑pie_gemv_row对拍务必用满量程输入x ∈ ±32767验证对齐最后才接入gemv_q8和输出头并用single-token argmax作为快速正确性哨兵。对应源码文件关键符号 / 位置支撑本文哪部分main/pie_dotprod.Spie_dotprod_s8s16、pie_gemv_row、pie_gemv_row_blk第 3 节分块 GEMV 内核pie_gemv_row_blk标签main/main.cpie_bench、pie_gemv_row第 5 节单算子对拍与测速docs/milestones.mddl_esp32p4_dotprod_i16k8o16、esp.vldext.s8.ip第 1–2 节 PIE 调研与指令来源《Kestrel-MCU 手记》· 全系列 28 篇在 ESP32-P4 上从零训练并部署 32M~64M 参数 MoE 大模型5.7~6.4 tok/s源码、权重、训练脚本与全部文章开源可复现。仓库https://gitee.com/pei-xiaoguang/kestrel-llm-mcu · 觉得有用欢迎 Star
