简介这份PDF聚焦高能物理实验数据获取读出系统中嵌入式Linux的可行性验证面向从事DAQ系统开发、VME总线应用与嵌入式实时系统选型的工程师及科研人员帮助其评估以开源Linux替代VxWorks等商业实时操作系统的技术路径。资源为1个PDF文件压缩包约282KB内容源自《核电子学与探测技术》期刊论文包含系统开发平台、关键技术与测试结果等完整章节。文中以BESIII量能器电子学读出机箱为硬件平台介绍MVME 5500控制器、ROC读出控制插件与电荷测量插件的组合方式并围绕LinuxLink实时系统、Vme_universe驱动展开论述。关键技术部分具体讲解寄存器读写、CBLT连续块传输、中断处理、多线程编程及cache一致性处理还涉及内核与驱动修改的排错思路可帮助读者理解VME总线数据采集的实现细节与性能验证方法。目前已有120人学习适合作为嵌入式Linux系统开发与科研项目选型的参考文献。1. VME 总线上的嵌入式 Linux一块 6U 板卡为什么还要跑 Linux机柜里插着二十年前的 VME 功能板隔壁槽位是去年新做的 CPU 卡这种组合在电力保护、轨道交通联锁、工业测控设备里非常常见。整机换代要重新做认证、重写上位机、重跑几年现场数据成本压不下来于是新 CPU 卡保留 VME 接口、板内跑嵌入式 Linux把老设备的数据捞出来转成以太网成了最划算的路径。真正的门槛不在 Linux 本身内核 drivers/vme 已经把桥片、窗口、中断、DMA 抽象好了难的是搞清 A16/A24/A32 地址空间怎么分、AM 码怎么选、IRQ1 到 IRQ7 的菊花链断在哪一环、访问空洞地址时那条 BERR 从哪里冒出来。这篇文章把 VME 背板的电气约定和嵌入式 Linux 侧的驱动框架对齐着讲从内核配置项、设备树节点、用户态 ioctl 一路走到连续运行时的异常定位给的是能直接抄的窗口参数和排查顺序。2. VME 背板最小认知地址空间、AM 码与中断链路怎么配2.1 6U/3U 背板与 P1/P2 连接器先确认卡插在哪一槽VME 机械结构沿用 Eurocard 标准3U 是 100×160mm6U 是 233×160mm插箱里通常是 21 槽或 8 槽。连接器用 DIN 41612P1 的 a/b/c 三排 96 根针承载数据传输总线DTB、仲裁线和中断线P2 上排 b 列的 32 根针在 VME64 之前是用户自定义 I/O很多老功能板把模拟量、开关量、同步信号走这里。这意味着新 CPU 卡插进去之前必须核对 P2 定义定义冲突时轻则读数乱跳重则两块板互相驱动同一根线。电气上 DTB 是 TTL 单端总线两端槽位必须装终端有源终端或排阻中间槽位不能装。现场最典型的故障是终端缺失或一端终端坏掉边沿反射导致低频单次访问一切正常、BLT 大块传输偶发 BERR查起来非常费劲。提示调试期用示波器同时挂 DS0、DS1 和 DTACK看数据线建立沿附近的下冲是否超过 0.8V这一步比改驱动快得多。2.2 A16/A24/A32 与 AM 码窗口配错就直接读回全 0xFFVME 的地址线是复用的A16 空间只有 64KBA24 是 16MBA32 是 4GB。主设备在地址周期驱动 AM0 到 AM5 六根线从设备靠这六位的组合判断该不该响应、用什么宽度响应、自己是特权还是非特权从设备。常见组合如下实际项目务必拿 VITA 1.1 手册和从设备手册核对不同厂家对非标准组合的定义不一样。地址空间数据宽度权限常见 AM 码A16D16监督态0x29A16D16非特权0x2DA24D8监督态0x3BA24D16监督态0x3DA32D32非特权0x0BA32D32监督态0x0FA32D64块传输0x08映射到 Linux 框架上struct vme_master 里的 aspaceVME_A16/A24/A32/CRCSR、cycleVME_SCT/VME_NPRT/VME_BLT/VME_MBLT、dwidthVME_D8/16/32/64三个字段就是在选这张表里的组合。窗口的起始地址和大小都有对齐要求最好在应用层先算一遍/* 计算一个能落进 A24 空间的主窗口起始地址与大小都按 2 的幂对齐 */ #include stdio.h #include stdint.h #define A24_BASE 0x000000ULL #define A24_SIZE 0x1000000ULL /* A24 总容量 16MB */ static int calc_window(uint64_t want_addr, uint64_t want_size, uint64_t *out_addr, uint64_t *out_size) { uint64_t size 1, addr; while (size want_size) size 1; /* 大小必须是 2 的幂 */ addr want_addr ~(size - 1); /* 起始必须按大小对齐 */ if (addr size A24_BASE A24_SIZE) /* 越出 A24 就别指望从设备响应 */ return -1; *out_addr addr; *out_size size; return 0; }桥片窗口寄存器的粒度一般是 4KB 到 1MB对齐要求不满足时 ioctl 可能返回 -EINVAL也可能直接把参数向下取整后者更坑——窗口基址被悄悄挪走你按偏移算出来的地址整体错位读回来的值看着像数据但不对。所以每次设置完窗口都要回读一次确认。2.3 仲裁 BR0-BR3 与中断 IRQ1-IRQ7 的菊花链断在哪VME 有 4 条总线请求线 BR0 到 BR3仲裁器通常装在 1 号槽也可以由 CPU 卡兼任。授权线 BG0 到 BG3 从仲裁器沿槽位菊花链往下传每块板收到 BGin如果自己没在请求就把 BGout 拉低交给下一槽。任何一块板拔掉、槽位空着、背板断链后面的板就永远拿不到总线主设备等不到授权会回 BERR。中断也是同样的拓扑IRQ1 到 IRQ7 七根线是开漏低有效多个从设备可以共享一根IACK 菊花链单独走一条线CPU 卡作为中断处理器收到中断后要发 IACK 周期把发起者的向量号取回来。桥片一般把 IACK 过程做成几个寄存器Linux 侧只看到本地中断号VME IRQ n 对应哪个本地中断是桥片初始化时或设备树里定死的。注意把一块从设备插到链尾之后如果中断全丢先量 IACKIN 有没有传到 IACKOUT再去看内核里中断号配得对不对不要先怀疑驱动。2.4 从设备不响应时的 BERR先量波形再改驱动从设备只译码自己那一段地址访问空洞或者访问一块根本没插的板总线上没有人驱动 DTACK桥片等够超时时间后回 BERR。用户态看到的现象是读一个不存在的 A24 地址返回全 0xFF内核态则可能直接 Oops——总线错误会转成 CPU 异常。桥片里有总线超时寄存器量级从十几微秒到几百毫秒可配配太短会在从设备慢周期时误报配太长会让一次错误访问把 CPU 卡卡住几十毫秒后面的实时任务全部超时。工程上的折中是先按从设备手册给的最慢周期乘 3 倍设一个值压测稳定后再往下收。3. 嵌入式 Linux 侧怎么接桥片驱动、设备树与内核配置3.1 drivers/vme 的三层结构core、bridge、user主线内核把 VME 支持拆成三层理解这三层各自负责什么选型时就不会走错路。层次典型模块与配置项职责VME coredrivers/vme/vme.cCONFIG_VME_BUS注册 VME 总线类型管理主窗口、从窗口、中断、DMA 资源维护 location monitor桥片驱动CONFIG_VME_TSI148、CONFIG_VME_CA91CX42、CONFIG_VME_PIO2把窗口使能位、AM 码、超时、IACK、DMA 引擎这些寄存器真正写下去用户态接口CONFIG_VME_USER字符设备加 ioctl 加 mmap把窗口、DMA、中断暴露到 /dev 下选型判断很简单只是周期性读几块功能板的寄存器、做命令下发用 vme_user 从用户态直接干开发速度最快要做多通道高吞吐 DMA或者对中断延迟有硬约束就得自己写一个挂在 VME 总线上的 platform 驱动把窗口和 DMA 描述符管起来。3.2 桥片挂 PCI 还是走设备树两种接入路径Tsi148 这类桥片在 CPU 模块上通常是 PCI 设备内核走 PCI 枚举自动 probe只要 PCIe 控制器使能就行几乎不用动设备树。如果桥片逻辑在 SoC 内部或者干脆是 FPGA 实现的就得自己加节点。/* 走设备树时的最小节点字段按手头 BSP 的 binding 改 */ vme_bridge: vmef8000000 { compatible tundra,tsi148; /* 以 BSP 文档里的 compatible 为准 */ reg 0x0 0xf8000000 0x0 0x1000; /* 桥片寄存器窗口 */ interrupts 0 32 4, /* VME IRQ1 汇聚到本地中断 32 */ 0 33 4, /* VME IRQ2 */ 0 34 4; /* VME IRQ3 */ interrupt-parent gic; bus-width 32; };interrupts 的个数和顺序决定了 VME IRQ n 落到哪个本地中断号。顺序写错最典型的症状是从设备确实拉低了 IRQ 线、桥片寄存器也置位了但 Linux 侧一点反应没有。设备树里的 reg 是桥片寄存器窗口不是 VME 主窗口别把两者搞混。3.3 内核配置与编译四个必须打开的选项# 路径Device Drivers - VME bridge support # .config 里至少要出现的几项 CONFIG_VME_BUSy # core没有它下面全是空谈 CONFIG_VME_TSI148y # Tundra/IDT Tsi148 桥片 CONFIG_VME_CA91CX42y # Universe II / CA91C142 系列 CONFIG_VME_USERy # 用户态接口调试期非常值 CONFIG_VME_PIO2y # 可选PIO2 板载寄存器窗口 # 编译后确认配置真的生效 grep -i vme .config make -j$(nproc) Image modules桥片驱动建议先编成模块m改参数重加载不用重刷内核等参数定下来再改成 y。CONFIG_VME_USER 也只建议在调试和运维工具里用量产版本如果对权限敏感可以关掉改成自己写的内核态驱动对外提供接口。3.4 三处对照确认桥片真的起来了# 1) PCI 层能不能看到桥片 lspci -nn | grep -i -E tundra|universe|vmebus # 2) dmesg 里的窗口与中断资源分配 dmesg -T | grep -i -E vme|tsi148|ca91cx42 # 3) 用户态节点与 sysfs ls -l /dev/vme_user* 2/dev/null ls /sys/bus/vme/devices/ 2/dev/null这三条命令给出的信息能覆盖大部分驱动没起来的问题。lspci 看得到、dmesg 里没有 vme 字样通常是桥片驱动没编进内核或者 PCI id 不在驱动匹配表里dmesg 报内存区域申请失败是 PCI BAR 和固件预留的物理地址窗冲突要去固件里调 PCI 窗口分配/dev 下没有节点多数是 CONFIG_VME_USER 没开或者设备管理服务没起来临时手工建节点也能顶一阵。4. 用户态跑通第一笔 A24/D16 访问ioctl、mmap 与中断4.1 vme_user 的 ioctl 流程与 struct vme_master先设窗口再访问是整个流程的核心。打开的文件描述符对应一个窗口通道具体哪个通道由设备节点决定不同内核版本的细节略有差异设完参数回读一次最保险。#include stdio.h #include fcntl.h #include unistd.h #include string.h #include sys/ioctl.h #include linux/vme.h int main(void) { int fd open(/dev/vme_user, O_RDWR); /* 设备名以实际 dmesg 输出为准 */ if (fd 0) { perror(open); return -1; } struct vme_master m; memset(m, 0, sizeof(m)); m.enable 1; m.vme_addr 0x000000; /* VME 侧起始地址落在 A24 空间 */ m.size 0x100000; /* 1MB按 2 的幂对齐 */ m.aspace VME_A24; /* 选地址空间 */ m.cycle VME_SCT; /* 监督态访问 */ m.dwidth VME_D16; /* 16 位数据宽度 */ if (ioctl(fd, VME_SET_MASTER, m) 0) { perror(SET_MASTER); return -1; } /* 回读桥片可能把地址向下取整必须核对实际生效值 */ if (ioctl(fd, VME_GET_MASTER, m) 0) { perror(GET_MASTER); return -1; } printf(actual: addr0x%llx size0x%llx aspace%u dwidth%u\n, m.vme_addr, m.size, m.aspace, m.dwidth); return 0; }字段含义vme_addr 是 VME 侧的地址不是 CPU 物理地址size 决定窗口覆盖范围也决定对齐边界aspace、cycle、dwidth 三者组合成 AM 码必须和从设备手册写的一致enable 是窗口使能位改成 0 之后这块地址就不响应了可以用来做故障隔离验证。4.2 mmap 之后怎么读写别让编译器替你拆访问#include sys/mman.h #include stdint.h volatile uint16_t *regs mmap(NULL, 0x100000, PROT_READ | PROT_WRITE, MAP_SHARED, fd, 0); if (regs MAP_FAILED) { perror(mmap); return -1; } uint16_t id regs[0x20 / 2]; /* 读从设备 0x20 处的板卡 ID */ regs[0x24 / 2] 0x0001; /* 写控制位启动采集 */ __sync_synchronize(); /* 跨总线访问的写屏障 */ uint16_t st regs[0x24 / 2]; /* 回读确认写进去了 */在 D16 窗口上用 32 位指针访问会被桥片拆成两个 16 位周期从设备若对同一寄存器做了自增或者读清标志副作用就来了。volatile 只能挡住编译器优化挡不住 CPU 乱序跨总线的写后读最好显式加屏障或者用回读同地址的方式做确认。做大块数据搬运时别用 memcpy编译器可能自动向量化成 128 位访问在 D16 窗口上会变成一串非对齐周期末尾常常丢几十个字节。4.3 中断request_irq 之前先确认 IACK 谁在做static irqreturn_t slot_irq_handler(int irq, void *dev_id) { struct slot_dev *sd dev_id; /* 从设备是读清还是写 1 清按手册来先清源再取数据 */ sd-pending ioread16be(sd-regs IRQ_STATUS); iowrite16be(sd-pending, sd-regs IRQ_STATUS); return IRQ_WAKE_THREAD; /* 真正的搬运扔给线程化下半部 */ } ret devm_request_threaded_irq(pdev-dev, irq, slot_irq_handler, slot_irq_thread, IRQF_SHARED, vme-slot3, sd);能共享的前提是 VME 中断是电平型并且有可读的状态位。如果从设备是边沿型或者没有状态寄存器就不能用 IRQF_SHARED。另一个高频问题是中断源没清干净VME 的中断线是电平驱动从设备不退中断IACK 周期会一直重复表现成中断风暴把 CPU 占满。硬中断里不要做长总线拷贝几十字节以上的搬运都放线程化下半部。4.4 字节序与缓存两个能查一整天的问题现象根因处理方式读回的值高低字节互换老功能板是大端ARM 或 x86 是小端边界处用 be16_to_cpu / ioread16be 一次性转换同一寄存器偶尔读到旧值主窗口被映射成带缓存属性确认映射为不可缓存自写驱动时检查桥片属性和一致性配置大块搬运末尾丢数据编译器向量化了循环生成了宽访问手写 volatile 循环或 readl/writel 系列多线程读写同一窗口偶发 BERR两个线程的总线周期交错应用层加锁或每线程独立窗口字节序问题有个快速定位法读一个从设备上已知的固定常量寄存器比如板卡 ID 或者版本号。如果读出来是 0x3412 而手册写 0x1234那就是字节序不用再往下猜。4.5 BLT/MBLT 与 DMA吞吐从哪里来单周期传输每次都要付一个地址周期的开销块传输BLT用一次地址周期搬多个数据周期数据宽度可以选择 MBLT 的 64 位版本桥片还提供 DMA 引擎让数据不经过 CPU。传输方式单次地址周期数据量对从设备的要求适用场景单周期 D162 字节无寄存器读写、控制字下发BLT D16/D32最多 256 字节支持块传输能处理尾部未对齐批量采样数据回读MBLT D64最多 256×8 字节背板 64 位从设备支持 D64波形、图像类大块数据桥片 DMA由描述符长度决定VME 侧地址连续高吞吐且不想占 CPU不要一上来就开 BLT。先用单周期把窗口读写和中断跑通再切到块传输压测。出问题时如果两种方式都跑过就能直接分清是地址窗口配错还是块传输协议不匹配一上手就上 BLT出了问题两个变量一起查时间全耗在试错上。5. 连续跑三十天实时性调优、总线异常定位与长跑验证5.1 PREEMPT_RT 与中断亲和性把总线访问抖动压下来采集周期在毫秒级的场合普通内核加上负载后抖动会到几十毫秒必须做几件事打实时补丁并打开对应配置项把无关的本地中断挤到 CPU0把采集线程绑到预留核上跑实时调度策略。# 把 VME 桥片的本地中断固定在 CPU0 echo 1 /proc/irq/32/smp_affinity # 内核启动参数里给采集线程留出 CPU1 # cmdline: isolcpus1 nohz_full1 rcu_nocbs1 # 采集进程绑核并设实时优先级 taskset -c 1 chrt -f 80 ./acq预留核之后要注意内核线程仍然会跑上来用 ps -eLo psr,comm | grep 1 看一眼把漏过来的线程逐个调走。中断线程化打开后VME 中断处理会变成一个内核线程它的优先级也要跟着调否则实时采集线程会把中断线程饿死表现出来就是数据突然断一拍而不是报错。5.2 总线异常怎么定位从 SYSFAIL 到 BERR 的对照表现象可能原因第一步动作上电就卡在自检SYSFAIL 被拉低某块板看门狗在闹逐槽拔插观察 SYSFAIL 指示灯ACFAIL 常亮背板电源异常或某板驱动了 ACFAIL量背板 5V 与纹波访问某段地址必回 0xFF从设备没插、地址译码错、AM 码不匹配示波器看该槽 DS0/DS1 有没有动作跑几小时后偶发 BERR终端不齐、块传输边缘反射、P2 交叉换到靠仲裁器一侧关掉 BLT 再压中断收不到IACK 链断、向量号配错、中断源没清量 IACKIN 是否传到链尾这张表的用法是自上而下排除不是按顺序全做一遍。每改一个变量就复现一次改两个变量等于没改。5.3 长跑验证脚本把心跳和内核时间戳绑在一条时间线上#!/bin/sh # 每秒记录一次从设备心跳寄存器 内核最近的总线异常 LOG/var/log/vme_watch.log while true; do TS$(date %F %T) HB$(devmem2 0xA0000020 w 2/dev/null | tail -1) # 从设备心跳寄存器 echo $TS heartbeat$HB $LOG dmesg -T | tail -5 $LOG sleep 1 donedevmem2 的读值作为从设备侧心跳配合 dmesg -T 的绝对时间戳能把应用停止和总线挂了分开心跳停住但 dmesg 干净问题在应用线程或者从设备固件心跳断点和 dmesg 里的 BERR 或仲裁超时落在同一秒就去查那一槽的终端、块传输配置和 P2 定义。真正的技巧是从设备固件里留一个只增不减的 16 位计数器让它在每次总线访问后自增这样连总线访问有没有到达从设备都能一次判掉比对着手册反复猜快得多。本文还有配套的精品资源点击获取
VME总线嵌入式Linux：A24窗口、中断链路与BERR异常定位
简介这份PDF聚焦高能物理实验数据获取读出系统中嵌入式Linux的可行性验证面向从事DAQ系统开发、VME总线应用与嵌入式实时系统选型的工程师及科研人员帮助其评估以开源Linux替代VxWorks等商业实时操作系统的技术路径。资源为1个PDF文件压缩包约282KB内容源自《核电子学与探测技术》期刊论文包含系统开发平台、关键技术与测试结果等完整章节。文中以BESIII量能器电子学读出机箱为硬件平台介绍MVME 5500控制器、ROC读出控制插件与电荷测量插件的组合方式并围绕LinuxLink实时系统、Vme_universe驱动展开论述。关键技术部分具体讲解寄存器读写、CBLT连续块传输、中断处理、多线程编程及cache一致性处理还涉及内核与驱动修改的排错思路可帮助读者理解VME总线数据采集的实现细节与性能验证方法。目前已有120人学习适合作为嵌入式Linux系统开发与科研项目选型的参考文献。1. VME 总线上的嵌入式 Linux一块 6U 板卡为什么还要跑 Linux机柜里插着二十年前的 VME 功能板隔壁槽位是去年新做的 CPU 卡这种组合在电力保护、轨道交通联锁、工业测控设备里非常常见。整机换代要重新做认证、重写上位机、重跑几年现场数据成本压不下来于是新 CPU 卡保留 VME 接口、板内跑嵌入式 Linux把老设备的数据捞出来转成以太网成了最划算的路径。真正的门槛不在 Linux 本身内核 drivers/vme 已经把桥片、窗口、中断、DMA 抽象好了难的是搞清 A16/A24/A32 地址空间怎么分、AM 码怎么选、IRQ1 到 IRQ7 的菊花链断在哪一环、访问空洞地址时那条 BERR 从哪里冒出来。这篇文章把 VME 背板的电气约定和嵌入式 Linux 侧的驱动框架对齐着讲从内核配置项、设备树节点、用户态 ioctl 一路走到连续运行时的异常定位给的是能直接抄的窗口参数和排查顺序。2. VME 背板最小认知地址空间、AM 码与中断链路怎么配2.1 6U/3U 背板与 P1/P2 连接器先确认卡插在哪一槽VME 机械结构沿用 Eurocard 标准3U 是 100×160mm6U 是 233×160mm插箱里通常是 21 槽或 8 槽。连接器用 DIN 41612P1 的 a/b/c 三排 96 根针承载数据传输总线DTB、仲裁线和中断线P2 上排 b 列的 32 根针在 VME64 之前是用户自定义 I/O很多老功能板把模拟量、开关量、同步信号走这里。这意味着新 CPU 卡插进去之前必须核对 P2 定义定义冲突时轻则读数乱跳重则两块板互相驱动同一根线。电气上 DTB 是 TTL 单端总线两端槽位必须装终端有源终端或排阻中间槽位不能装。现场最典型的故障是终端缺失或一端终端坏掉边沿反射导致低频单次访问一切正常、BLT 大块传输偶发 BERR查起来非常费劲。提示调试期用示波器同时挂 DS0、DS1 和 DTACK看数据线建立沿附近的下冲是否超过 0.8V这一步比改驱动快得多。2.2 A16/A24/A32 与 AM 码窗口配错就直接读回全 0xFFVME 的地址线是复用的A16 空间只有 64KBA24 是 16MBA32 是 4GB。主设备在地址周期驱动 AM0 到 AM5 六根线从设备靠这六位的组合判断该不该响应、用什么宽度响应、自己是特权还是非特权从设备。常见组合如下实际项目务必拿 VITA 1.1 手册和从设备手册核对不同厂家对非标准组合的定义不一样。地址空间数据宽度权限常见 AM 码A16D16监督态0x29A16D16非特权0x2DA24D8监督态0x3BA24D16监督态0x3DA32D32非特权0x0BA32D32监督态0x0FA32D64块传输0x08映射到 Linux 框架上struct vme_master 里的 aspaceVME_A16/A24/A32/CRCSR、cycleVME_SCT/VME_NPRT/VME_BLT/VME_MBLT、dwidthVME_D8/16/32/64三个字段就是在选这张表里的组合。窗口的起始地址和大小都有对齐要求最好在应用层先算一遍/* 计算一个能落进 A24 空间的主窗口起始地址与大小都按 2 的幂对齐 */ #include stdio.h #include stdint.h #define A24_BASE 0x000000ULL #define A24_SIZE 0x1000000ULL /* A24 总容量 16MB */ static int calc_window(uint64_t want_addr, uint64_t want_size, uint64_t *out_addr, uint64_t *out_size) { uint64_t size 1, addr; while (size want_size) size 1; /* 大小必须是 2 的幂 */ addr want_addr ~(size - 1); /* 起始必须按大小对齐 */ if (addr size A24_BASE A24_SIZE) /* 越出 A24 就别指望从设备响应 */ return -1; *out_addr addr; *out_size size; return 0; }桥片窗口寄存器的粒度一般是 4KB 到 1MB对齐要求不满足时 ioctl 可能返回 -EINVAL也可能直接把参数向下取整后者更坑——窗口基址被悄悄挪走你按偏移算出来的地址整体错位读回来的值看着像数据但不对。所以每次设置完窗口都要回读一次确认。2.3 仲裁 BR0-BR3 与中断 IRQ1-IRQ7 的菊花链断在哪VME 有 4 条总线请求线 BR0 到 BR3仲裁器通常装在 1 号槽也可以由 CPU 卡兼任。授权线 BG0 到 BG3 从仲裁器沿槽位菊花链往下传每块板收到 BGin如果自己没在请求就把 BGout 拉低交给下一槽。任何一块板拔掉、槽位空着、背板断链后面的板就永远拿不到总线主设备等不到授权会回 BERR。中断也是同样的拓扑IRQ1 到 IRQ7 七根线是开漏低有效多个从设备可以共享一根IACK 菊花链单独走一条线CPU 卡作为中断处理器收到中断后要发 IACK 周期把发起者的向量号取回来。桥片一般把 IACK 过程做成几个寄存器Linux 侧只看到本地中断号VME IRQ n 对应哪个本地中断是桥片初始化时或设备树里定死的。注意把一块从设备插到链尾之后如果中断全丢先量 IACKIN 有没有传到 IACKOUT再去看内核里中断号配得对不对不要先怀疑驱动。2.4 从设备不响应时的 BERR先量波形再改驱动从设备只译码自己那一段地址访问空洞或者访问一块根本没插的板总线上没有人驱动 DTACK桥片等够超时时间后回 BERR。用户态看到的现象是读一个不存在的 A24 地址返回全 0xFF内核态则可能直接 Oops——总线错误会转成 CPU 异常。桥片里有总线超时寄存器量级从十几微秒到几百毫秒可配配太短会在从设备慢周期时误报配太长会让一次错误访问把 CPU 卡卡住几十毫秒后面的实时任务全部超时。工程上的折中是先按从设备手册给的最慢周期乘 3 倍设一个值压测稳定后再往下收。3. 嵌入式 Linux 侧怎么接桥片驱动、设备树与内核配置3.1 drivers/vme 的三层结构core、bridge、user主线内核把 VME 支持拆成三层理解这三层各自负责什么选型时就不会走错路。层次典型模块与配置项职责VME coredrivers/vme/vme.cCONFIG_VME_BUS注册 VME 总线类型管理主窗口、从窗口、中断、DMA 资源维护 location monitor桥片驱动CONFIG_VME_TSI148、CONFIG_VME_CA91CX42、CONFIG_VME_PIO2把窗口使能位、AM 码、超时、IACK、DMA 引擎这些寄存器真正写下去用户态接口CONFIG_VME_USER字符设备加 ioctl 加 mmap把窗口、DMA、中断暴露到 /dev 下选型判断很简单只是周期性读几块功能板的寄存器、做命令下发用 vme_user 从用户态直接干开发速度最快要做多通道高吞吐 DMA或者对中断延迟有硬约束就得自己写一个挂在 VME 总线上的 platform 驱动把窗口和 DMA 描述符管起来。3.2 桥片挂 PCI 还是走设备树两种接入路径Tsi148 这类桥片在 CPU 模块上通常是 PCI 设备内核走 PCI 枚举自动 probe只要 PCIe 控制器使能就行几乎不用动设备树。如果桥片逻辑在 SoC 内部或者干脆是 FPGA 实现的就得自己加节点。/* 走设备树时的最小节点字段按手头 BSP 的 binding 改 */ vme_bridge: vmef8000000 { compatible tundra,tsi148; /* 以 BSP 文档里的 compatible 为准 */ reg 0x0 0xf8000000 0x0 0x1000; /* 桥片寄存器窗口 */ interrupts 0 32 4, /* VME IRQ1 汇聚到本地中断 32 */ 0 33 4, /* VME IRQ2 */ 0 34 4; /* VME IRQ3 */ interrupt-parent gic; bus-width 32; };interrupts 的个数和顺序决定了 VME IRQ n 落到哪个本地中断号。顺序写错最典型的症状是从设备确实拉低了 IRQ 线、桥片寄存器也置位了但 Linux 侧一点反应没有。设备树里的 reg 是桥片寄存器窗口不是 VME 主窗口别把两者搞混。3.3 内核配置与编译四个必须打开的选项# 路径Device Drivers - VME bridge support # .config 里至少要出现的几项 CONFIG_VME_BUSy # core没有它下面全是空谈 CONFIG_VME_TSI148y # Tundra/IDT Tsi148 桥片 CONFIG_VME_CA91CX42y # Universe II / CA91C142 系列 CONFIG_VME_USERy # 用户态接口调试期非常值 CONFIG_VME_PIO2y # 可选PIO2 板载寄存器窗口 # 编译后确认配置真的生效 grep -i vme .config make -j$(nproc) Image modules桥片驱动建议先编成模块m改参数重加载不用重刷内核等参数定下来再改成 y。CONFIG_VME_USER 也只建议在调试和运维工具里用量产版本如果对权限敏感可以关掉改成自己写的内核态驱动对外提供接口。3.4 三处对照确认桥片真的起来了# 1) PCI 层能不能看到桥片 lspci -nn | grep -i -E tundra|universe|vmebus # 2) dmesg 里的窗口与中断资源分配 dmesg -T | grep -i -E vme|tsi148|ca91cx42 # 3) 用户态节点与 sysfs ls -l /dev/vme_user* 2/dev/null ls /sys/bus/vme/devices/ 2/dev/null这三条命令给出的信息能覆盖大部分驱动没起来的问题。lspci 看得到、dmesg 里没有 vme 字样通常是桥片驱动没编进内核或者 PCI id 不在驱动匹配表里dmesg 报内存区域申请失败是 PCI BAR 和固件预留的物理地址窗冲突要去固件里调 PCI 窗口分配/dev 下没有节点多数是 CONFIG_VME_USER 没开或者设备管理服务没起来临时手工建节点也能顶一阵。4. 用户态跑通第一笔 A24/D16 访问ioctl、mmap 与中断4.1 vme_user 的 ioctl 流程与 struct vme_master先设窗口再访问是整个流程的核心。打开的文件描述符对应一个窗口通道具体哪个通道由设备节点决定不同内核版本的细节略有差异设完参数回读一次最保险。#include stdio.h #include fcntl.h #include unistd.h #include string.h #include sys/ioctl.h #include linux/vme.h int main(void) { int fd open(/dev/vme_user, O_RDWR); /* 设备名以实际 dmesg 输出为准 */ if (fd 0) { perror(open); return -1; } struct vme_master m; memset(m, 0, sizeof(m)); m.enable 1; m.vme_addr 0x000000; /* VME 侧起始地址落在 A24 空间 */ m.size 0x100000; /* 1MB按 2 的幂对齐 */ m.aspace VME_A24; /* 选地址空间 */ m.cycle VME_SCT; /* 监督态访问 */ m.dwidth VME_D16; /* 16 位数据宽度 */ if (ioctl(fd, VME_SET_MASTER, m) 0) { perror(SET_MASTER); return -1; } /* 回读桥片可能把地址向下取整必须核对实际生效值 */ if (ioctl(fd, VME_GET_MASTER, m) 0) { perror(GET_MASTER); return -1; } printf(actual: addr0x%llx size0x%llx aspace%u dwidth%u\n, m.vme_addr, m.size, m.aspace, m.dwidth); return 0; }字段含义vme_addr 是 VME 侧的地址不是 CPU 物理地址size 决定窗口覆盖范围也决定对齐边界aspace、cycle、dwidth 三者组合成 AM 码必须和从设备手册写的一致enable 是窗口使能位改成 0 之后这块地址就不响应了可以用来做故障隔离验证。4.2 mmap 之后怎么读写别让编译器替你拆访问#include sys/mman.h #include stdint.h volatile uint16_t *regs mmap(NULL, 0x100000, PROT_READ | PROT_WRITE, MAP_SHARED, fd, 0); if (regs MAP_FAILED) { perror(mmap); return -1; } uint16_t id regs[0x20 / 2]; /* 读从设备 0x20 处的板卡 ID */ regs[0x24 / 2] 0x0001; /* 写控制位启动采集 */ __sync_synchronize(); /* 跨总线访问的写屏障 */ uint16_t st regs[0x24 / 2]; /* 回读确认写进去了 */在 D16 窗口上用 32 位指针访问会被桥片拆成两个 16 位周期从设备若对同一寄存器做了自增或者读清标志副作用就来了。volatile 只能挡住编译器优化挡不住 CPU 乱序跨总线的写后读最好显式加屏障或者用回读同地址的方式做确认。做大块数据搬运时别用 memcpy编译器可能自动向量化成 128 位访问在 D16 窗口上会变成一串非对齐周期末尾常常丢几十个字节。4.3 中断request_irq 之前先确认 IACK 谁在做static irqreturn_t slot_irq_handler(int irq, void *dev_id) { struct slot_dev *sd dev_id; /* 从设备是读清还是写 1 清按手册来先清源再取数据 */ sd-pending ioread16be(sd-regs IRQ_STATUS); iowrite16be(sd-pending, sd-regs IRQ_STATUS); return IRQ_WAKE_THREAD; /* 真正的搬运扔给线程化下半部 */ } ret devm_request_threaded_irq(pdev-dev, irq, slot_irq_handler, slot_irq_thread, IRQF_SHARED, vme-slot3, sd);能共享的前提是 VME 中断是电平型并且有可读的状态位。如果从设备是边沿型或者没有状态寄存器就不能用 IRQF_SHARED。另一个高频问题是中断源没清干净VME 的中断线是电平驱动从设备不退中断IACK 周期会一直重复表现成中断风暴把 CPU 占满。硬中断里不要做长总线拷贝几十字节以上的搬运都放线程化下半部。4.4 字节序与缓存两个能查一整天的问题现象根因处理方式读回的值高低字节互换老功能板是大端ARM 或 x86 是小端边界处用 be16_to_cpu / ioread16be 一次性转换同一寄存器偶尔读到旧值主窗口被映射成带缓存属性确认映射为不可缓存自写驱动时检查桥片属性和一致性配置大块搬运末尾丢数据编译器向量化了循环生成了宽访问手写 volatile 循环或 readl/writel 系列多线程读写同一窗口偶发 BERR两个线程的总线周期交错应用层加锁或每线程独立窗口字节序问题有个快速定位法读一个从设备上已知的固定常量寄存器比如板卡 ID 或者版本号。如果读出来是 0x3412 而手册写 0x1234那就是字节序不用再往下猜。4.5 BLT/MBLT 与 DMA吞吐从哪里来单周期传输每次都要付一个地址周期的开销块传输BLT用一次地址周期搬多个数据周期数据宽度可以选择 MBLT 的 64 位版本桥片还提供 DMA 引擎让数据不经过 CPU。传输方式单次地址周期数据量对从设备的要求适用场景单周期 D162 字节无寄存器读写、控制字下发BLT D16/D32最多 256 字节支持块传输能处理尾部未对齐批量采样数据回读MBLT D64最多 256×8 字节背板 64 位从设备支持 D64波形、图像类大块数据桥片 DMA由描述符长度决定VME 侧地址连续高吞吐且不想占 CPU不要一上来就开 BLT。先用单周期把窗口读写和中断跑通再切到块传输压测。出问题时如果两种方式都跑过就能直接分清是地址窗口配错还是块传输协议不匹配一上手就上 BLT出了问题两个变量一起查时间全耗在试错上。5. 连续跑三十天实时性调优、总线异常定位与长跑验证5.1 PREEMPT_RT 与中断亲和性把总线访问抖动压下来采集周期在毫秒级的场合普通内核加上负载后抖动会到几十毫秒必须做几件事打实时补丁并打开对应配置项把无关的本地中断挤到 CPU0把采集线程绑到预留核上跑实时调度策略。# 把 VME 桥片的本地中断固定在 CPU0 echo 1 /proc/irq/32/smp_affinity # 内核启动参数里给采集线程留出 CPU1 # cmdline: isolcpus1 nohz_full1 rcu_nocbs1 # 采集进程绑核并设实时优先级 taskset -c 1 chrt -f 80 ./acq预留核之后要注意内核线程仍然会跑上来用 ps -eLo psr,comm | grep 1 看一眼把漏过来的线程逐个调走。中断线程化打开后VME 中断处理会变成一个内核线程它的优先级也要跟着调否则实时采集线程会把中断线程饿死表现出来就是数据突然断一拍而不是报错。5.2 总线异常怎么定位从 SYSFAIL 到 BERR 的对照表现象可能原因第一步动作上电就卡在自检SYSFAIL 被拉低某块板看门狗在闹逐槽拔插观察 SYSFAIL 指示灯ACFAIL 常亮背板电源异常或某板驱动了 ACFAIL量背板 5V 与纹波访问某段地址必回 0xFF从设备没插、地址译码错、AM 码不匹配示波器看该槽 DS0/DS1 有没有动作跑几小时后偶发 BERR终端不齐、块传输边缘反射、P2 交叉换到靠仲裁器一侧关掉 BLT 再压中断收不到IACK 链断、向量号配错、中断源没清量 IACKIN 是否传到链尾这张表的用法是自上而下排除不是按顺序全做一遍。每改一个变量就复现一次改两个变量等于没改。5.3 长跑验证脚本把心跳和内核时间戳绑在一条时间线上#!/bin/sh # 每秒记录一次从设备心跳寄存器 内核最近的总线异常 LOG/var/log/vme_watch.log while true; do TS$(date %F %T) HB$(devmem2 0xA0000020 w 2/dev/null | tail -1) # 从设备心跳寄存器 echo $TS heartbeat$HB $LOG dmesg -T | tail -5 $LOG sleep 1 donedevmem2 的读值作为从设备侧心跳配合 dmesg -T 的绝对时间戳能把应用停止和总线挂了分开心跳停住但 dmesg 干净问题在应用线程或者从设备固件心跳断点和 dmesg 里的 BERR 或仲裁超时落在同一秒就去查那一槽的终端、块传输配置和 P2 定义。真正的技巧是从设备固件里留一个只增不减的 16 位计数器让它在每次总线访问后自增这样连总线访问有没有到达从设备都能一次判掉比对着手册反复猜快得多。本文还有配套的精品资源点击获取
