人工智能大模型推理引擎本地部署模型推理服务【免费下载链接】ds4DeepSeek 4 Flash and PRO local inference engine for Metal, CUDA and ROCm项目地址https://gitcode.com/GitHub_Trending/ds4/ds4点击查看免费下载导读AGENT.md是 DwarfStards4仓库面向 AI 编码代理与后续维护者的工程规范文档它定义了ds4.c作为 DeepSeek V4 Flash 专用推理引擎的定位、核心工程目标、代码质量规则、运行安全约束、源码布局以及每次大改动前必须执行的验证清单。本文以该文档为骨架结合仓库真实源码与构建系统逐条解析这些守则背后的实现证据帮助读者理解小而精的专用引擎是如何在 mmap 加载、SSD 流式、Metal 整图推理、会话 KV 复用等关键路径上落地以及如何用make test等流程守住正确性与性能的底线。项目定位专用引擎而非通用 GGUF 运行器AGENT.md开篇即给出项目的根本定位ds4.c是一个 DeepSeek V4 Flash 专用推理引擎不是通用的 GGUF 运行器。这与仓库根目录 README.md 中的表述完全一致——README 进一步明确了支持范围优先针对 DeepSeek V4 Flash含实验性视觉模型、DeepSeek V4.1 FlashMetal 与 CUDA 文本推理、GLM 5.2/5.3、GLM 5.3 Flash 与 DeepSeek V4 PRO并要求使用项目自身产出的 GGUF 文件。这种刻意收窄的定位带来三个直接后果代码量可控推理核心ds4.c同时承载模型加载、分词器、CPU 参考实现、Metal 图调度、会话管理与磁盘缓存序列化ds4_cli.c2443 行负责命令行与 REPLds4_server.c约 2 万行实现 OpenAI/Anthropic 兼容 HTTP API。整体仍是可通读的 C 代码库而非动辄几十万行的通用推理框架。Objective-C 只在 Metal 需要的地方出现Metal 运行时与 kernel 封装集中在ds4_metal.mMetal 计算 kernel 全部放在metal/目录下的.metal文件中含dense.metal、moe.metal、flash_attn.metal、dsv4_kv.metal、softmax.metal等 24 个 kernel 文件。禁止引入 C这是AGENT.md的硬性质量规则之一。从 Makefile 可见主机侧编译一律使用cc加-stdc99Objective-C 侧为-fobjc-arcC 仅以 nvcc/hipcc 编译 CUDA/ROCm kernel 的形式存在如cuda/mmq/下从 llama.cpp 移植的 mmq prefill 层级不进入推理引擎的主体。六大工程目标与源码证据AGENT.md列出了六条 Goals每一条都能在仓库中找到对应的实现佐证。1. 生产路径保持整模型 Metal 图推理Keep the production path as whole-model Metal graph inference——生产主路径必须是完整模型加载进 GPU 的 Metal 图推理。这与 README 的硬件支持矩阵一致Metal 是首要目标面向 96 GB 及以上的 Mac显存不足的机器才退回 SSD 流式模式。从源码结构看Makefile 在 macOS 分支下将ds4_metal.o纳入CORE_OBJSds4_metal.m依赖全部metal/*.metal源文件metal/目录下从flash_attn.metal、moe.metal到dsv4_kv.metal的 kernel 集合正是整图调度所需的计算单元。2. 多后端隔离修复互不牵连Always make sure that the SSD streaming, CUDA, distributed inference, Metal default inference are not affected by fixes to other parts of the code.这一目标直接映射为 Makefile 中的多后端构建矩阵CUDA 分支提供cuda-sparkDGX Spark/GB10CUDA_ARCHsm_121、cuda-generic、cuda CUDA_ARCHsm_N三个目标ROCm 分支提供strix-halogfx1151与rocm别名macOS 分支提供默认 Metal 构建与make cpuCPU-only 构建-DDS4_NO_GPU编译宏。每次修复若牵动共享的ds4.c就必须在所有这些后端上回归验证。3. mmap 加载与 SSD 流式的显式延迟隐藏Keep model loading mmap-backed for the Metal default case; do not eagerly copy the full GGUF.这是AGENT.md中可验证性最强的一条。ds4.c的加载路径完全遵循 mmap 策略第 2669-2670 行metal_mapping ? MAP_SHARED : MAP_PRIVATE以PROT_READ将整个 GGUF 文件映射进地址空间第 2509 行注释明确Read the GGUF metadata table. Values stay in the mmap; we store offsets so...——GGUF 元数据表留在 mmap 中只存偏移量张量字节从不在此处复制第 2485 行model_prefetch_cpu_mapping()在 CPU 后端通过posix_madvise(POSIX_MADV_WILLNEED)预取映射页见 2496-2501 行第 2636 行munmap按需释放映射区段配合第 40424 行MADV_DONTNEED释放锁定的路由专家页。对 SSD 流式模式文档要求显式管理为缺失的路由专家分配缓冲区、快速读盘并总是尝试在共享专家与已在 RAM 的路由专家推理期间隐藏缺失路由专家的加载延迟对 prefill 则是用当前层的推理时间加载下一层。ds4.h中ssd_streaming_cache_experts、ssd_streaming_cache_bytes、ssd_streaming_full_layers、ssd_streaming_preload_experts等字段145-148 行正是这套显式预算与预取策略的配置入口ds4_ssd.h提供ds4_parse_streaming_cache_experts_arg()与ds4_ssd_cache_experts_for_byte_budget()等解析/预算函数。ds4.c中streaming_preload_experts16458 行与metal_graph_stream_prefill_layer_pagein_overlap_enabled()19880 行则说明层预取的 page-in 重叠在 Metal 图上也是显式开关。4. CPU 后端仅作参考/调试代码Keep the CPU backend CPU-only and use it only as reference/debug code.从 Makefile 的cpu目标可见CPU-only 构建通过-DDS4_NO_GPU编译同一份ds4.c目标ds4_cpu.o并链接CPU_CORE_OBJS不含ds4_metal.o/ds4_cuda.o。tests/下大量使用-DDS4_TEST_HOOKS编译ds4.c的测试如tests/test_sampling、tests/test_engine_mgpu_placement、tests/test_session_state正是把 CPU 路径当作可注入测试钩子的参考实现来用。5. 正确性优先于速度Preserve correctness before speed. Do not keep a faster path with unexplained attention, KV cache, or logits drift.这条规则在测试体系中有多处体现Makefile中的test目标运行./ds4-eval --validate-cases、./ds4_test、tests/test_sampling、tests/test_deepseek4_vision_image等test-mxfp4-metal/test-mxfp4-cuda/test-mxfp4-rocm专门做 MXFP4 精确性测试test-glm53-kda验证 GLM 的 KDA 注意力实现。gguf-tools/quality-testing/目录还提供了compare_frontier_logits.py、compare_scores.py、validate_scores.py等 logits 与评分对比工具用于把关数值一致性。6. 长本地 Agent 会话实时 KV 复用与磁盘 KV 检查点Make long local agent sessions practical through live KV reuse and disk KV checkpoints.ds4.h中会话是一等公民ds4_session_create()/ds4_session_free()管理推理时间线ds4_session_sync()负责reuse, extend, or rebuild the graph state第 16 行注释会话拥有实时 KV并通过ds4_session_set_progress()、ds4_session_set_cancel()暴露进度与协作取消。磁盘侧由ds4_engram.cengram 模块即记忆/检查点与ds4_kvstore.c提供 KV 检查点的持久化ds4.h第 459 行特别注明引擎状态不得写入按文本键索引的磁盘 KV 缓存界定了可检查点状态与会话运行时状态的边界。tests/test_session_state.c、tests/test_metal_session_batch.c、tests/test_engram.c构成了该能力的单元与集成验证。质量规则小、锐、优雅的代码标准AGENT.md的质量规则值得逐条展开因为它们直接塑造了仓库的代码形态最小且更优的设计不满足于第一个想到的方案追求state of grace的优雅实现明确禁止 slop——只修补个别 case 的脆弱代码、死代码、无用代码、比必要复杂度更高的实现。关键推理代码必须注释凡是模型机制、缓存生命周期、内存策略、API 编排在局部代码中不明显的地方都要写注释且优先把注释放在实现旁边而不是另写独立设计文档——这解释了为什么仓库的架构知识大量散落在ds4.c、ds4_gpu.h的头部注释与行内注释中。注释要具有指导性且紧凑解释 shape、顺序、缓存边界、内存选择为什么存在而非复述代码在做什么。典型如ds4.c第 2509 行对值留在 mmap 只存偏移的说明。公共 API 保持窄小CLI/server 代码不应知道张量内部细节。从 ds4.h 可见对外接口停留在会话、引擎、tokenizer 与 KV 缓存层面ds4_session_*、ds4_engine张量布局与 kernel 细节被ds4_gpu.h3235 行隔离在 GPU 后端。不为标志位添加永久的语义变体诊断开关只用于验证单一发布路径。ds4_gpu.h中的DS4_TEST_HOOKS、DS4_NO_GPU等编译宏属于此类诊断/隔离开关而非产品化语义分支。不引入 C如上文所述主机侧保持 C99。安全约束内存与进程的谨慎AGENT.md的 Safety 节包含两条基于实战教训的约束避免在 macOS 上做大段 CPU 推理CPU 路径曾因超大映射暴露 kernel VM 失败对应ds4.c中 CPU 后端通过共享 mmap 流式读取超大型 GGUF 的路径见 2664 行注释。CPU 后端定位为参考/调试代码正因如此。不要并发运行多个超大模型进程实例锁是有意设计。这与仓库中ds4_engram.c、ds4_kvstore.c对 KV 检查点/缓存文件的独占语义一致避免多进程争抢同一模型与缓存资源。源码布局速查表AGENT.md的 Layout 节给出了文件职责地图对照仓库实际内容可进一步补全文件/目录职责佐证ds4.c模型加载、tokenizer、CPU 参考代码、Metal 图调度、会话、磁盘缓存序列化mmap 加载逻辑、metal_graph_*系列调度函数、session 实现均在此文件ds4_cli.c命令行、linenoise REPL、交互式 transcript链接linenoise.o、ds4_help.ods4_server.cOpenAI/Anthropic 兼容 HTTP API、worker 队列、流式、工具调用映射、磁盘 KV 缓存策略约 2 万行配套 docs/SERVER.md、docs/CLIENTS.mdds4_metal.mObjective-C Metal 运行时与 kernel 封装Makefile 中依赖全部metal/*.metalmetal/*.metalMetal 计算 kernel24 个 kernel 文件覆盖 dense、moe、flash_attn、KV、rope、norm 等算子ds4_cuda.cuCUDA 后端由 nvcc 编译含cuda/mmq/移植的 mmq prefill 层级ds4_rocm.cuROCm 后端hipcc 编译rocm/*.cuh为 kernel 集合ds4_ssd.c/ds4_ssd.hSSD 流式加载与路由专家缓存预算详见 docs/SSD_STREAMING.mdds4_engram.c/ds4_engram.h会话检查点磁盘 KV见 docs/SPECULATIVE_DECODING.md 相关部分ds4_distributed.c/ds4_tp.c分布式与张量并行docs/DISTRIBUTED.mdtests/单元与集成测试含 session、SSD、CUDA/ROCm/Metal 多后端测试misc/忽略的笔记、实验与旧规划文档自述not complete文档末尾注明此列表不完整请查看文件获取更多信息上述补充均来自仓库内可直接确认的路径。测试与构建验证流程AGENT.md的 Testing 节给出了明确的命令约定make构建验证。macOS 上默认产出ds4、ds4-server、ds4-bench、ds4-eval、ds4-agent五个二进制Linux 上make help列出cuda-spark、cuda-generic、strix-halo、rocm、cpu等目标。make test单元/回归测试需要模型与 Metal 可用DS4_TEST_MODEL ? ds4flash.gguf。实际执行的测试包括./ds4-eval --validate-cases、./ds4-eval --self-test-extractors、./ds4_agent_test、./ds4_test、tests/test_layer_pack、tests/test_engine_mgpu_placement、tests/test_gpu_args、tests/test_gpu_args_cli.sh、tests/test_prompt_prefix、tests/test_sampling、tests/test_deepseek4_vision_image等。实时服务器测试live server tests仅在有意识地测试 API 表面时使用对应tests/test_server_batching.py、tests/test_server_vision_agent.py等 HTTP 层测试。大改动后的四项验证清单AGENT.md要求每次可能影响下列路径的大改动至少完成正常 Metal 路径测试并确认速度仍保持原有水平——这正是speed-bench/目录存在的意义metal_decode_schedule_bench.c、metal_prefill_variant_bench.c配合plot_speed.py做速度回归。SSD 流式路径对应tests/test_ssd_cache.c、tests/test_metal_ssd_experts.c含--q4、--mxfp4变体、tests/test_cuda_ssd_cache.c、tests/test_cuda_ssd_batch.c等。分布式推理若可能受影响则测试但需先询问用户——对应tests/test_tp_commands.c、tests/test_tp_rdma.c、tests/test_tp_link.c、tests/test_tp_tcp.c、tests/test_engine_mgpu_placement.c、tests/test_engine_mgpu_runtime.c等。CUDA 路径检查改动是否可能破坏 CUDA并请求用户提供 CUDA 机器实际验证——对应tests/test_cuda_session_batch.c、tests/test_cuda_mixed_batch.c、tests/test_cuda_q8_rows.c、tests/cuda_long_context_smoke.c等 CUDA 专属测试以及make cuda-regression目标。总结这份文档对开发者的意义AGENT.md表面上是一份写给 AI 编码代理的说明实质上浓缩了 DwarfStar 项目的全部工程价值观为少数优秀模型做窄而深的优化、以 mmap 与流式隐藏 I/O 延迟、用 CPU 后端兜底参考实现、正确性永远优先于速度、通过实时 KV 复用支撑长会话。对想要参与该仓库或理解其代码组织的开发者而言遵循这份文档等于遵循了项目的宪法——先跑make test保住回归再在大改动时逐项验证 Metal、SSD、分布式与 CUDA 四条路径最后以小、锐、优雅、不引入 slop的标准提交代码。这些原则与仓库中 CONTRIBUTING.md、QA_BEFORE_RELEASES.md 共同构成了项目可持续演进的制度保障。赞分享人工智能大模型推理引擎本地部署模型推理服务【免费下载链接】ds4DeepSeek 4 Flash and PRO local inference engine for Metal, CUDA and ROCm项目地址https://gitcode.com/GitHub_Trending/ds4/ds4点击查看免费下载相关推荐DwarfStards4本地推理引擎完全指南在 Metal、CUDA 与 ROCm 上运行 DeepSeek V4 与 GLM 5.xDwarfStards4本地推理引擎完全指南在 Metal、CUDA 与 ROCm 上运行 DeepSeek V4 与 GLM 5.x DwarfStar人工智能大模型推理引擎本地部署模型推理服务DwarfStards4本地推理引擎测试与开发指南从模型无关回归到跨后端质量验证DwarfStards4本地推理引擎测试与开发指南从模型无关回归到跨后端质量验证 DwarfStar仓库根目录即 ds4 是一个面向 DeepSeek人工智能大模型推理引擎本地部署模型推理服务DeepSeek V4.1 Flash 扩展上下文64k/96k官方续写质量评测DeepSeek DS4 本地推理引擎的 held-out 长程验证方案DeepSeek V4.1 Flash 扩展上下文64k/96k官方续写质量评测DeepSeek DS4 本地推理引擎的 held out 长程验证方案人工智能大模型推理引擎本地部署模型推理服务上一篇智能视频去重革命Vidupe让重复视频无处藏身下一篇Il2CppDumper逆向分析工具解锁Unity手游代码奥秘的完整指南创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
DwarfStar（ds4）工程架构与开发守则：从 AGENT.md 解读 DeepSeek V4 Flash 本地推理引擎的设计哲学与验证流程
人工智能大模型推理引擎本地部署模型推理服务【免费下载链接】ds4DeepSeek 4 Flash and PRO local inference engine for Metal, CUDA and ROCm项目地址https://gitcode.com/GitHub_Trending/ds4/ds4点击查看免费下载导读AGENT.md是 DwarfStards4仓库面向 AI 编码代理与后续维护者的工程规范文档它定义了ds4.c作为 DeepSeek V4 Flash 专用推理引擎的定位、核心工程目标、代码质量规则、运行安全约束、源码布局以及每次大改动前必须执行的验证清单。本文以该文档为骨架结合仓库真实源码与构建系统逐条解析这些守则背后的实现证据帮助读者理解小而精的专用引擎是如何在 mmap 加载、SSD 流式、Metal 整图推理、会话 KV 复用等关键路径上落地以及如何用make test等流程守住正确性与性能的底线。项目定位专用引擎而非通用 GGUF 运行器AGENT.md开篇即给出项目的根本定位ds4.c是一个 DeepSeek V4 Flash 专用推理引擎不是通用的 GGUF 运行器。这与仓库根目录 README.md 中的表述完全一致——README 进一步明确了支持范围优先针对 DeepSeek V4 Flash含实验性视觉模型、DeepSeek V4.1 FlashMetal 与 CUDA 文本推理、GLM 5.2/5.3、GLM 5.3 Flash 与 DeepSeek V4 PRO并要求使用项目自身产出的 GGUF 文件。这种刻意收窄的定位带来三个直接后果代码量可控推理核心ds4.c同时承载模型加载、分词器、CPU 参考实现、Metal 图调度、会话管理与磁盘缓存序列化ds4_cli.c2443 行负责命令行与 REPLds4_server.c约 2 万行实现 OpenAI/Anthropic 兼容 HTTP API。整体仍是可通读的 C 代码库而非动辄几十万行的通用推理框架。Objective-C 只在 Metal 需要的地方出现Metal 运行时与 kernel 封装集中在ds4_metal.mMetal 计算 kernel 全部放在metal/目录下的.metal文件中含dense.metal、moe.metal、flash_attn.metal、dsv4_kv.metal、softmax.metal等 24 个 kernel 文件。禁止引入 C这是AGENT.md的硬性质量规则之一。从 Makefile 可见主机侧编译一律使用cc加-stdc99Objective-C 侧为-fobjc-arcC 仅以 nvcc/hipcc 编译 CUDA/ROCm kernel 的形式存在如cuda/mmq/下从 llama.cpp 移植的 mmq prefill 层级不进入推理引擎的主体。六大工程目标与源码证据AGENT.md列出了六条 Goals每一条都能在仓库中找到对应的实现佐证。1. 生产路径保持整模型 Metal 图推理Keep the production path as whole-model Metal graph inference——生产主路径必须是完整模型加载进 GPU 的 Metal 图推理。这与 README 的硬件支持矩阵一致Metal 是首要目标面向 96 GB 及以上的 Mac显存不足的机器才退回 SSD 流式模式。从源码结构看Makefile 在 macOS 分支下将ds4_metal.o纳入CORE_OBJSds4_metal.m依赖全部metal/*.metal源文件metal/目录下从flash_attn.metal、moe.metal到dsv4_kv.metal的 kernel 集合正是整图调度所需的计算单元。2. 多后端隔离修复互不牵连Always make sure that the SSD streaming, CUDA, distributed inference, Metal default inference are not affected by fixes to other parts of the code.这一目标直接映射为 Makefile 中的多后端构建矩阵CUDA 分支提供cuda-sparkDGX Spark/GB10CUDA_ARCHsm_121、cuda-generic、cuda CUDA_ARCHsm_N三个目标ROCm 分支提供strix-halogfx1151与rocm别名macOS 分支提供默认 Metal 构建与make cpuCPU-only 构建-DDS4_NO_GPU编译宏。每次修复若牵动共享的ds4.c就必须在所有这些后端上回归验证。3. mmap 加载与 SSD 流式的显式延迟隐藏Keep model loading mmap-backed for the Metal default case; do not eagerly copy the full GGUF.这是AGENT.md中可验证性最强的一条。ds4.c的加载路径完全遵循 mmap 策略第 2669-2670 行metal_mapping ? MAP_SHARED : MAP_PRIVATE以PROT_READ将整个 GGUF 文件映射进地址空间第 2509 行注释明确Read the GGUF metadata table. Values stay in the mmap; we store offsets so...——GGUF 元数据表留在 mmap 中只存偏移量张量字节从不在此处复制第 2485 行model_prefetch_cpu_mapping()在 CPU 后端通过posix_madvise(POSIX_MADV_WILLNEED)预取映射页见 2496-2501 行第 2636 行munmap按需释放映射区段配合第 40424 行MADV_DONTNEED释放锁定的路由专家页。对 SSD 流式模式文档要求显式管理为缺失的路由专家分配缓冲区、快速读盘并总是尝试在共享专家与已在 RAM 的路由专家推理期间隐藏缺失路由专家的加载延迟对 prefill 则是用当前层的推理时间加载下一层。ds4.h中ssd_streaming_cache_experts、ssd_streaming_cache_bytes、ssd_streaming_full_layers、ssd_streaming_preload_experts等字段145-148 行正是这套显式预算与预取策略的配置入口ds4_ssd.h提供ds4_parse_streaming_cache_experts_arg()与ds4_ssd_cache_experts_for_byte_budget()等解析/预算函数。ds4.c中streaming_preload_experts16458 行与metal_graph_stream_prefill_layer_pagein_overlap_enabled()19880 行则说明层预取的 page-in 重叠在 Metal 图上也是显式开关。4. CPU 后端仅作参考/调试代码Keep the CPU backend CPU-only and use it only as reference/debug code.从 Makefile 的cpu目标可见CPU-only 构建通过-DDS4_NO_GPU编译同一份ds4.c目标ds4_cpu.o并链接CPU_CORE_OBJS不含ds4_metal.o/ds4_cuda.o。tests/下大量使用-DDS4_TEST_HOOKS编译ds4.c的测试如tests/test_sampling、tests/test_engine_mgpu_placement、tests/test_session_state正是把 CPU 路径当作可注入测试钩子的参考实现来用。5. 正确性优先于速度Preserve correctness before speed. Do not keep a faster path with unexplained attention, KV cache, or logits drift.这条规则在测试体系中有多处体现Makefile中的test目标运行./ds4-eval --validate-cases、./ds4_test、tests/test_sampling、tests/test_deepseek4_vision_image等test-mxfp4-metal/test-mxfp4-cuda/test-mxfp4-rocm专门做 MXFP4 精确性测试test-glm53-kda验证 GLM 的 KDA 注意力实现。gguf-tools/quality-testing/目录还提供了compare_frontier_logits.py、compare_scores.py、validate_scores.py等 logits 与评分对比工具用于把关数值一致性。6. 长本地 Agent 会话实时 KV 复用与磁盘 KV 检查点Make long local agent sessions practical through live KV reuse and disk KV checkpoints.ds4.h中会话是一等公民ds4_session_create()/ds4_session_free()管理推理时间线ds4_session_sync()负责reuse, extend, or rebuild the graph state第 16 行注释会话拥有实时 KV并通过ds4_session_set_progress()、ds4_session_set_cancel()暴露进度与协作取消。磁盘侧由ds4_engram.cengram 模块即记忆/检查点与ds4_kvstore.c提供 KV 检查点的持久化ds4.h第 459 行特别注明引擎状态不得写入按文本键索引的磁盘 KV 缓存界定了可检查点状态与会话运行时状态的边界。tests/test_session_state.c、tests/test_metal_session_batch.c、tests/test_engram.c构成了该能力的单元与集成验证。质量规则小、锐、优雅的代码标准AGENT.md的质量规则值得逐条展开因为它们直接塑造了仓库的代码形态最小且更优的设计不满足于第一个想到的方案追求state of grace的优雅实现明确禁止 slop——只修补个别 case 的脆弱代码、死代码、无用代码、比必要复杂度更高的实现。关键推理代码必须注释凡是模型机制、缓存生命周期、内存策略、API 编排在局部代码中不明显的地方都要写注释且优先把注释放在实现旁边而不是另写独立设计文档——这解释了为什么仓库的架构知识大量散落在ds4.c、ds4_gpu.h的头部注释与行内注释中。注释要具有指导性且紧凑解释 shape、顺序、缓存边界、内存选择为什么存在而非复述代码在做什么。典型如ds4.c第 2509 行对值留在 mmap 只存偏移的说明。公共 API 保持窄小CLI/server 代码不应知道张量内部细节。从 ds4.h 可见对外接口停留在会话、引擎、tokenizer 与 KV 缓存层面ds4_session_*、ds4_engine张量布局与 kernel 细节被ds4_gpu.h3235 行隔离在 GPU 后端。不为标志位添加永久的语义变体诊断开关只用于验证单一发布路径。ds4_gpu.h中的DS4_TEST_HOOKS、DS4_NO_GPU等编译宏属于此类诊断/隔离开关而非产品化语义分支。不引入 C如上文所述主机侧保持 C99。安全约束内存与进程的谨慎AGENT.md的 Safety 节包含两条基于实战教训的约束避免在 macOS 上做大段 CPU 推理CPU 路径曾因超大映射暴露 kernel VM 失败对应ds4.c中 CPU 后端通过共享 mmap 流式读取超大型 GGUF 的路径见 2664 行注释。CPU 后端定位为参考/调试代码正因如此。不要并发运行多个超大模型进程实例锁是有意设计。这与仓库中ds4_engram.c、ds4_kvstore.c对 KV 检查点/缓存文件的独占语义一致避免多进程争抢同一模型与缓存资源。源码布局速查表AGENT.md的 Layout 节给出了文件职责地图对照仓库实际内容可进一步补全文件/目录职责佐证ds4.c模型加载、tokenizer、CPU 参考代码、Metal 图调度、会话、磁盘缓存序列化mmap 加载逻辑、metal_graph_*系列调度函数、session 实现均在此文件ds4_cli.c命令行、linenoise REPL、交互式 transcript链接linenoise.o、ds4_help.ods4_server.cOpenAI/Anthropic 兼容 HTTP API、worker 队列、流式、工具调用映射、磁盘 KV 缓存策略约 2 万行配套 docs/SERVER.md、docs/CLIENTS.mdds4_metal.mObjective-C Metal 运行时与 kernel 封装Makefile 中依赖全部metal/*.metalmetal/*.metalMetal 计算 kernel24 个 kernel 文件覆盖 dense、moe、flash_attn、KV、rope、norm 等算子ds4_cuda.cuCUDA 后端由 nvcc 编译含cuda/mmq/移植的 mmq prefill 层级ds4_rocm.cuROCm 后端hipcc 编译rocm/*.cuh为 kernel 集合ds4_ssd.c/ds4_ssd.hSSD 流式加载与路由专家缓存预算详见 docs/SSD_STREAMING.mdds4_engram.c/ds4_engram.h会话检查点磁盘 KV见 docs/SPECULATIVE_DECODING.md 相关部分ds4_distributed.c/ds4_tp.c分布式与张量并行docs/DISTRIBUTED.mdtests/单元与集成测试含 session、SSD、CUDA/ROCm/Metal 多后端测试misc/忽略的笔记、实验与旧规划文档自述not complete文档末尾注明此列表不完整请查看文件获取更多信息上述补充均来自仓库内可直接确认的路径。测试与构建验证流程AGENT.md的 Testing 节给出了明确的命令约定make构建验证。macOS 上默认产出ds4、ds4-server、ds4-bench、ds4-eval、ds4-agent五个二进制Linux 上make help列出cuda-spark、cuda-generic、strix-halo、rocm、cpu等目标。make test单元/回归测试需要模型与 Metal 可用DS4_TEST_MODEL ? ds4flash.gguf。实际执行的测试包括./ds4-eval --validate-cases、./ds4-eval --self-test-extractors、./ds4_agent_test、./ds4_test、tests/test_layer_pack、tests/test_engine_mgpu_placement、tests/test_gpu_args、tests/test_gpu_args_cli.sh、tests/test_prompt_prefix、tests/test_sampling、tests/test_deepseek4_vision_image等。实时服务器测试live server tests仅在有意识地测试 API 表面时使用对应tests/test_server_batching.py、tests/test_server_vision_agent.py等 HTTP 层测试。大改动后的四项验证清单AGENT.md要求每次可能影响下列路径的大改动至少完成正常 Metal 路径测试并确认速度仍保持原有水平——这正是speed-bench/目录存在的意义metal_decode_schedule_bench.c、metal_prefill_variant_bench.c配合plot_speed.py做速度回归。SSD 流式路径对应tests/test_ssd_cache.c、tests/test_metal_ssd_experts.c含--q4、--mxfp4变体、tests/test_cuda_ssd_cache.c、tests/test_cuda_ssd_batch.c等。分布式推理若可能受影响则测试但需先询问用户——对应tests/test_tp_commands.c、tests/test_tp_rdma.c、tests/test_tp_link.c、tests/test_tp_tcp.c、tests/test_engine_mgpu_placement.c、tests/test_engine_mgpu_runtime.c等。CUDA 路径检查改动是否可能破坏 CUDA并请求用户提供 CUDA 机器实际验证——对应tests/test_cuda_session_batch.c、tests/test_cuda_mixed_batch.c、tests/test_cuda_q8_rows.c、tests/cuda_long_context_smoke.c等 CUDA 专属测试以及make cuda-regression目标。总结这份文档对开发者的意义AGENT.md表面上是一份写给 AI 编码代理的说明实质上浓缩了 DwarfStar 项目的全部工程价值观为少数优秀模型做窄而深的优化、以 mmap 与流式隐藏 I/O 延迟、用 CPU 后端兜底参考实现、正确性永远优先于速度、通过实时 KV 复用支撑长会话。对想要参与该仓库或理解其代码组织的开发者而言遵循这份文档等于遵循了项目的宪法——先跑make test保住回归再在大改动时逐项验证 Metal、SSD、分布式与 CUDA 四条路径最后以小、锐、优雅、不引入 slop的标准提交代码。这些原则与仓库中 CONTRIBUTING.md、QA_BEFORE_RELEASES.md 共同构成了项目可持续演进的制度保障。赞分享人工智能大模型推理引擎本地部署模型推理服务【免费下载链接】ds4DeepSeek 4 Flash and PRO local inference engine for Metal, CUDA and ROCm项目地址https://gitcode.com/GitHub_Trending/ds4/ds4点击查看免费下载相关推荐DwarfStards4本地推理引擎完全指南在 Metal、CUDA 与 ROCm 上运行 DeepSeek V4 与 GLM 5.xDwarfStards4本地推理引擎完全指南在 Metal、CUDA 与 ROCm 上运行 DeepSeek V4 与 GLM 5.x DwarfStar人工智能大模型推理引擎本地部署模型推理服务DwarfStards4本地推理引擎测试与开发指南从模型无关回归到跨后端质量验证DwarfStards4本地推理引擎测试与开发指南从模型无关回归到跨后端质量验证 DwarfStar仓库根目录即 ds4 是一个面向 DeepSeek人工智能大模型推理引擎本地部署模型推理服务DeepSeek V4.1 Flash 扩展上下文64k/96k官方续写质量评测DeepSeek DS4 本地推理引擎的 held-out 长程验证方案DeepSeek V4.1 Flash 扩展上下文64k/96k官方续写质量评测DeepSeek DS4 本地推理引擎的 held out 长程验证方案人工智能大模型推理引擎本地部署模型推理服务上一篇智能视频去重革命Vidupe让重复视频无处藏身下一篇Il2CppDumper逆向分析工具解锁Unity手游代码奥秘的完整指南创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
