在 Apple Silicon 上高效部署本地大模型self-llm 项目 MLX-LM 实战指南【免费下载链接】self-llm《开源大模型食用指南》针对中国宝宝量身打造的基于Linux环境快速微调全参数/Lora、部署国内外开源大模型LLM/多模态大模型MLLM教程项目地址: https://gitcode.com/GitHub_Trending/se/self-llm《开源大模型食用指南》self-llm中的models_mlx子项目是一套基于苹果原生 MLX-LM 框架、面向 Apple M 系列芯片的本地大模型部署与交互方案。它把「模型下载」与「模型对话」整合进一个 Gradio Web 应用并同时提供 CLI 下载工具与 Jupyter Notebook 教程覆盖从环境搭建、模型拉取到流式对话的完整链路。读完本文你将能够在 Mac 上通过图形界面或命令行快速部署 Qwen、DeepSeek、Gemma、Llama 等开源模型并理解 MLX 统一内存架构相对纯 CPU 与 vLLM 推理的定位差异。一、环境准备创建 Conda 虚拟环境并安装依赖models_mlx的依赖全部声明在 requirements.txt 中主要包括四个组件依赖版本用途mlx-lm0.31.1苹果原生 LLM 推理库MLX 后端核心transformers4.57.5HuggingFace 通用推理后端Transformers 后端核心gradio6.9.0Web 交互界面socksio1.0.0SOCKS 代理支持下载模型时可能用到在 Mac 终端中依次执行以下命令即可完成环境配置# 创建 Conda 虚拟环境 conda create -n mlx-lm python3.11 conda activate mlx-lm # 安装依赖 pip install -r requirements.txt两点实用说明官方推荐 Python 3.11与mlx-lm、transformers等库的依赖约束兼容性最好若网络环境需要代理下载模型socksio已作为显式依赖写入可直接配合代理使用。二、项目结构一次看清 models_mlx 的模块划分models_mlx目录的布局非常清晰各模块职责单一models_mlx/ ├── run_app_gradio.py # Gradio 交互式应用模型下载 对话 ├── requirements.txt # Python 依赖 ├── configs/ # 模型配置JSON 格式支持热加载 │ └── model_info/ │ ├── mlx.json # MLX 量化模型列表 │ └── original.json # 原始 HuggingFace 模型列表 ├── modules/ # 功能模块 │ ├── core_types.py # 核心类型推理框架枚举 │ ├── framework.py # 双框架推理后端封装 │ └── download_model.py # 模型下载模块可独立运行 ├── models/ # 下载的模型存放目录 ├── notebooks/ # Jupyter Notebook 教程 │ ├── Qwen3_MLX_部署与交互.ipynb │ └── Qwen3_Transformers_部署与交互.ipynb └── docs/ # 文档 └── MLX-LM_Intro.md # MLX 框架简介三个关键设计值得注意配置与代码分离模型清单全部外置到 configs/model_info/mlx.json 与 configs/model_info/original.json新增模型无需改代码双框架并存同一套 UI 同时支持 MLX 与 Transformers 两种推理后端由 modules/core_types.py 中的Framework枚举统一定义目录即存储约定下载的模型按models/source/Company/Series/ModelName四级目录存放scan_local_models()通过遍历目录结构即可自动发现本地模型。三、理论基础MLX 框架为何适合 Mac 本地推理MLX-LM_Intro.md 从三个角度解释了 MLX 的技术定位3.1 统一内存架构是核心优势MLX 是苹果发布的深度学习框架与 PyTorch 等传统框架的关键区别在于它充分利用 Apple M 系列芯片的**统一内存Unified Memory**架构将数据维护在共享内存中不需要频繁地在 CPU 与 GPU 之间搬运数据从而显著提升推理效率。3.2 与 vLLM 的架构定位差异vLLM 与 MLX-LM 的目标场景截然不同仓库文档给出了如下对比特性vLLMMLX-LM目标硬件NVIDIA GPUApple M 系列芯片内存架构独立显存HBM / GDDR统一内存Unified Memory并发支持高并发 / 高吞吐单用户 / 本地模型量化支持但需自行实现原生支持 4bit / 8bit 推理框架依赖CUDA / Triton / NCCLMLXMetal 后端使用复杂度较高需要配置环境和依赖较低适合本地快速部署一句话概括vLLM 面向数据中心级的 NVIDIA GPU 高并发推理而 MLX-LM 面向 Apple Silicon 上的单用户本地推理。3.3 与纯 CPU 调用的实测对比仓库文档记录了一次在 M3 MAX内存 64GMacBook Pro 上使用 Qwen3-8B 的对比测试纯 CPU 部署与 MLX 框架部署的效果分别如下两张图所示。从截图标注的关键指标可以直观看到差距指标纯 CPUMLX 框架生成速度约 1.5 tokens/s约 69.3 tokens/s峰值内存约 28.41 GB约 4.40 GB模型加载耗时约 20.77 秒约 1.11 秒无论是生成速度还是峰值内存MLX 框架都明显优于纯 CPU 调用这正是「在 Apple 芯片上用 MLX 跑大模型」的核心价值所在以上数据来源于仓库文档与实测截图的记录。四、Notebook 教程两种部署路径任选notebooks目录下提供了两份开箱即用的 Jupyter Notebook对应两种部署思路Notebook说明Qwen3_MLX_部署与交互.ipynb使用 MLX 框架部署 Qwen3Apple Silicon 推荐Qwen3_Transformers_部署与交互.ipynb使用 Transformers 框架部署 Qwen3通用兼容MLX 路线适合 Apple Silicon 用户追求最佳性能直接消费mlx-community下已量化的 4bit 模型Transformers 路线不依赖特定硬件在其他平台也能运行是跨环境兼容的兜底方案。两份 Notebook 的差异实际上对应了后文要介绍的双推理后端设计。五、Gradio 交互应用下载 对话一体化启动一条命令即可获得完整的 Web 交互平台python run_app_gradio.py应用构建在 run_app_gradio.py 之上界面包含两个核心 Tab。5.1 模型下载 Tab三级级联选择 本地存在检测下载 Tab 的交互遵循「模型来源 → 公司/组织 → 模型系列 → 选择模型」的级联流程模型来源mlx已量化的 MLX 格式Mac 推荐或original原始 HuggingFace 模型三级级联切换公司后自动刷新系列切换系列后自动刷新模型列表全部由on_source_change→on_company_change→on_series_change回调链驱动见 run_app_gradio.py本地存在检测check_model_status会调用model_exists判断模型是否已下载若已存在则提示「✅ 模型已存在本地无需下载」并展示 Repo ID 与本地路径按钮变为不可点击状态避免重复下载。下载动作最终落到 download_model.py 的download()函数其内部通过huggingface_hub.snapshot_download(repo_id..., local_dir...)拉取完整模型快照并返回耗时供 UI 展示。5.2 模型对话 Tab双框架 流式输出 参数调节对话 Tab 先扫描本地已下载模型同样支持来源/公司/系列级联筛选然后提供推理框架选择MLX / Transformers 二选一可选项由配置中的FrameworkInference字段动态决定加载模型点击「加载模型」后按所选框架实例化后端加载耗时实时显示对话参数调节对应 run_app_gradio.py 中的 Slider 定义Temperature范围 0.0 ~ 1.5默认 0.7控制输出随机性Top-p范围 0.0 ~ 1.0默认 0.8核采样概率阈值Max Tokens范围 64 ~ 2048默认 512单次生成最大 token 数启用思考模式默认关闭开启时在构建 prompt 时传入enable_thinkingTrue对应 Qwen 等带思考链能力的模型。对话请求先通过tokenizer.apply_chat_template(messages, tokenizeFalse, add_generation_promptTrue)构造 prompt再交给后端流式生成前端逐 token 刷新MLX 后端尤其适合这种流式交互体验。界面还内置了三个示例问题按钮请用一句话解释什么是人工智能、用Python写一个快速排序、介绍MLX框架方便快速上手。5.3 热加载机制改 JSON 即生效configs/下的 JSON 配置支持热加载修改models_mlx/configs/model_info/mlx.json或original.json后刷新页面或点击「 刷新」按钮所有下拉框会通过init_download_tab/init_chat_tab重新从磁盘读取 JSON 并重建选项见 run_app_gradio.py。因此新增模型、调整FrameworkInference都不需要重启服务。六、命令行下载模型无需 Web 界面的轻量方式如果只想快速拉取模型而不启动 Gradio可以直接以模块方式运行下载工具python -m modules.download_model运行后会进入交互式流程见 download_model.py选择模型来源1. mlx推荐或2. original列出公司/组织并选择列出该公司的模型系列并选择列出该系列下的可用模型已下载的会标注 ✅若本地已存在则直接退出否则确认后开始下载。同理modules/framework.py 也可以独立运行python -m modules.framework提供纯终端的交互式推理体验适合无图形界面的 SSH 场景。七、支持模型清单与扩展方式模型列表全部通过 JSON 配置管理mlx来源对应 mlx.jsonoriginal来源对应 original.json。README 中列出的核心模型如下公司系列模型列表AlibabaQwQQwQ-0.5B-4bitAlibabaQwen1.5Qwen1.5-0.5B-Chat-4bit、Qwen1.5-1.8B-Chat-4bit、Qwen1.5-MoE-A2.7B-4bit、Qwen1.5-MoE-A2.7B-Chat-4bitAlibabaQwen2Qwen2-0.5B-Instruct-4bit、Qwen2-1.5B-4bit、Qwen2-1.5B-Instruct-4bitAlibabaQwen2-MathQwen2-Math-1.5B-Instruct-4bitAlibabaQwen2.5Qwen2.5-0.5B-4bit、Qwen2.5-0.5B-Instruct-4bit、Qwen2.5-1.5B-4bit、Qwen2.5-1.5B-Instruct-4bit、Qwen2.5-3B-4bit、Qwen2.5-3B-Instruct-4bitAlibabaQwen2.5-CoderQwen2.5-Coder-0.5B-4bit、Qwen2.5-Coder-0.5B-Instruct-4bit、Qwen2.5-Coder-1.5B-4bit、Qwen2.5-Coder-1.5B-Instruct-4bit、Qwen2.5-Coder-3B-4bit、Qwen2.5-Coder-3B-Instruct-4bitAlibabaQwen2.5-MathQwen2.5-Math-1.5B-4bit、Qwen2.5-Math-1.5B-Instruct-4bitAlibabaQwen3Qwen3-0.6B-4bit、Qwen3-0.6B-Base-4bit、Qwen3-1.7B-4bitAlibabaQwen3.5Qwen3.5-0.8B-4bit、Qwen3.5-2B-4bitDeepSeekDeepSeek-R1DeepSeek-R1-Distill-Qwen-1.5B-4bitDeepSeekDeepSeek-V3-GoogleGemma-2gemma-2-2b-4bit、gemma-2-2b-it-4bit、gemma-2-2b-jpn-it-4bit、gemma-2-baku-2b-it-4bitGoogleGemma-3gemma-3-1b-it-4bit、gemma-3-1b-pt-4bit、gemma-3-270m-4bit、gemma-3-270m-it-4bitMetaLlama-3.1-MetaLlama-3.2Llama-3.2-1B-Instruct-4bit、Llama-3.2-3B-Instruct-4bitMetaLlama-4-MicrosoftPhi-2phi-2-super-4bitMicrosoftPhi-4-MistralMistralMinistral-3-3B-Instruct-2512-4bit、Ministral-3-3B-Reasoning-2512-4bitMoonshotKimi-需要说明的是实际 mlx.json 中的清单比上表更完整——例如 Qwen2.5 系列还包含Qwen2.5-7B-Instruct-4bit、Qwen2.5-14B-Instruct-4bit、Qwen2.5-32B-Instruct-4bitQwen3 系列还包含Qwen3-4B-4bit、Qwen3-8B-4bit、Qwen3-14B-4bit、Qwen3-30B-A3B-4bit等DeepSeek-R1、Llama-4、Gemma-3 等系列同样比表格更丰富。请以 JSON 配置为最终依据。7.1 JSON 配置的结构与拼接规则每个条目的典型结构如下摘自 mlx.json{ Company: Alibaba, Series: Qwen3, FrameworkInference: [mlx], Models: [Qwen3-0.6B-4bit, Qwen3-0.6B-Base-4bit, Qwen3-1.7B-4bit] }对应 download_model.py 中的get_repo_id拼接逻辑mlx来源repo_id mlx-community/ 模型名即从mlx-community组织拉取已量化模型original来源repo_id 模型名模型名本身就是完整仓库 ID如Qwen/Qwen3-8B。7.2 如何添加新模型如需添加新模型只需编辑configs/model_info/mlx.json或configs/model_info/original.json在对应公司的系列下追加模型名即可无需修改任何 Python 代码添加 MLX 量化模型确认mlx-community/下存在对应仓库后把模型名-4bit追加进对应Models数组添加原始模型在original.json中写入完整 repo ID如Qwen/Qwen3-8B可选通过FrameworkInference字段显式声明该系列支持哪个推理框架未声明时get_framework_inference 会按来源兜底——mlx来源默认[MLX]original来源默认[TRANSFORMERS]。改完刷新 Gradio 页面或点击刷新按钮即可生效这正是前面提到的热加载机制。八、双框架推理后端源码解析modules目录的framework.py是整个对话能力的底层支撑它通过抽象基类 工厂模式将 MLX 与 Transformers 的差异封装起来。8.1 统一接口BaseBackendframework.py 定义了抽象基类BaseBackend只暴露两个核心方法load(model_path)加载模型与分词器generate(prompt, temperature, top_p, max_tokens)流式生成以yield逐段返回累积的响应字符串生成式接口天然适配 Gradio 的流式刷新。外加is_loaded属性用于判断模型是否已加载。8.2 MLX 后端Apple Silicon 加速MLXBackend 的加载逻辑为from mlx_lm import load self.model, self.tokenizer load(model_path) mx.eval()生成逻辑使用mlx_lm.stream_generate与make_samplerfrom mlx_lm import stream_generate from mlx_lm.sample_utils import make_sampler sampler make_sampler(temptemperature, top_ptop_p) for chunk in stream_generate(self.model, self.tokenizer, promptprompt, max_tokensmax_tokens, samplersampler): response chunk.text yield responsemake_sampler将temperature与top_p直接映射为采样参数逐 token 流式返回这就是 MLX 对话「打字机」效果的来源。8.3 Transformers 后端通用兼容TransformersBackend 面向通用环境包括非 Apple 芯片加载时使用AutoModelForCausalLM.from_pretrained(..., dtypetorch.float32, device_mapcpu, trust_remote_codeTrue)生成时在torch.no_grad()下调用model.generate并显式指定top_k20、do_sampleTrue以及自定义的eos_token_id。它与 MLX 后端走完全相同的BaseBackend接口因此 UI 层可以无差别切换。8.4 工厂函数create_backend 根据Framework枚举创建对应后端实例def create_backend(framework): fw Framework(framework) if not isinstance(framework, Framework) else framework if fw Framework.MLX: return MLXBackend() return TransformersBackend()Framework枚举定义在 core_types.py 中取值仅两个MLX mlx与TRANSFORMERS transformers。这个设计让「新增一种推理框架」变得非常便宜——只需实现一个新的BaseBackend子类并扩展工厂函数即可。九、适用前提与使用限制MLX 路线依赖 Apple SiliconMLX 后端基于 Metal 后端只能在搭载 Apple M 系列芯片的 Mac 上发挥性能非 Mac 环境应使用 Transformers 后端模型来源mlx来源从mlx-community组织拉取已量化模型需要相应的网络访问能力可用socksio配合代理配置以 JSON 为准README 表格只是摘要模型清单、FrameworkInference等以 configs/model_info/mlx.json 与 configs/model_info/original.json 为最终依据性能数据来源文中 CPU/MLX 对比数据来自 MLX-LM_Intro.md 记录的 M3 MAX 64G 实测不同芯片型号、模型大小下的数据会有差异请以自己机器上的实测为准。从环境搭建、模型下载到双框架对话、配置热加载models_mlx提供了一套完整且可扩展的 Mac 本地大模型方案——既适合初学者通过 Gradio 界面快速上手也适合开发者基于其模块化代码二次定制。【免费下载链接】self-llm《开源大模型食用指南》针对中国宝宝量身打造的基于Linux环境快速微调全参数/Lora、部署国内外开源大模型LLM/多模态大模型MLLM教程项目地址: https://gitcode.com/GitHub_Trending/se/self-llm创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
在 Apple Silicon 上高效部署本地大模型：self-llm 项目 MLX-LM 实战指南
在 Apple Silicon 上高效部署本地大模型self-llm 项目 MLX-LM 实战指南【免费下载链接】self-llm《开源大模型食用指南》针对中国宝宝量身打造的基于Linux环境快速微调全参数/Lora、部署国内外开源大模型LLM/多模态大模型MLLM教程项目地址: https://gitcode.com/GitHub_Trending/se/self-llm《开源大模型食用指南》self-llm中的models_mlx子项目是一套基于苹果原生 MLX-LM 框架、面向 Apple M 系列芯片的本地大模型部署与交互方案。它把「模型下载」与「模型对话」整合进一个 Gradio Web 应用并同时提供 CLI 下载工具与 Jupyter Notebook 教程覆盖从环境搭建、模型拉取到流式对话的完整链路。读完本文你将能够在 Mac 上通过图形界面或命令行快速部署 Qwen、DeepSeek、Gemma、Llama 等开源模型并理解 MLX 统一内存架构相对纯 CPU 与 vLLM 推理的定位差异。一、环境准备创建 Conda 虚拟环境并安装依赖models_mlx的依赖全部声明在 requirements.txt 中主要包括四个组件依赖版本用途mlx-lm0.31.1苹果原生 LLM 推理库MLX 后端核心transformers4.57.5HuggingFace 通用推理后端Transformers 后端核心gradio6.9.0Web 交互界面socksio1.0.0SOCKS 代理支持下载模型时可能用到在 Mac 终端中依次执行以下命令即可完成环境配置# 创建 Conda 虚拟环境 conda create -n mlx-lm python3.11 conda activate mlx-lm # 安装依赖 pip install -r requirements.txt两点实用说明官方推荐 Python 3.11与mlx-lm、transformers等库的依赖约束兼容性最好若网络环境需要代理下载模型socksio已作为显式依赖写入可直接配合代理使用。二、项目结构一次看清 models_mlx 的模块划分models_mlx目录的布局非常清晰各模块职责单一models_mlx/ ├── run_app_gradio.py # Gradio 交互式应用模型下载 对话 ├── requirements.txt # Python 依赖 ├── configs/ # 模型配置JSON 格式支持热加载 │ └── model_info/ │ ├── mlx.json # MLX 量化模型列表 │ └── original.json # 原始 HuggingFace 模型列表 ├── modules/ # 功能模块 │ ├── core_types.py # 核心类型推理框架枚举 │ ├── framework.py # 双框架推理后端封装 │ └── download_model.py # 模型下载模块可独立运行 ├── models/ # 下载的模型存放目录 ├── notebooks/ # Jupyter Notebook 教程 │ ├── Qwen3_MLX_部署与交互.ipynb │ └── Qwen3_Transformers_部署与交互.ipynb └── docs/ # 文档 └── MLX-LM_Intro.md # MLX 框架简介三个关键设计值得注意配置与代码分离模型清单全部外置到 configs/model_info/mlx.json 与 configs/model_info/original.json新增模型无需改代码双框架并存同一套 UI 同时支持 MLX 与 Transformers 两种推理后端由 modules/core_types.py 中的Framework枚举统一定义目录即存储约定下载的模型按models/source/Company/Series/ModelName四级目录存放scan_local_models()通过遍历目录结构即可自动发现本地模型。三、理论基础MLX 框架为何适合 Mac 本地推理MLX-LM_Intro.md 从三个角度解释了 MLX 的技术定位3.1 统一内存架构是核心优势MLX 是苹果发布的深度学习框架与 PyTorch 等传统框架的关键区别在于它充分利用 Apple M 系列芯片的**统一内存Unified Memory**架构将数据维护在共享内存中不需要频繁地在 CPU 与 GPU 之间搬运数据从而显著提升推理效率。3.2 与 vLLM 的架构定位差异vLLM 与 MLX-LM 的目标场景截然不同仓库文档给出了如下对比特性vLLMMLX-LM目标硬件NVIDIA GPUApple M 系列芯片内存架构独立显存HBM / GDDR统一内存Unified Memory并发支持高并发 / 高吞吐单用户 / 本地模型量化支持但需自行实现原生支持 4bit / 8bit 推理框架依赖CUDA / Triton / NCCLMLXMetal 后端使用复杂度较高需要配置环境和依赖较低适合本地快速部署一句话概括vLLM 面向数据中心级的 NVIDIA GPU 高并发推理而 MLX-LM 面向 Apple Silicon 上的单用户本地推理。3.3 与纯 CPU 调用的实测对比仓库文档记录了一次在 M3 MAX内存 64GMacBook Pro 上使用 Qwen3-8B 的对比测试纯 CPU 部署与 MLX 框架部署的效果分别如下两张图所示。从截图标注的关键指标可以直观看到差距指标纯 CPUMLX 框架生成速度约 1.5 tokens/s约 69.3 tokens/s峰值内存约 28.41 GB约 4.40 GB模型加载耗时约 20.77 秒约 1.11 秒无论是生成速度还是峰值内存MLX 框架都明显优于纯 CPU 调用这正是「在 Apple 芯片上用 MLX 跑大模型」的核心价值所在以上数据来源于仓库文档与实测截图的记录。四、Notebook 教程两种部署路径任选notebooks目录下提供了两份开箱即用的 Jupyter Notebook对应两种部署思路Notebook说明Qwen3_MLX_部署与交互.ipynb使用 MLX 框架部署 Qwen3Apple Silicon 推荐Qwen3_Transformers_部署与交互.ipynb使用 Transformers 框架部署 Qwen3通用兼容MLX 路线适合 Apple Silicon 用户追求最佳性能直接消费mlx-community下已量化的 4bit 模型Transformers 路线不依赖特定硬件在其他平台也能运行是跨环境兼容的兜底方案。两份 Notebook 的差异实际上对应了后文要介绍的双推理后端设计。五、Gradio 交互应用下载 对话一体化启动一条命令即可获得完整的 Web 交互平台python run_app_gradio.py应用构建在 run_app_gradio.py 之上界面包含两个核心 Tab。5.1 模型下载 Tab三级级联选择 本地存在检测下载 Tab 的交互遵循「模型来源 → 公司/组织 → 模型系列 → 选择模型」的级联流程模型来源mlx已量化的 MLX 格式Mac 推荐或original原始 HuggingFace 模型三级级联切换公司后自动刷新系列切换系列后自动刷新模型列表全部由on_source_change→on_company_change→on_series_change回调链驱动见 run_app_gradio.py本地存在检测check_model_status会调用model_exists判断模型是否已下载若已存在则提示「✅ 模型已存在本地无需下载」并展示 Repo ID 与本地路径按钮变为不可点击状态避免重复下载。下载动作最终落到 download_model.py 的download()函数其内部通过huggingface_hub.snapshot_download(repo_id..., local_dir...)拉取完整模型快照并返回耗时供 UI 展示。5.2 模型对话 Tab双框架 流式输出 参数调节对话 Tab 先扫描本地已下载模型同样支持来源/公司/系列级联筛选然后提供推理框架选择MLX / Transformers 二选一可选项由配置中的FrameworkInference字段动态决定加载模型点击「加载模型」后按所选框架实例化后端加载耗时实时显示对话参数调节对应 run_app_gradio.py 中的 Slider 定义Temperature范围 0.0 ~ 1.5默认 0.7控制输出随机性Top-p范围 0.0 ~ 1.0默认 0.8核采样概率阈值Max Tokens范围 64 ~ 2048默认 512单次生成最大 token 数启用思考模式默认关闭开启时在构建 prompt 时传入enable_thinkingTrue对应 Qwen 等带思考链能力的模型。对话请求先通过tokenizer.apply_chat_template(messages, tokenizeFalse, add_generation_promptTrue)构造 prompt再交给后端流式生成前端逐 token 刷新MLX 后端尤其适合这种流式交互体验。界面还内置了三个示例问题按钮请用一句话解释什么是人工智能、用Python写一个快速排序、介绍MLX框架方便快速上手。5.3 热加载机制改 JSON 即生效configs/下的 JSON 配置支持热加载修改models_mlx/configs/model_info/mlx.json或original.json后刷新页面或点击「 刷新」按钮所有下拉框会通过init_download_tab/init_chat_tab重新从磁盘读取 JSON 并重建选项见 run_app_gradio.py。因此新增模型、调整FrameworkInference都不需要重启服务。六、命令行下载模型无需 Web 界面的轻量方式如果只想快速拉取模型而不启动 Gradio可以直接以模块方式运行下载工具python -m modules.download_model运行后会进入交互式流程见 download_model.py选择模型来源1. mlx推荐或2. original列出公司/组织并选择列出该公司的模型系列并选择列出该系列下的可用模型已下载的会标注 ✅若本地已存在则直接退出否则确认后开始下载。同理modules/framework.py 也可以独立运行python -m modules.framework提供纯终端的交互式推理体验适合无图形界面的 SSH 场景。七、支持模型清单与扩展方式模型列表全部通过 JSON 配置管理mlx来源对应 mlx.jsonoriginal来源对应 original.json。README 中列出的核心模型如下公司系列模型列表AlibabaQwQQwQ-0.5B-4bitAlibabaQwen1.5Qwen1.5-0.5B-Chat-4bit、Qwen1.5-1.8B-Chat-4bit、Qwen1.5-MoE-A2.7B-4bit、Qwen1.5-MoE-A2.7B-Chat-4bitAlibabaQwen2Qwen2-0.5B-Instruct-4bit、Qwen2-1.5B-4bit、Qwen2-1.5B-Instruct-4bitAlibabaQwen2-MathQwen2-Math-1.5B-Instruct-4bitAlibabaQwen2.5Qwen2.5-0.5B-4bit、Qwen2.5-0.5B-Instruct-4bit、Qwen2.5-1.5B-4bit、Qwen2.5-1.5B-Instruct-4bit、Qwen2.5-3B-4bit、Qwen2.5-3B-Instruct-4bitAlibabaQwen2.5-CoderQwen2.5-Coder-0.5B-4bit、Qwen2.5-Coder-0.5B-Instruct-4bit、Qwen2.5-Coder-1.5B-4bit、Qwen2.5-Coder-1.5B-Instruct-4bit、Qwen2.5-Coder-3B-4bit、Qwen2.5-Coder-3B-Instruct-4bitAlibabaQwen2.5-MathQwen2.5-Math-1.5B-4bit、Qwen2.5-Math-1.5B-Instruct-4bitAlibabaQwen3Qwen3-0.6B-4bit、Qwen3-0.6B-Base-4bit、Qwen3-1.7B-4bitAlibabaQwen3.5Qwen3.5-0.8B-4bit、Qwen3.5-2B-4bitDeepSeekDeepSeek-R1DeepSeek-R1-Distill-Qwen-1.5B-4bitDeepSeekDeepSeek-V3-GoogleGemma-2gemma-2-2b-4bit、gemma-2-2b-it-4bit、gemma-2-2b-jpn-it-4bit、gemma-2-baku-2b-it-4bitGoogleGemma-3gemma-3-1b-it-4bit、gemma-3-1b-pt-4bit、gemma-3-270m-4bit、gemma-3-270m-it-4bitMetaLlama-3.1-MetaLlama-3.2Llama-3.2-1B-Instruct-4bit、Llama-3.2-3B-Instruct-4bitMetaLlama-4-MicrosoftPhi-2phi-2-super-4bitMicrosoftPhi-4-MistralMistralMinistral-3-3B-Instruct-2512-4bit、Ministral-3-3B-Reasoning-2512-4bitMoonshotKimi-需要说明的是实际 mlx.json 中的清单比上表更完整——例如 Qwen2.5 系列还包含Qwen2.5-7B-Instruct-4bit、Qwen2.5-14B-Instruct-4bit、Qwen2.5-32B-Instruct-4bitQwen3 系列还包含Qwen3-4B-4bit、Qwen3-8B-4bit、Qwen3-14B-4bit、Qwen3-30B-A3B-4bit等DeepSeek-R1、Llama-4、Gemma-3 等系列同样比表格更丰富。请以 JSON 配置为最终依据。7.1 JSON 配置的结构与拼接规则每个条目的典型结构如下摘自 mlx.json{ Company: Alibaba, Series: Qwen3, FrameworkInference: [mlx], Models: [Qwen3-0.6B-4bit, Qwen3-0.6B-Base-4bit, Qwen3-1.7B-4bit] }对应 download_model.py 中的get_repo_id拼接逻辑mlx来源repo_id mlx-community/ 模型名即从mlx-community组织拉取已量化模型original来源repo_id 模型名模型名本身就是完整仓库 ID如Qwen/Qwen3-8B。7.2 如何添加新模型如需添加新模型只需编辑configs/model_info/mlx.json或configs/model_info/original.json在对应公司的系列下追加模型名即可无需修改任何 Python 代码添加 MLX 量化模型确认mlx-community/下存在对应仓库后把模型名-4bit追加进对应Models数组添加原始模型在original.json中写入完整 repo ID如Qwen/Qwen3-8B可选通过FrameworkInference字段显式声明该系列支持哪个推理框架未声明时get_framework_inference 会按来源兜底——mlx来源默认[MLX]original来源默认[TRANSFORMERS]。改完刷新 Gradio 页面或点击刷新按钮即可生效这正是前面提到的热加载机制。八、双框架推理后端源码解析modules目录的framework.py是整个对话能力的底层支撑它通过抽象基类 工厂模式将 MLX 与 Transformers 的差异封装起来。8.1 统一接口BaseBackendframework.py 定义了抽象基类BaseBackend只暴露两个核心方法load(model_path)加载模型与分词器generate(prompt, temperature, top_p, max_tokens)流式生成以yield逐段返回累积的响应字符串生成式接口天然适配 Gradio 的流式刷新。外加is_loaded属性用于判断模型是否已加载。8.2 MLX 后端Apple Silicon 加速MLXBackend 的加载逻辑为from mlx_lm import load self.model, self.tokenizer load(model_path) mx.eval()生成逻辑使用mlx_lm.stream_generate与make_samplerfrom mlx_lm import stream_generate from mlx_lm.sample_utils import make_sampler sampler make_sampler(temptemperature, top_ptop_p) for chunk in stream_generate(self.model, self.tokenizer, promptprompt, max_tokensmax_tokens, samplersampler): response chunk.text yield responsemake_sampler将temperature与top_p直接映射为采样参数逐 token 流式返回这就是 MLX 对话「打字机」效果的来源。8.3 Transformers 后端通用兼容TransformersBackend 面向通用环境包括非 Apple 芯片加载时使用AutoModelForCausalLM.from_pretrained(..., dtypetorch.float32, device_mapcpu, trust_remote_codeTrue)生成时在torch.no_grad()下调用model.generate并显式指定top_k20、do_sampleTrue以及自定义的eos_token_id。它与 MLX 后端走完全相同的BaseBackend接口因此 UI 层可以无差别切换。8.4 工厂函数create_backend 根据Framework枚举创建对应后端实例def create_backend(framework): fw Framework(framework) if not isinstance(framework, Framework) else framework if fw Framework.MLX: return MLXBackend() return TransformersBackend()Framework枚举定义在 core_types.py 中取值仅两个MLX mlx与TRANSFORMERS transformers。这个设计让「新增一种推理框架」变得非常便宜——只需实现一个新的BaseBackend子类并扩展工厂函数即可。九、适用前提与使用限制MLX 路线依赖 Apple SiliconMLX 后端基于 Metal 后端只能在搭载 Apple M 系列芯片的 Mac 上发挥性能非 Mac 环境应使用 Transformers 后端模型来源mlx来源从mlx-community组织拉取已量化模型需要相应的网络访问能力可用socksio配合代理配置以 JSON 为准README 表格只是摘要模型清单、FrameworkInference等以 configs/model_info/mlx.json 与 configs/model_info/original.json 为最终依据性能数据来源文中 CPU/MLX 对比数据来自 MLX-LM_Intro.md 记录的 M3 MAX 64G 实测不同芯片型号、模型大小下的数据会有差异请以自己机器上的实测为准。从环境搭建、模型下载到双框架对话、配置热加载models_mlx提供了一套完整且可扩展的 Mac 本地大模型方案——既适合初学者通过 Gradio 界面快速上手也适合开发者基于其模块化代码二次定制。【免费下载链接】self-llm《开源大模型食用指南》针对中国宝宝量身打造的基于Linux环境快速微调全参数/Lora、部署国内外开源大模型LLM/多模态大模型MLLM教程项目地址: https://gitcode.com/GitHub_Trending/se/self-llm创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
