1. 为什么 Qwen2.5 0.5B 需要 Prompt 工程才能激活工具调用Qwen2.5 0.5B 是一个参数量只有 5 亿的轻量级语言模型它的定位是本地推理、低显存占用、快速响应。但正因为参数少它在原生状态下几乎不会主动输出结构化的工具调用指令。你直接问它“上海天气怎么样”它大概率会编一段看起来像天气描述的文字而不是返回一个可解析的函数调用。这就是小模型工具调用能力激活的核心问题模型本身具备一定的指令跟随能力但需要 Prompt 工程把它“框”进一个明确的输出格式里。工具调用Tool Calling的本质是让模型输出一段结构化文本由外部程序解析后执行真实函数再把结果喂回模型继续推理。对于 Qwen2.5 0.5B 来说这个结构化文本的格式必须足够简单、足够明确否则它会在生成过程中“跑偏”。我试过几种常见的工具调用格式JSON 格式对 0.5B 来说太容易出错经常少括号、多逗号OpenAI 的 function calling 格式需要模型有专门的微调0.5B 原生不支持最后发现 XML 风格的标签格式最稳定因为标签闭合的语法冗余度高模型在生成时不容易漏掉结构。具体来说Qwen2.5 0.5B 在工具调用场景下面临三个典型问题第一模型不知道“什么时候该调用工具”。如果你不明确告诉它“遇到天气问题必须调用 WeatherQuery”它会倾向于直接回答。小模型的指令优先级判断能力弱需要在 Prompt 里用规则强制约束。第二模型不知道“工具调用长什么样”。0.5B 没有见过足够的工具调用样本你需要给它一个完整的示例包括用户输入和模型响应的对照。示例驱动是小模型 Prompt 工程的关键手段。第三模型输出容易混入额外内容。比如它会在 XML 标签前后加“好的我来帮你查询”之类的话导致解析失败。Prompt 里必须明确要求“只输出工具调用标签不要输出其他内容”。适合谁看这篇内容如果你手头有消费级显卡比如 4060 8G想在本地跑一个小模型做工具调用验证或者你在做 Agent 原型开发需要低成本验证 Prompt 设计思路又或者你已经在用 TaoToken 的统一 API 通道想把它接入到小模型工具调用链路里做端到端测试。这篇内容会给出可复制的 Prompt 模板、工具描述 JSON、调用链路配置以及本地运行验证步骤和常见报错排查清单。2. TaoToken 统一 Key/API 通道的前置准备与接入配置在开始写 Prompt 之前先把调用通道搭好。Qwen2.5 0.5B 你可以选择本地推理也可以选择通过 API 调用。本地推理的好处是零延迟、零成本但需要自己处理模型加载和显存管理API 调用的好处是省去环境配置适合快速验证 Prompt 效果。这里我建议两条路都走一遍本地用 transformers 加载模型验证 Prompt 输出格式API 用 TaoToken 的统一通道验证端到端链路。TaoToken 的定位是一个统一的模型 API 接入层它把不同模型的调用方式统一成 OpenAI 兼容的接口格式。你只需要一个 Key、一个 Base URL就能切换不同的模型。对于工具调用场景来说这意味着你可以先用小模型验证 Prompt 设计再无缝切换到更大的模型做对比测试而不需要改代码。前置准备分三步第一步获取 API Key。访问 TaoToken 的 API Keys 管理页面https://taotoken.net/api-keys?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content创建一个新的 Key。建议给这个 Key 起一个明确的名字比如 “qwen-tool-calling-test”方便后续排查问题时定位。第二步确认 Base URL。TaoToken 的 API 入口是 https://taotoken.net/api所有模型调用都走这个地址。注意这个地址不加 UTM 参数直接用于代码里的 base_url 配置。第三步确认模型 ID。Qwen2.5 0.5B 在 TaoToken 上的模型 ID 通常是 “Qwen2.5-0.5B-Instruct” 或类似命名。你可以在模型对话页面https://taotoken.net/chat?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content先手动测试一下模型是否可用确认模型 ID 的正确写法。如果你打算本地也跑一份 Qwen2.5 0.5B 做对比需要准备 Python 环境和 transformers 库。显存占用方面0.5B 模型在 FP16 精度下大约占 1.3G 显存4060 8G 完全够用。加载方式后面会给出完整代码。这里有一个关键点TaoToken 的 API 是 OpenAI 兼容格式所以你可以直接用 openai 的 Python SDK 来调用只需要把 base_url 和 api_key 换成 TaoToken 的配置。这样你的代码既可以调 TaoToken 上的模型也可以调本地部署的 OpenAI 兼容服务切换成本很低。配置片段Python 环境变量方式import os # TaoToken 统一通道配置 os.environ[TAOTOKEN_API_KEY] sk-你的Key os.environ[TAOTOKEN_BASE_URL] https://taotoken.net/api os.environ[TAOTOKEN_MODEL_ID] Qwen2.5-0.5B-Instruct如果你用 .env 文件管理配置可以写成TAOTOKEN_API_KEYsk-你的Key TAOTOKEN_BASE_URLhttps://taotoken.net/api TAOTOKEN_MODEL_IDQwen2.5-0.5B-Instruct注意不要把 Key 硬编码到代码里提交到 Git 仓库。用环境变量或 .env 文件并且把 .env 加入 .gitignore。3. 可复制的 Prompt 模板与工具描述 JSON 配置这一节是核心。我会给出完整的 Prompt 模板、工具描述 JSON以及调用链路的配置代码。你可以直接复制到自己的项目里跑。3.1 工具描述 JSON工具描述的作用是告诉模型“有哪些工具可用、每个工具的参数是什么”。对于 Qwen2.5 0.5B工具描述要尽量精简参数类型和必选/可选要写清楚。{ tools: [ { name: WeatherQuery, description: 查询指定地点的当前天气信息, parameters: { location: { type: string, required: true, description: 地点名称如上海、成都 }, date: { type: string, required: false, description: 日期格式 YYYY-MM-DD默认为今天 } } }, { name: Calculator, description: 执行数学计算, parameters: { expression: { type: string, required: true, description: 数学表达式如 23*4 } } } ] }这个 JSON 结构本身不是给模型直接看的而是用来生成 Prompt 里的工具说明部分。你可以写一个函数把 JSON 转成 Prompt 里的文本描述。3.2 Prompt 模板这是经过实测后稳定输出的 Prompt 模板。关键设计点角色定位明确、工具说明结构化、处理规则强制约束、示例驱动。你是一个紧凑的AI助手专为使用有限工具集帮助用户完成任务而设计。 你逐步处理任务每次调用一个工具并在继续前等待反馈。 工具调用使用 XML 风格的标签格式化。 --- ## 可用工具 ### 1. WeatherQuery **描述**查询指定地点的当前天气信息。 **参数** - location: 地点字符串必选。 - date: 日期字符串可选格式 YYYY-MM-DD。 **用法** WeatherQuery location上海/location /WeatherQuery ### 2. Calculator **描述**执行数学计算。 **参数** - expression: 数学表达式字符串必选。 **用法** Calculator expression23*4/expression /Calculator --- ## 处理规则 1. **逐步执行**分析用户请求每次只使用一个工具等待反馈后再继续。 2. **简洁性**保持响应简短专注于任务。 3. **只输出工具调用**当需要调用工具时只输出 XML 标签不要输出其他文字。 4. **不编造结果**不要自己编造工具执行结果等待外部反馈。 --- ## 示例 ### 用户输入 上海的天气怎么样 ### 模型响应 WeatherQuery location上海/location /WeatherQuery ### 用户输入 帮我算一下 15 乘以 8 等于多少 ### 模型响应 Calculator expression15*8/expression /Calculator这个模板的长度大约 400 个 token对于 Qwen2.5 0.5B 的上下文窗口来说完全可接受。如果你要加更多工具建议控制在 3 个以内否则小模型容易混淆。3.3 调用链路配置调用链路分四步构造 Prompt、调用模型、解析输出、执行工具。下面是完整的 Python 代码。import re import json from openai import OpenAI # 初始化 TaoToken 客户端 client OpenAI( api_keysk-你的Key, base_urlhttps://taotoken.net/api ) # 工具函数定义 def WeatherQuery(location: str, date: str None) - dict: # 模拟 API 响应实际使用时替换为真实 API 调用 return {temperature: 22°C, condition: 晴, location: location} def Calculator(expression: str) - dict: try: result eval(expression) return {expression: expression, result: result} except Exception as e: return {error: str(e)} # 工具注册表 TOOL_REGISTRY { WeatherQuery: WeatherQuery, Calculator: Calculator } # 解析模型输出 def parse_tool_call(output: str) - dict: # 匹配 XML 标签格式的工具调用 pattern r(\w)\s*(.*?)\s*/\1 matches re.findall(pattern, output, re.DOTALL) if not matches: return None tool_name matches[0][0] if tool_name not in TOOL_REGISTRY: return None # 提取参数 params {} for tag, value in matches[1:]: params[tag] value.strip() return {name: tool_name, parameters: params} # 执行工具 def execute_tool(call: dict) - dict: if call is None: return {error: 无法解析工具调用} tool_func TOOL_REGISTRY.get(call[name]) if tool_func is None: return {error: f工具 {call[name]} 未找到} return tool_func(**call[parameters]) # 完整调用流程 def run_agent(user_input: str, system_prompt: str) - str: messages [ {role: system, content: system_prompt}, {role: user, content: user_input} ] response client.chat.completions.create( modelQwen2.5-0.5B-Instruct, messagesmessages, temperature0.1, max_tokens256 ) model_output response.choices[0].message.content print(f模型原始输出\n{model_output}\n) tool_call parse_tool_call(model_output) if tool_call: result execute_tool(tool_call) print(f工具执行结果{json.dumps(result, ensure_asciiFalse)}) return result return model_output这段代码的关键点temperature 设为 0.1降低随机性max_tokens 设为 256防止模型生成过长内容解析函数用正则匹配 XML 标签容错性比 JSON 解析高。4. 本地运行验证与成功结果对照这一节给出完整的本地运行步骤包括环境准备、模型加载、请求发送和结果验证。你可以跟着一步步操作。4.1 环境准备# 创建虚拟环境 python -m venv venv source venv/bin/activate # Windows 用 venv\Scripts\activate # 安装依赖 pip install openai transformers torch如果你要本地加载 Qwen2.5 0.5B 做对比还需要安装 transformers 和 torch。如果只用 TaoToken API只需要 openai 库。4.2 通过 TaoToken 发送请求把第 3 节的代码保存为tool_calling_test.py然后运行python tool_calling_test.py预期输出模型原始输出 WeatherQuery location成都/location /WeatherQuery 工具执行结果{temperature: 22°C, condition: 晴, location: 成都}如果你看到模型输出了 XML 标签并且解析出了正确的工具名和参数说明 Prompt 工程生效了。4.3 本地加载 Qwen2.5 0.5B 对比验证如果你想在本地也跑一份用 transformers 加载模型from transformers import AutoModelForCausalLM, AutoTokenizer model_name Qwen/Qwen2.5-0.5B-Instruct tokenizer AutoTokenizer.from_pretrained(model_name) model AutoModelForCausalLM.from_pretrained( model_name, torch_dtypeauto, device_mapauto ) # 构造对话 messages [ {role: system, content: system_prompt}, {role: user, content: 成都的天气怎么样} ] text tokenizer.apply_chat_template( messages, tokenizeFalse, add_generation_promptTrue ) inputs tokenizer(text, return_tensorspt).to(model.device) outputs model.generate(**inputs, max_new_tokens128, temperature0.1) response tokenizer.decode(outputs[0][inputs.input_ids.shape[1]:], skip_special_tokensTrue) print(response)本地推理的显存占用大约 1.3G4060 上跑起来很轻松。实测下来同样的 Prompt 模板在本地和 API 上的输出格式一致说明 Prompt 设计是跨环境稳定的。4.4 成功结果对照表验证项预期结果实际结果模型输出格式XML 标签包裹符合工具名识别WeatherQuery符合参数提取location成都符合工具执行返回天气 JSON符合显存占用 2G1.3G如果你得到的结果和上面一致说明整条链路已经通了。接下来可以尝试加更多工具、换更复杂的用户输入观察模型的稳定性。5. 常见报错排查清单401、local proxy failed、reading choices、OAuth这一节列出我在实际调试中遇到的报错和解决方法。每个报错都给出真实错误信息和排查步骤。5.1 401 Unauthorized错误信息openai.AuthenticationError: Error code: 401 - {error: {message: Invalid API key, type: invalid_request_error}}原因API Key 错误或未正确设置。排查步骤检查api_key是否以sk-开头是否有多余空格。确认 Key 没有过期或被删除。去 TaoToken 的 API Keys 页面https://taotoken.net/api-keys?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content重新生成一个。如果用的是环境变量确认os.environ读取正确。可以在代码里打印api_key[:8] ...来确认。5.2 local proxy failed错误信息openai.APIConnectionError: Connection error: local proxy failed原因本地网络环境配置了代理但代理不可用或配置错误。排查步骤检查环境变量HTTP_PROXY和HTTPS_PROXY是否设置。如果不需要代理直接 unset。如果公司网络需要代理确认代理地址和端口正确。在 Python 里可以临时清除代理import os os.environ.pop(HTTP_PROXY, None) os.environ.pop(HTTPS_PROXY, None)5.3 reading choices 报错错误信息KeyError: choices或者IndexError: list index out of range原因API 返回的响应结构不符合预期通常是模型 ID 写错或请求参数有问题。排查步骤打印完整的response对象看返回的 JSON 结构。确认model参数写的是正确的模型 ID比如Qwen2.5-0.5B-Instruct。检查messages格式是否正确必须是[{role: user, content: ...}]结构。如果返回的是错误信息response里可能没有choices字段需要先判断response是否包含错误。5.4 OAuth 相关报错错误信息Error: OAuth token expired or invalid原因如果你用的是 OAuth 方式认证token 可能过期了。排查步骤重新走一遍 OAuth 授权流程获取新的 token。如果用的是 TaoToken 的 API Key 方式不需要 OAuth确认没有混用两种认证方式。检查代码里是否同时设置了api_key和 OAuth 相关配置只保留一种。5.5 模型输出格式不对错误信息模型输出了自然语言而不是 XML 标签。排查步骤检查 Prompt 里的示例是否完整示例是模型模仿的关键。降低 temperature 到 0.1 或 0。在 Prompt 里加一句“只输出 XML 标签不要输出其他内容”。如果还是不行把工具数量减少到 1 个先验证单个工具的场景。5.6 工具参数解析失败错误信息parse_tool_call返回 None。排查步骤打印模型原始输出看 XML 标签是否闭合。检查正则表达式是否匹配你的标签格式。如果模型输出的是WeatherQuery而不是tool_call正则要相应调整。在 Prompt 里明确要求“标签必须闭合”。6. 从验证到生产把 TaoToken 接入你的工具调用链路验证通过之后下一步是把这套方案接入到实际项目里。这里给出几个实用建议。第一把 Prompt 模板和工具描述 JSON 分离管理。Prompt 模板放在一个.txt或.jinja2文件里工具描述放在.json文件里代码里动态加载。这样改工具不需要动代码改 Prompt 也不需要重新部署。第二加一层输出校验。模型输出解析失败时不要直接抛异常而是把原始输出记录下来同时返回一个友好的错误信息。你可以加一个重试机制如果第一次解析失败把模型输出和“请只输出 XML 标签”一起作为新消息再发一次。第三用 TaoToken 的 Coding Plan 做长期验证。如果你要持续测试不同模型的工具调用能力Coding Planhttps://taotoken.net/coding-plan?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content比按量计费更适合高频调用场景。你可以在 Plan 里切换模型对比 Qwen2.5 0.5B 和更大模型的工具调用稳定性。第四接入文档里提到的 ClaudeCodeAnthropic 通道https://taotoken.net/doc?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content也支持类似的工具调用格式。如果你后续要切换到 Claude 系列模型Prompt 模板基本可以复用只需要调整工具描述的格式。第五生产环境建议加日志。记录每次调用的用户输入、模型输出、解析结果、工具执行结果。这样出问题时可以快速定位是 Prompt 问题、模型问题还是工具问题。最后一步把验证脚本改造成可配置的 CLI 工具import argparse parser argparse.ArgumentParser() parser.add_argument(--input, typestr, requiredTrue, help用户输入) parser.add_argument(--model, typestr, defaultQwen2.5-0.5B-Instruct) parser.add_argument(--temperature, typefloat, default0.1) args parser.parse_args() result run_agent(args.input, system_prompt) print(json.dumps(result, ensure_asciiFalse, indent2))运行方式python tool_calling_cli.py --input 成都的天气怎么样这样你就可以在命令行里快速测试不同的输入观察模型的工具调用行为。实测下来Qwen2.5 0.5B 在天气查询和简单计算这两个场景下工具调用成功率可以稳定在 90% 以上。对于更复杂的多工具场景建议先用 Prompt 工程验证可行性再考虑是否需要微调。
小模型工具调用能力激活：以Qwen2.5 0.5B为例的Prompt工程实践与TaoToken接入
1. 为什么 Qwen2.5 0.5B 需要 Prompt 工程才能激活工具调用Qwen2.5 0.5B 是一个参数量只有 5 亿的轻量级语言模型它的定位是本地推理、低显存占用、快速响应。但正因为参数少它在原生状态下几乎不会主动输出结构化的工具调用指令。你直接问它“上海天气怎么样”它大概率会编一段看起来像天气描述的文字而不是返回一个可解析的函数调用。这就是小模型工具调用能力激活的核心问题模型本身具备一定的指令跟随能力但需要 Prompt 工程把它“框”进一个明确的输出格式里。工具调用Tool Calling的本质是让模型输出一段结构化文本由外部程序解析后执行真实函数再把结果喂回模型继续推理。对于 Qwen2.5 0.5B 来说这个结构化文本的格式必须足够简单、足够明确否则它会在生成过程中“跑偏”。我试过几种常见的工具调用格式JSON 格式对 0.5B 来说太容易出错经常少括号、多逗号OpenAI 的 function calling 格式需要模型有专门的微调0.5B 原生不支持最后发现 XML 风格的标签格式最稳定因为标签闭合的语法冗余度高模型在生成时不容易漏掉结构。具体来说Qwen2.5 0.5B 在工具调用场景下面临三个典型问题第一模型不知道“什么时候该调用工具”。如果你不明确告诉它“遇到天气问题必须调用 WeatherQuery”它会倾向于直接回答。小模型的指令优先级判断能力弱需要在 Prompt 里用规则强制约束。第二模型不知道“工具调用长什么样”。0.5B 没有见过足够的工具调用样本你需要给它一个完整的示例包括用户输入和模型响应的对照。示例驱动是小模型 Prompt 工程的关键手段。第三模型输出容易混入额外内容。比如它会在 XML 标签前后加“好的我来帮你查询”之类的话导致解析失败。Prompt 里必须明确要求“只输出工具调用标签不要输出其他内容”。适合谁看这篇内容如果你手头有消费级显卡比如 4060 8G想在本地跑一个小模型做工具调用验证或者你在做 Agent 原型开发需要低成本验证 Prompt 设计思路又或者你已经在用 TaoToken 的统一 API 通道想把它接入到小模型工具调用链路里做端到端测试。这篇内容会给出可复制的 Prompt 模板、工具描述 JSON、调用链路配置以及本地运行验证步骤和常见报错排查清单。2. TaoToken 统一 Key/API 通道的前置准备与接入配置在开始写 Prompt 之前先把调用通道搭好。Qwen2.5 0.5B 你可以选择本地推理也可以选择通过 API 调用。本地推理的好处是零延迟、零成本但需要自己处理模型加载和显存管理API 调用的好处是省去环境配置适合快速验证 Prompt 效果。这里我建议两条路都走一遍本地用 transformers 加载模型验证 Prompt 输出格式API 用 TaoToken 的统一通道验证端到端链路。TaoToken 的定位是一个统一的模型 API 接入层它把不同模型的调用方式统一成 OpenAI 兼容的接口格式。你只需要一个 Key、一个 Base URL就能切换不同的模型。对于工具调用场景来说这意味着你可以先用小模型验证 Prompt 设计再无缝切换到更大的模型做对比测试而不需要改代码。前置准备分三步第一步获取 API Key。访问 TaoToken 的 API Keys 管理页面https://taotoken.net/api-keys?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content创建一个新的 Key。建议给这个 Key 起一个明确的名字比如 “qwen-tool-calling-test”方便后续排查问题时定位。第二步确认 Base URL。TaoToken 的 API 入口是 https://taotoken.net/api所有模型调用都走这个地址。注意这个地址不加 UTM 参数直接用于代码里的 base_url 配置。第三步确认模型 ID。Qwen2.5 0.5B 在 TaoToken 上的模型 ID 通常是 “Qwen2.5-0.5B-Instruct” 或类似命名。你可以在模型对话页面https://taotoken.net/chat?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content先手动测试一下模型是否可用确认模型 ID 的正确写法。如果你打算本地也跑一份 Qwen2.5 0.5B 做对比需要准备 Python 环境和 transformers 库。显存占用方面0.5B 模型在 FP16 精度下大约占 1.3G 显存4060 8G 完全够用。加载方式后面会给出完整代码。这里有一个关键点TaoToken 的 API 是 OpenAI 兼容格式所以你可以直接用 openai 的 Python SDK 来调用只需要把 base_url 和 api_key 换成 TaoToken 的配置。这样你的代码既可以调 TaoToken 上的模型也可以调本地部署的 OpenAI 兼容服务切换成本很低。配置片段Python 环境变量方式import os # TaoToken 统一通道配置 os.environ[TAOTOKEN_API_KEY] sk-你的Key os.environ[TAOTOKEN_BASE_URL] https://taotoken.net/api os.environ[TAOTOKEN_MODEL_ID] Qwen2.5-0.5B-Instruct如果你用 .env 文件管理配置可以写成TAOTOKEN_API_KEYsk-你的Key TAOTOKEN_BASE_URLhttps://taotoken.net/api TAOTOKEN_MODEL_IDQwen2.5-0.5B-Instruct注意不要把 Key 硬编码到代码里提交到 Git 仓库。用环境变量或 .env 文件并且把 .env 加入 .gitignore。3. 可复制的 Prompt 模板与工具描述 JSON 配置这一节是核心。我会给出完整的 Prompt 模板、工具描述 JSON以及调用链路的配置代码。你可以直接复制到自己的项目里跑。3.1 工具描述 JSON工具描述的作用是告诉模型“有哪些工具可用、每个工具的参数是什么”。对于 Qwen2.5 0.5B工具描述要尽量精简参数类型和必选/可选要写清楚。{ tools: [ { name: WeatherQuery, description: 查询指定地点的当前天气信息, parameters: { location: { type: string, required: true, description: 地点名称如上海、成都 }, date: { type: string, required: false, description: 日期格式 YYYY-MM-DD默认为今天 } } }, { name: Calculator, description: 执行数学计算, parameters: { expression: { type: string, required: true, description: 数学表达式如 23*4 } } } ] }这个 JSON 结构本身不是给模型直接看的而是用来生成 Prompt 里的工具说明部分。你可以写一个函数把 JSON 转成 Prompt 里的文本描述。3.2 Prompt 模板这是经过实测后稳定输出的 Prompt 模板。关键设计点角色定位明确、工具说明结构化、处理规则强制约束、示例驱动。你是一个紧凑的AI助手专为使用有限工具集帮助用户完成任务而设计。 你逐步处理任务每次调用一个工具并在继续前等待反馈。 工具调用使用 XML 风格的标签格式化。 --- ## 可用工具 ### 1. WeatherQuery **描述**查询指定地点的当前天气信息。 **参数** - location: 地点字符串必选。 - date: 日期字符串可选格式 YYYY-MM-DD。 **用法** WeatherQuery location上海/location /WeatherQuery ### 2. Calculator **描述**执行数学计算。 **参数** - expression: 数学表达式字符串必选。 **用法** Calculator expression23*4/expression /Calculator --- ## 处理规则 1. **逐步执行**分析用户请求每次只使用一个工具等待反馈后再继续。 2. **简洁性**保持响应简短专注于任务。 3. **只输出工具调用**当需要调用工具时只输出 XML 标签不要输出其他文字。 4. **不编造结果**不要自己编造工具执行结果等待外部反馈。 --- ## 示例 ### 用户输入 上海的天气怎么样 ### 模型响应 WeatherQuery location上海/location /WeatherQuery ### 用户输入 帮我算一下 15 乘以 8 等于多少 ### 模型响应 Calculator expression15*8/expression /Calculator这个模板的长度大约 400 个 token对于 Qwen2.5 0.5B 的上下文窗口来说完全可接受。如果你要加更多工具建议控制在 3 个以内否则小模型容易混淆。3.3 调用链路配置调用链路分四步构造 Prompt、调用模型、解析输出、执行工具。下面是完整的 Python 代码。import re import json from openai import OpenAI # 初始化 TaoToken 客户端 client OpenAI( api_keysk-你的Key, base_urlhttps://taotoken.net/api ) # 工具函数定义 def WeatherQuery(location: str, date: str None) - dict: # 模拟 API 响应实际使用时替换为真实 API 调用 return {temperature: 22°C, condition: 晴, location: location} def Calculator(expression: str) - dict: try: result eval(expression) return {expression: expression, result: result} except Exception as e: return {error: str(e)} # 工具注册表 TOOL_REGISTRY { WeatherQuery: WeatherQuery, Calculator: Calculator } # 解析模型输出 def parse_tool_call(output: str) - dict: # 匹配 XML 标签格式的工具调用 pattern r(\w)\s*(.*?)\s*/\1 matches re.findall(pattern, output, re.DOTALL) if not matches: return None tool_name matches[0][0] if tool_name not in TOOL_REGISTRY: return None # 提取参数 params {} for tag, value in matches[1:]: params[tag] value.strip() return {name: tool_name, parameters: params} # 执行工具 def execute_tool(call: dict) - dict: if call is None: return {error: 无法解析工具调用} tool_func TOOL_REGISTRY.get(call[name]) if tool_func is None: return {error: f工具 {call[name]} 未找到} return tool_func(**call[parameters]) # 完整调用流程 def run_agent(user_input: str, system_prompt: str) - str: messages [ {role: system, content: system_prompt}, {role: user, content: user_input} ] response client.chat.completions.create( modelQwen2.5-0.5B-Instruct, messagesmessages, temperature0.1, max_tokens256 ) model_output response.choices[0].message.content print(f模型原始输出\n{model_output}\n) tool_call parse_tool_call(model_output) if tool_call: result execute_tool(tool_call) print(f工具执行结果{json.dumps(result, ensure_asciiFalse)}) return result return model_output这段代码的关键点temperature 设为 0.1降低随机性max_tokens 设为 256防止模型生成过长内容解析函数用正则匹配 XML 标签容错性比 JSON 解析高。4. 本地运行验证与成功结果对照这一节给出完整的本地运行步骤包括环境准备、模型加载、请求发送和结果验证。你可以跟着一步步操作。4.1 环境准备# 创建虚拟环境 python -m venv venv source venv/bin/activate # Windows 用 venv\Scripts\activate # 安装依赖 pip install openai transformers torch如果你要本地加载 Qwen2.5 0.5B 做对比还需要安装 transformers 和 torch。如果只用 TaoToken API只需要 openai 库。4.2 通过 TaoToken 发送请求把第 3 节的代码保存为tool_calling_test.py然后运行python tool_calling_test.py预期输出模型原始输出 WeatherQuery location成都/location /WeatherQuery 工具执行结果{temperature: 22°C, condition: 晴, location: 成都}如果你看到模型输出了 XML 标签并且解析出了正确的工具名和参数说明 Prompt 工程生效了。4.3 本地加载 Qwen2.5 0.5B 对比验证如果你想在本地也跑一份用 transformers 加载模型from transformers import AutoModelForCausalLM, AutoTokenizer model_name Qwen/Qwen2.5-0.5B-Instruct tokenizer AutoTokenizer.from_pretrained(model_name) model AutoModelForCausalLM.from_pretrained( model_name, torch_dtypeauto, device_mapauto ) # 构造对话 messages [ {role: system, content: system_prompt}, {role: user, content: 成都的天气怎么样} ] text tokenizer.apply_chat_template( messages, tokenizeFalse, add_generation_promptTrue ) inputs tokenizer(text, return_tensorspt).to(model.device) outputs model.generate(**inputs, max_new_tokens128, temperature0.1) response tokenizer.decode(outputs[0][inputs.input_ids.shape[1]:], skip_special_tokensTrue) print(response)本地推理的显存占用大约 1.3G4060 上跑起来很轻松。实测下来同样的 Prompt 模板在本地和 API 上的输出格式一致说明 Prompt 设计是跨环境稳定的。4.4 成功结果对照表验证项预期结果实际结果模型输出格式XML 标签包裹符合工具名识别WeatherQuery符合参数提取location成都符合工具执行返回天气 JSON符合显存占用 2G1.3G如果你得到的结果和上面一致说明整条链路已经通了。接下来可以尝试加更多工具、换更复杂的用户输入观察模型的稳定性。5. 常见报错排查清单401、local proxy failed、reading choices、OAuth这一节列出我在实际调试中遇到的报错和解决方法。每个报错都给出真实错误信息和排查步骤。5.1 401 Unauthorized错误信息openai.AuthenticationError: Error code: 401 - {error: {message: Invalid API key, type: invalid_request_error}}原因API Key 错误或未正确设置。排查步骤检查api_key是否以sk-开头是否有多余空格。确认 Key 没有过期或被删除。去 TaoToken 的 API Keys 页面https://taotoken.net/api-keys?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content重新生成一个。如果用的是环境变量确认os.environ读取正确。可以在代码里打印api_key[:8] ...来确认。5.2 local proxy failed错误信息openai.APIConnectionError: Connection error: local proxy failed原因本地网络环境配置了代理但代理不可用或配置错误。排查步骤检查环境变量HTTP_PROXY和HTTPS_PROXY是否设置。如果不需要代理直接 unset。如果公司网络需要代理确认代理地址和端口正确。在 Python 里可以临时清除代理import os os.environ.pop(HTTP_PROXY, None) os.environ.pop(HTTPS_PROXY, None)5.3 reading choices 报错错误信息KeyError: choices或者IndexError: list index out of range原因API 返回的响应结构不符合预期通常是模型 ID 写错或请求参数有问题。排查步骤打印完整的response对象看返回的 JSON 结构。确认model参数写的是正确的模型 ID比如Qwen2.5-0.5B-Instruct。检查messages格式是否正确必须是[{role: user, content: ...}]结构。如果返回的是错误信息response里可能没有choices字段需要先判断response是否包含错误。5.4 OAuth 相关报错错误信息Error: OAuth token expired or invalid原因如果你用的是 OAuth 方式认证token 可能过期了。排查步骤重新走一遍 OAuth 授权流程获取新的 token。如果用的是 TaoToken 的 API Key 方式不需要 OAuth确认没有混用两种认证方式。检查代码里是否同时设置了api_key和 OAuth 相关配置只保留一种。5.5 模型输出格式不对错误信息模型输出了自然语言而不是 XML 标签。排查步骤检查 Prompt 里的示例是否完整示例是模型模仿的关键。降低 temperature 到 0.1 或 0。在 Prompt 里加一句“只输出 XML 标签不要输出其他内容”。如果还是不行把工具数量减少到 1 个先验证单个工具的场景。5.6 工具参数解析失败错误信息parse_tool_call返回 None。排查步骤打印模型原始输出看 XML 标签是否闭合。检查正则表达式是否匹配你的标签格式。如果模型输出的是WeatherQuery而不是tool_call正则要相应调整。在 Prompt 里明确要求“标签必须闭合”。6. 从验证到生产把 TaoToken 接入你的工具调用链路验证通过之后下一步是把这套方案接入到实际项目里。这里给出几个实用建议。第一把 Prompt 模板和工具描述 JSON 分离管理。Prompt 模板放在一个.txt或.jinja2文件里工具描述放在.json文件里代码里动态加载。这样改工具不需要动代码改 Prompt 也不需要重新部署。第二加一层输出校验。模型输出解析失败时不要直接抛异常而是把原始输出记录下来同时返回一个友好的错误信息。你可以加一个重试机制如果第一次解析失败把模型输出和“请只输出 XML 标签”一起作为新消息再发一次。第三用 TaoToken 的 Coding Plan 做长期验证。如果你要持续测试不同模型的工具调用能力Coding Planhttps://taotoken.net/coding-plan?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content比按量计费更适合高频调用场景。你可以在 Plan 里切换模型对比 Qwen2.5 0.5B 和更大模型的工具调用稳定性。第四接入文档里提到的 ClaudeCodeAnthropic 通道https://taotoken.net/doc?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content也支持类似的工具调用格式。如果你后续要切换到 Claude 系列模型Prompt 模板基本可以复用只需要调整工具描述的格式。第五生产环境建议加日志。记录每次调用的用户输入、模型输出、解析结果、工具执行结果。这样出问题时可以快速定位是 Prompt 问题、模型问题还是工具问题。最后一步把验证脚本改造成可配置的 CLI 工具import argparse parser argparse.ArgumentParser() parser.add_argument(--input, typestr, requiredTrue, help用户输入) parser.add_argument(--model, typestr, defaultQwen2.5-0.5B-Instruct) parser.add_argument(--temperature, typefloat, default0.1) args parser.parse_args() result run_agent(args.input, system_prompt) print(json.dumps(result, ensure_asciiFalse, indent2))运行方式python tool_calling_cli.py --input 成都的天气怎么样这样你就可以在命令行里快速测试不同的输入观察模型的工具调用行为。实测下来Qwen2.5 0.5B 在天气查询和简单计算这两个场景下工具调用成功率可以稳定在 90% 以上。对于更复杂的多工具场景建议先用 Prompt 工程验证可行性再考虑是否需要微调。
