1. 复旦测评13家大模型高考数学成绩为什么值得亲手复现一遍复旦 NLP 实验室 LLMEVAL 团队那份高考数学评测出来之后我朋友圈里做模型应用的人几乎都在转。核心结论很直接2024 高考数学新 II 卷的 14 道客观题里字节豆包客观题正确率 74.66%在 13 家大模型里排第一阿里千问和 GPT-4o 分列二三位新 I 卷里豆包也进了前列。GPT-4o 是 OpenAI 今年 5 月发布时重点秀数学能力的模型结果被部分国产模型反超这个反差就是热点本身。但热点归热点真正做应用的人关心的不是「谁第一」而是「我自己业务里该选哪个模型」。榜单是别人的题、别人的判分口径、别人的调用参数你直接拿结论去选型很容易踩坑。比如同一道题temperature 设 0 和设 0.7 结果可能完全不同再比如有些模型默认不开思维链你直接问答案它可能连步骤都省了正确率自然低。所以这篇不聊八卦聊怎么用一套统一的 Key 和 API 通道把 13 家模型拉到同一个脚本里跑同一批高考数学题自己统计得分。这样你得到的不是「复旦说豆包第一」而是「在我的调用参数下豆包、千问、GPT-4o 分别答对几道」。这个结论才是你能拿去写技术方案的。适合谁看正在做模型选型的产品/算法同学、想批量对比多家模型效果的开发者、以及单纯想验证「榜单结论在我这儿成不成立」的技术爱好者。下面从接入配置讲到批量跑题脚本再到得分统计和报错排查全部可复制。2. TaoToken 统一 Key 前置准备一个通道调 13 家模型要复现多模型对比第一个拦路虎不是数学题是「你得有 13 家的账号和 Key」。GPT-4o 要一家、豆包要一家、千问要一家、文心一言又要一家注册、实名、充值、看各自的文档格式光配环境就能耗掉一整天。而且每家的 SDK 和请求体结构都不一样写对比脚本时你要维护 13 套调用逻辑改一个参数要改 13 个地方。我试过用统一网关来收敛这件事TaoToken 就是这类通道它对外暴露一套 OpenAI 兼容的接口你用同一个 Base URL 和同一个 API Key通过改model字段就能切换到不同厂商的模型。对复现评测来说这意味着一份脚本、一个循环、一张模型列表就能把 13 家跑完。先把地址记清楚后面配置要用官网入口https://taotoken.net/?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_contentAPI 基址https://taotoken.net/api 这个不加 UTM直接作为 Base URL 用拿 Key 的路径是进官网后到控制台的 API Keys 页面创建模型对话页可以直接试跑单条请求接入文档页有各语言的示例。这几个 deep link 我也放一下方便你直接跳模型对话先试一条https://taotoken.net/console/model-chat?utm_sourcetaotoken_aicg_blog_endutm_contentmodel_chatutm_campaignrewrite控制台建 Keyhttps://taotoken.net/console?utm_sourcetaotoken_aicg_blog_endutm_contentconsoleutm_campaignrewriteAPI Keys 管理https://taotoken.net/console/api-keys?utm_sourcetaotoken_aicg_blog_endutm_contentapi_keysutm_campaignrewrite接入文档https://taotoken.net/doc?utm_sourcetaotoken_aicg_blog_endutm_contentdocutm_campaignrewrite这里要强调一个概念TaoToken 是统一调用通道不是编辑器替代品也不是让你绕过什么。它的价值在于把「多厂商鉴权 多套请求格式」收敛成「一套 OpenAI 兼容格式」让你把精力放在题目和判分上而不是环境配置上。对做评测复现这种「要横向拉多家」的场景这个收敛特别值。模型 ID 这块不同厂商命名不一样比如豆包系列、千问系列、GPT-4o 各有各的写法。你不用背接入文档里有当前支持的模型清单脚本里把 model 字段填成清单里的 ID 即可。下面配置章节我会给一个可复制的模型列表模板你按文档核对一遍就能用。3. 可复制配置settings.json / config.toml / .env 三件套配置这块我按三种常见形态给你按自己用的工具挑一个。核心三件套永远是Base URL、API Key、Model ID。这三个填对剩下就是发请求。3.1 通用 .env 配置Python 脚本用如果你直接写 Python 脚本跑批量题用.env最省事# .env TAOTOKEN_BASE_URLhttps://taotoken.net/api TAOTOKEN_API_KEYsk-你的Key粘贴在这里 # 模型 ID 按接入文档核对下面只是占位示例 TAOTOKEN_MODEL_DOUBAOdoubao-pro TAOTOKEN_MODEL_QWENqwen-max TAOTOKEN_MODEL_GPT4Ogpt-4o注意 Base URL 结尾不要多加/v1或斜杠OpenAI 兼容客户端一般会自己拼/chat/completions多写了会 404。Key 从 API Keys 页面复制别带空格。3.2 Claude Code / 类 CLI 工具的 settings.json如果你用 Claude Code 这类 CLI 工具做代码或问答配置通常落在settings.json。路径按你工具的实际约定来字段结构如下{ env: { ANTHROPIC_BASE_URL: https://taotoken.net/api, ANTHROPIC_API_KEY: sk-你的Key粘贴在这里, ANTHROPIC_MODEL: claude-sonnet-4 } }这里三件套对应关系是Base URL 填https://taotoken.net/apiKey 填你创建的Model ID 填文档里对应的 Claude 系列 ID。改完重启工具生效。3.3 Codex 类工具的 auth.json如果你用的是 Codex 风格的工具鉴权常落在auth.json{ base_url: https://taotoken.net/api, api_key: sk-你的Key粘贴在这里, model: gpt-4o }同样三件套Base URL、Key、Model ID。不同工具字段名可能略有差异以接入文档为准但值就这三个。3.4 模型列表模板复现 13 家用把要对比的模型 ID 写成一个列表脚本里循环。下面结构你按文档核对后替换MODELS [ {name: 字节豆包, id: doubao-pro}, {name: 阿里千问, id: qwen-max}, {name: GPT-4o, id: gpt-4o}, {name: 文心一言, id: ernie-4.0}, # ... 其余模型按接入文档清单补齐 ]配置阶段最容易犯的错是把 Base URL 写成官网首页地址。记住请求走的是https://taotoken.net/api不是带 UTM 的那个官网链接。UTM 链接是给人点的API 基址是给程序调的两者别混。4. 验证请求与批量跑题13 家模型 II 卷数学得分统计配置好了先别急着跑 13 家先用一条请求验证通道通不通。4.1 单条验证请求import os from openai import OpenAI from dotenv import load_dotenv load_dotenv() client OpenAI( base_urlos.getenv(TAOTOKEN_BASE_URL), api_keyos.getenv(TAOTOKEN_API_KEY), ) resp client.chat.completions.create( modelos.getenv(TAOTOKEN_MODEL_DOUBAO), messages[ {role: user, content: 2024高考数学新II卷第1题已知集合A{-1,0,1}B{x|x^2≤1}求A∩B。只给最终答案。} ], temperature0, ) print(resp.choices[0].message.content)跑通会看到模型返回答案。如果这里就报错先跳到第 5 节排查别往下走。4.2 批量跑题脚本验证通过后把 14 道客观题整理成一个列表循环 13 家模型。判分逻辑客观题答案通常是选项或数值做字符串归一化后比对。import os, json, re from openai import OpenAI from dotenv import load_dotenv load_dotenv() client OpenAI( base_urlos.getenv(TAOTOKEN_BASE_URL), api_keyos.getenv(TAOTOKEN_API_KEY), ) # 题目与标准答案示例结构实际按你整理的 II 卷客观题填 QUESTIONS [ {qid: 1, text: 已知集合A{-1,0,1}B{x|x^2≤1}求A∩B。, answer: A}, {qid: 2, text: ……, answer: B}, # ... 共 14 道 ] MODELS [ {name: 字节豆包, id: doubao-pro}, {name: 阿里千问, id: qwen-max}, {name: GPT-4o, id: gpt-4o}, # ... 补齐 13 家 ] def normalize(s): s s.strip().upper() s re.sub(r[^A-D0-9\.\-], , s) return s def ask(model_id, question): resp client.chat.completions.create( modelmodel_id, messages[ {role: system, content: 你是数学答题助手只输出最终答案不要过程。}, {role: user, content: question \n只给最终答案。}, ], temperature0, ) return resp.choices[0].message.content results {} for m in MODELS: correct 0 detail [] for item in QUESTIONS: try: out ask(m[id], item[text]) ok normalize(out) normalize(item[answer]) correct int(ok) detail.append({qid: item[qid], out: out, ok: ok}) except Exception as e: detail.append({qid: item[qid], error: str(e)}) acc correct / len(QUESTIONS) * 100 results[m[name]] {correct: correct, total: len(QUESTIONS), acc: round(acc, 2), detail: detail} print(f{m[name]}: {correct}/{len(QUESTIONS)} {acc:.2f}%) with open(math_eval_result.json, w, encodingutf-8) as f: json.dump(results, f, ensure_asciiFalse, indent2)跑完你会得到一张自己的成绩表。实测下来同一批题在不同 temperature 下结果会浮动所以对比时务必固定temperature0否则你统计出来的排名没有可比性。另外注意复旦那份评测用的是 14 道客观题你复现时题目数量、题目本身要和标准答案严格对应判分归一化规则也要统一不然「豆包 74.66%」这种数字你复现不出来是正常的因为口径不同。4.3 结果对照跑完可以拉一张表把「我的复现结果」和「复旦公布结果」并排放模型复旦 II 卷排名我的复现正确率备注字节豆包第 1脚本输出固定 temp0阿里千问第 2脚本输出固定 temp0GPT-4o第 3脚本输出固定 temp0如果你的排名和复旦一致说明通道和判分没问题如果不一致先查是不是模型 ID 填错、或者某家默认开了思维链导致输出格式不同。5. 本篇常见错排查401、local proxy failed、reading choices、OAuth复现过程中最容易卡在这几类报错逐个说。401 Unauthorized九成是 Key 问题。检查.env里TAOTOKEN_API_KEY有没有多余空格、有没有把官网 UTM 链接误当 Key、Key 是不是在 API Keys 页面创建后没复制全。还有一种情况是 Key 被删了或额度用尽去控制台确认状态。local proxy failed / connection error这类通常是 Base URL 写错。确认是https://taotoken.net/api不是官网首页也不是带/v1的地址。如果你本地有网络层工具干扰先关掉再试。注意别把这类报错和任何网络规避手段联系起来就是单纯地址或本地环境问题。reading choices 报错KeyError: choices / 返回体没有 choices 字段说明返回的不是标准 chat completion 结构。常见原因是 model ID 填错通道把请求路由到了不支持该格式的模型或者你请求的模型 ID 在文档里根本不存在。去接入文档核对 model 字段确保拼写一致。OAuth 相关报错如果你用的是 Claude Code 这类带 OAuth 流程的工具报 OAuth 错通常是settings.json里字段名不对或者工具版本和配置结构不匹配。确认三件套字段Base URL、Key、Model ID都填了且 JSON 没有语法错误多余逗号最常见。改完重启工具。返回空内容或只有思考过程有些模型默认输出思维链你判分时拿到一堆过程文字归一化后匹配不上答案。解决办法是在 system prompt 里明确「只输出最终答案」或者调大 max_tokens 防止被截断。13 家里某几家一直超时先单独用模型对话页试那家的模型 ID确认通道侧是否正常。如果单条能通、批量超时多半是你脚本并发太高加个time.sleep(1)或降低并发数。排错时建议按「单条验证 → 单模型批量 → 全模型批量」三步走哪一步挂就在哪一步查别一上来就跑 13 家报错信息会混在一起。6. 把复现脚本用起来从评测到选型的下一步跑完这一轮你手里就有了一份「自己口径下」的 13 家模型高考数学成绩表。它的价值不在于推翻或证实复旦的结论而在于你知道了在固定 temperature、固定 prompt、固定判分规则下各家模型在你这条通道上的真实表现。这个数据可以直接进你的选型文档。如果你要长期做这类多模型对比甚至想把对比脚本接进 CI 定期跑那单次调用按量付费的模式可能不如包月划算可以看看 Coding Plan 这类长期方案https://taotoken.net/console/coding-plan?utm_sourcetaotoken_aicg_blog_endutm_contentcoding_planutm_campaignrewrite如果只是想再手动试几条题、换换 prompt 看效果用模型对话页最快https://taotoken.net/console/model-chat?utm_sourcetaotoken_aicg_blog_endutm_contentmodel_chatutm_campaignrewrite要新建或管理 Key去 API Keys 页https://taotoken.net/console/api-keys?utm_sourcetaotoken_aicg_blog_endutm_contentapi_keysutm_campaignrewrite各语言接入示例和模型清单在文档里https://taotoken.net/doc?utm_sourcetaotoken_aicg_blog_endutm_contentdocutm_campaignrewrite最后一个实操建议把QUESTIONS和MODELS抽成独立的 JSON 文件脚本只负责读文件和跑循环。这样下次换一批题比如换成物理、化学或者换一批模型你不用改代码改配置就行。评测这件事可复现的前提是配置和逻辑分离不然跑第二次你自己都记不清上次改了啥。
复旦测评13家大模型高考数学成绩，字节豆包II卷超GPT-4o夺冠：TaoToken统一Key实测复现
1. 复旦测评13家大模型高考数学成绩为什么值得亲手复现一遍复旦 NLP 实验室 LLMEVAL 团队那份高考数学评测出来之后我朋友圈里做模型应用的人几乎都在转。核心结论很直接2024 高考数学新 II 卷的 14 道客观题里字节豆包客观题正确率 74.66%在 13 家大模型里排第一阿里千问和 GPT-4o 分列二三位新 I 卷里豆包也进了前列。GPT-4o 是 OpenAI 今年 5 月发布时重点秀数学能力的模型结果被部分国产模型反超这个反差就是热点本身。但热点归热点真正做应用的人关心的不是「谁第一」而是「我自己业务里该选哪个模型」。榜单是别人的题、别人的判分口径、别人的调用参数你直接拿结论去选型很容易踩坑。比如同一道题temperature 设 0 和设 0.7 结果可能完全不同再比如有些模型默认不开思维链你直接问答案它可能连步骤都省了正确率自然低。所以这篇不聊八卦聊怎么用一套统一的 Key 和 API 通道把 13 家模型拉到同一个脚本里跑同一批高考数学题自己统计得分。这样你得到的不是「复旦说豆包第一」而是「在我的调用参数下豆包、千问、GPT-4o 分别答对几道」。这个结论才是你能拿去写技术方案的。适合谁看正在做模型选型的产品/算法同学、想批量对比多家模型效果的开发者、以及单纯想验证「榜单结论在我这儿成不成立」的技术爱好者。下面从接入配置讲到批量跑题脚本再到得分统计和报错排查全部可复制。2. TaoToken 统一 Key 前置准备一个通道调 13 家模型要复现多模型对比第一个拦路虎不是数学题是「你得有 13 家的账号和 Key」。GPT-4o 要一家、豆包要一家、千问要一家、文心一言又要一家注册、实名、充值、看各自的文档格式光配环境就能耗掉一整天。而且每家的 SDK 和请求体结构都不一样写对比脚本时你要维护 13 套调用逻辑改一个参数要改 13 个地方。我试过用统一网关来收敛这件事TaoToken 就是这类通道它对外暴露一套 OpenAI 兼容的接口你用同一个 Base URL 和同一个 API Key通过改model字段就能切换到不同厂商的模型。对复现评测来说这意味着一份脚本、一个循环、一张模型列表就能把 13 家跑完。先把地址记清楚后面配置要用官网入口https://taotoken.net/?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_contentAPI 基址https://taotoken.net/api 这个不加 UTM直接作为 Base URL 用拿 Key 的路径是进官网后到控制台的 API Keys 页面创建模型对话页可以直接试跑单条请求接入文档页有各语言的示例。这几个 deep link 我也放一下方便你直接跳模型对话先试一条https://taotoken.net/console/model-chat?utm_sourcetaotoken_aicg_blog_endutm_contentmodel_chatutm_campaignrewrite控制台建 Keyhttps://taotoken.net/console?utm_sourcetaotoken_aicg_blog_endutm_contentconsoleutm_campaignrewriteAPI Keys 管理https://taotoken.net/console/api-keys?utm_sourcetaotoken_aicg_blog_endutm_contentapi_keysutm_campaignrewrite接入文档https://taotoken.net/doc?utm_sourcetaotoken_aicg_blog_endutm_contentdocutm_campaignrewrite这里要强调一个概念TaoToken 是统一调用通道不是编辑器替代品也不是让你绕过什么。它的价值在于把「多厂商鉴权 多套请求格式」收敛成「一套 OpenAI 兼容格式」让你把精力放在题目和判分上而不是环境配置上。对做评测复现这种「要横向拉多家」的场景这个收敛特别值。模型 ID 这块不同厂商命名不一样比如豆包系列、千问系列、GPT-4o 各有各的写法。你不用背接入文档里有当前支持的模型清单脚本里把 model 字段填成清单里的 ID 即可。下面配置章节我会给一个可复制的模型列表模板你按文档核对一遍就能用。3. 可复制配置settings.json / config.toml / .env 三件套配置这块我按三种常见形态给你按自己用的工具挑一个。核心三件套永远是Base URL、API Key、Model ID。这三个填对剩下就是发请求。3.1 通用 .env 配置Python 脚本用如果你直接写 Python 脚本跑批量题用.env最省事# .env TAOTOKEN_BASE_URLhttps://taotoken.net/api TAOTOKEN_API_KEYsk-你的Key粘贴在这里 # 模型 ID 按接入文档核对下面只是占位示例 TAOTOKEN_MODEL_DOUBAOdoubao-pro TAOTOKEN_MODEL_QWENqwen-max TAOTOKEN_MODEL_GPT4Ogpt-4o注意 Base URL 结尾不要多加/v1或斜杠OpenAI 兼容客户端一般会自己拼/chat/completions多写了会 404。Key 从 API Keys 页面复制别带空格。3.2 Claude Code / 类 CLI 工具的 settings.json如果你用 Claude Code 这类 CLI 工具做代码或问答配置通常落在settings.json。路径按你工具的实际约定来字段结构如下{ env: { ANTHROPIC_BASE_URL: https://taotoken.net/api, ANTHROPIC_API_KEY: sk-你的Key粘贴在这里, ANTHROPIC_MODEL: claude-sonnet-4 } }这里三件套对应关系是Base URL 填https://taotoken.net/apiKey 填你创建的Model ID 填文档里对应的 Claude 系列 ID。改完重启工具生效。3.3 Codex 类工具的 auth.json如果你用的是 Codex 风格的工具鉴权常落在auth.json{ base_url: https://taotoken.net/api, api_key: sk-你的Key粘贴在这里, model: gpt-4o }同样三件套Base URL、Key、Model ID。不同工具字段名可能略有差异以接入文档为准但值就这三个。3.4 模型列表模板复现 13 家用把要对比的模型 ID 写成一个列表脚本里循环。下面结构你按文档核对后替换MODELS [ {name: 字节豆包, id: doubao-pro}, {name: 阿里千问, id: qwen-max}, {name: GPT-4o, id: gpt-4o}, {name: 文心一言, id: ernie-4.0}, # ... 其余模型按接入文档清单补齐 ]配置阶段最容易犯的错是把 Base URL 写成官网首页地址。记住请求走的是https://taotoken.net/api不是带 UTM 的那个官网链接。UTM 链接是给人点的API 基址是给程序调的两者别混。4. 验证请求与批量跑题13 家模型 II 卷数学得分统计配置好了先别急着跑 13 家先用一条请求验证通道通不通。4.1 单条验证请求import os from openai import OpenAI from dotenv import load_dotenv load_dotenv() client OpenAI( base_urlos.getenv(TAOTOKEN_BASE_URL), api_keyos.getenv(TAOTOKEN_API_KEY), ) resp client.chat.completions.create( modelos.getenv(TAOTOKEN_MODEL_DOUBAO), messages[ {role: user, content: 2024高考数学新II卷第1题已知集合A{-1,0,1}B{x|x^2≤1}求A∩B。只给最终答案。} ], temperature0, ) print(resp.choices[0].message.content)跑通会看到模型返回答案。如果这里就报错先跳到第 5 节排查别往下走。4.2 批量跑题脚本验证通过后把 14 道客观题整理成一个列表循环 13 家模型。判分逻辑客观题答案通常是选项或数值做字符串归一化后比对。import os, json, re from openai import OpenAI from dotenv import load_dotenv load_dotenv() client OpenAI( base_urlos.getenv(TAOTOKEN_BASE_URL), api_keyos.getenv(TAOTOKEN_API_KEY), ) # 题目与标准答案示例结构实际按你整理的 II 卷客观题填 QUESTIONS [ {qid: 1, text: 已知集合A{-1,0,1}B{x|x^2≤1}求A∩B。, answer: A}, {qid: 2, text: ……, answer: B}, # ... 共 14 道 ] MODELS [ {name: 字节豆包, id: doubao-pro}, {name: 阿里千问, id: qwen-max}, {name: GPT-4o, id: gpt-4o}, # ... 补齐 13 家 ] def normalize(s): s s.strip().upper() s re.sub(r[^A-D0-9\.\-], , s) return s def ask(model_id, question): resp client.chat.completions.create( modelmodel_id, messages[ {role: system, content: 你是数学答题助手只输出最终答案不要过程。}, {role: user, content: question \n只给最终答案。}, ], temperature0, ) return resp.choices[0].message.content results {} for m in MODELS: correct 0 detail [] for item in QUESTIONS: try: out ask(m[id], item[text]) ok normalize(out) normalize(item[answer]) correct int(ok) detail.append({qid: item[qid], out: out, ok: ok}) except Exception as e: detail.append({qid: item[qid], error: str(e)}) acc correct / len(QUESTIONS) * 100 results[m[name]] {correct: correct, total: len(QUESTIONS), acc: round(acc, 2), detail: detail} print(f{m[name]}: {correct}/{len(QUESTIONS)} {acc:.2f}%) with open(math_eval_result.json, w, encodingutf-8) as f: json.dump(results, f, ensure_asciiFalse, indent2)跑完你会得到一张自己的成绩表。实测下来同一批题在不同 temperature 下结果会浮动所以对比时务必固定temperature0否则你统计出来的排名没有可比性。另外注意复旦那份评测用的是 14 道客观题你复现时题目数量、题目本身要和标准答案严格对应判分归一化规则也要统一不然「豆包 74.66%」这种数字你复现不出来是正常的因为口径不同。4.3 结果对照跑完可以拉一张表把「我的复现结果」和「复旦公布结果」并排放模型复旦 II 卷排名我的复现正确率备注字节豆包第 1脚本输出固定 temp0阿里千问第 2脚本输出固定 temp0GPT-4o第 3脚本输出固定 temp0如果你的排名和复旦一致说明通道和判分没问题如果不一致先查是不是模型 ID 填错、或者某家默认开了思维链导致输出格式不同。5. 本篇常见错排查401、local proxy failed、reading choices、OAuth复现过程中最容易卡在这几类报错逐个说。401 Unauthorized九成是 Key 问题。检查.env里TAOTOKEN_API_KEY有没有多余空格、有没有把官网 UTM 链接误当 Key、Key 是不是在 API Keys 页面创建后没复制全。还有一种情况是 Key 被删了或额度用尽去控制台确认状态。local proxy failed / connection error这类通常是 Base URL 写错。确认是https://taotoken.net/api不是官网首页也不是带/v1的地址。如果你本地有网络层工具干扰先关掉再试。注意别把这类报错和任何网络规避手段联系起来就是单纯地址或本地环境问题。reading choices 报错KeyError: choices / 返回体没有 choices 字段说明返回的不是标准 chat completion 结构。常见原因是 model ID 填错通道把请求路由到了不支持该格式的模型或者你请求的模型 ID 在文档里根本不存在。去接入文档核对 model 字段确保拼写一致。OAuth 相关报错如果你用的是 Claude Code 这类带 OAuth 流程的工具报 OAuth 错通常是settings.json里字段名不对或者工具版本和配置结构不匹配。确认三件套字段Base URL、Key、Model ID都填了且 JSON 没有语法错误多余逗号最常见。改完重启工具。返回空内容或只有思考过程有些模型默认输出思维链你判分时拿到一堆过程文字归一化后匹配不上答案。解决办法是在 system prompt 里明确「只输出最终答案」或者调大 max_tokens 防止被截断。13 家里某几家一直超时先单独用模型对话页试那家的模型 ID确认通道侧是否正常。如果单条能通、批量超时多半是你脚本并发太高加个time.sleep(1)或降低并发数。排错时建议按「单条验证 → 单模型批量 → 全模型批量」三步走哪一步挂就在哪一步查别一上来就跑 13 家报错信息会混在一起。6. 把复现脚本用起来从评测到选型的下一步跑完这一轮你手里就有了一份「自己口径下」的 13 家模型高考数学成绩表。它的价值不在于推翻或证实复旦的结论而在于你知道了在固定 temperature、固定 prompt、固定判分规则下各家模型在你这条通道上的真实表现。这个数据可以直接进你的选型文档。如果你要长期做这类多模型对比甚至想把对比脚本接进 CI 定期跑那单次调用按量付费的模式可能不如包月划算可以看看 Coding Plan 这类长期方案https://taotoken.net/console/coding-plan?utm_sourcetaotoken_aicg_blog_endutm_contentcoding_planutm_campaignrewrite如果只是想再手动试几条题、换换 prompt 看效果用模型对话页最快https://taotoken.net/console/model-chat?utm_sourcetaotoken_aicg_blog_endutm_contentmodel_chatutm_campaignrewrite要新建或管理 Key去 API Keys 页https://taotoken.net/console/api-keys?utm_sourcetaotoken_aicg_blog_endutm_contentapi_keysutm_campaignrewrite各语言接入示例和模型清单在文档里https://taotoken.net/doc?utm_sourcetaotoken_aicg_blog_endutm_contentdocutm_campaignrewrite最后一个实操建议把QUESTIONS和MODELS抽成独立的 JSON 文件脚本只负责读文件和跑循环。这样下次换一批题比如换成物理、化学或者换一批模型你不用改代码改配置就行。评测这件事可复现的前提是配置和逻辑分离不然跑第二次你自己都记不清上次改了啥。
