先说结论这套“两周吃透 AI 大模型应用开发”的路线核心不是让你把大模型原理背熟而是让你快速具备“调模型、做应用、能上线”的工程能力。标题里的“两周学完”是夸张说法但“少走弯路”是真的。现在网上关于大模型的内容极度分散有讲 Transformer 原理的有讲 Prompt 的有讲微调的有讲 Agent 的还有一堆卖课的。你如果今天看一篇原理、明天看一篇提示词大概率两周后还是不会写一个能跑起来的应用。这篇文章的价值是帮你把 AI 大模型应用开发的学习顺序、技术栈、验证标准一次性理清楚。文章会从环境准备开始按两周节奏拆解学习路线覆盖模型选择、API 调用、RAG 知识库、Agent 工作流、本地部署、性能观测和排错清单最后给出合规使用边界和工程化建议。如果你是后端开发、全栈工程师、算法工程师或者刚接触 AI 应用开发的在校生这篇文章可以直接收藏。接下来按顺序走。1. 核心能力速览先把这套学习路线的关键信息整理成一张表方便你快速判断是否需要继续往下读。维度说明学习目标掌握基于大模型的 AI 应用开发全流程模型调用、Prompt 工程、RAG、Agent、部署上线前置基础Python 基础语法、HTTP 基础即可不需要精通深度学习原理核心技能API 接入、Prompt 设计、向量检索、Agent 工具调用、本地模型部署涉及工具OpenAI 兼容 API、Ollama、LangChain / Dify、FastAPI、Streamlit硬件门槛纯 API 开发不需要 GPU本地部署建议 16G 以上内存显卡按需配置启动方式云端 API 直接调用本地模型用 Ollama 一行命令启动是否支持批量任务支持用异步任务队列或脚本循环即可是否提供 API主流大模型平台均提供 HTTP API本地 Ollama 也提供 OpenAI 兼容接口适合人群想快速上手 AI 应用开发、需要交付实际项目的开发者不适合场景想从零手写大模型训练代码、研究模型内部机制的场景这张表里最值得记住的一句话是大模型应用开发 ≠ 训练大模型。绝大多数业务场景你只需要学会调用、编排、优化和部署不需要自己训模型。2. 适用场景与使用边界2.1 这套路线能解决什么问题快速搭建一个带知识库问答功能的 Web 应用。让大模型调用外部工具比如查天气、查数据库、发邮件。把公司内部文档变成可对话的智能助手。用本地模型处理隐私数据避免直接调用云端 API。掌握批量调用大模型接口完成内容生成、信息抽取、文本分类等任务。2.2 不适合什么场景想研究大模型内部原理、自己从零训练模型这套路线不够。需要极高吞吐量的生产级推理服务需要补充 vLLM、TensorRT-LLM 等推理优化内容。纯业务开发但不愿意碰任何代码更适合用 Coze、Dify 等低代码平台但这篇文章仍然有帮助。2.3 使用边界与合规提醒做 AI 应用开发时有几个边界必须清楚调用云端 API 时输入数据会经过第三方服务涉及客户隐私、商业机密、未公开财务数据的场景必须先做脱敏或改用本地部署。用大模型生成内容后对外发布前要做人工复核尤其是医疗、法律、金融等领域模型输出不能直接作为最终结论。如果涉及人脸照片、声音素材、版权图片或视频必须确认拥有合法授权。比如做 AI 换脸、声音克隆类应用未获得当事人授权就是侵权。不要用大模型生成或传播违法违规内容不要试图绕过内容安全审核机制。本地部署的模型同样有使用条款商用前要确认模型的开源许可证。3. 环境准备与前置条件3.1 开发语言与工具版本以下是一套通用且稳妥的环境建议具体版本以你安装时的官方文档为准# Python 建议 3.10 及以上 python --version # 安装虚拟环境管理工具 pip install virtualenv# 创建并激活虚拟环境Windows python -m venv venv venv\Scripts\activate # 创建并激活虚拟环境macOS / Linux python3 -m venv venv source venv/bin/activate3.2 硬件检查清单纯 API 开发普通笔记本即可不需要独立显卡。本地部署小参数模型如 7B、8B 量化版建议内存 16G 以上有 6G 以上显存更流畅。本地部署大参数模型建议显存 24G 以上或者使用多卡方案。磁盘空间模型文件从几个 GB 到几十个 GB 不等建议预留 50G 以上空闲空间。3.3 GPU 环境检查如果本机有 NVIDIA 显卡先确认驱动和 CUDA 是否可用nvidia-smi如果命令不存在说明驱动未安装或未加入 PATH。注意CUDA 版本、PyTorch 版本、显卡驱动三者需要匹配不能只看其中一项。3.4 Python 依赖安装建议先安装以下基础依赖后续每个实战项目再按需补充pip install requests openai python-dotenv fastapi uvicornpip install streamlit langchain langchain-community chromadb安装失败时优先检查网络、Python 版本和 pip 源是否可用。4. 两周学习路线详细拆解这一节是全文重点按两个阶段拆解。第一阶段解决“能不能跑起来”第二阶段解决“能不能做成产品”。4.1 第一阶段AI 应用开发基础第 1-3 天第 1 天理清大模型应用开发的整体架构不要急着写代码先用一天把下面这些问题搞清楚大模型应用开发的核心链路是什么输入 Prompt → 模型推理 → 输出结果 → 应用层处理。什么是 TokenToken 怎么影响成本和上下文长度。什么是温度temperature、Top-P它们怎么影响输出随机性。什么是上下文窗口context window超出上限怎么办。什么是 OpenAI 兼容 API为什么现在很多平台都支持这种协议。搞清楚这些概念后你后面看文档会非常快。第 2 天掌握 Prompt 工程基础Prompt 是 AI 应用开发里性价比最高的技能。同样的模型Prompt 写得好不好效果差距很大。建议练习以下内容角色设定给模型一个身份比如“你是一名资深数据分析师”。任务拆解把复杂任务拆成步骤让模型按步骤输出。输出格式约束要求模型输出 JSON便于程序解析。少样本示例给几个输入输出示例让模型模仿。思维链让模型先思考再回答复杂推理任务效果更好。练习方法用你选择的模型 API 写一个小脚本做中文文本分类任务体验不同 Prompt 对结果的影响。第 3 天跑通第一个 API 调用选择一个大模型 API 平台注册账号、获取 API Key然后写一个最简调用脚本。from openai import OpenAI client OpenAI( api_key你的_API_Key, base_urlhttps://你的模型服务地址 # 不同平台地址不同以官方文档为准 ) response client.chat.completions.create( modelgpt-4o-mini, # 以你的账号可用模型为准 messages[ {role: system, content: 你是一个乐于助人的助手。}, {role: user, content: 用一句话介绍大模型应用开发。} ], temperature0.7 ) print(response.choices[0].message.content)判断标准能正常打印出模型回复能处理超时和报错。注意替换api_key、base_url、model为实际值。4.2 第二阶段工具链与函数调用第 4-6 天第 4 天掌握 OpenAPI 兼容接口与流式输出真实应用里用户不希望等模型全部生成完才看到文字所以流式输出是必须会的。from openai import OpenAI client OpenAI( api_key你的_API_Key, base_urlhttps://你的模型服务地址 ) stream client.chat.completions.create( model你的模型名, messages[{role: user, content: 写一篇关于AI的200字短文}], streamTrue ) for chunk in stream: if chunk.choices[0].delta.content: print(chunk.choices[0].delta.content, end)流式输出能显著提升用户体验是后期做 Web 应用、接入前端对话框的基础。第 5 天学习 Function Calling 与工具调用Function Calling 是 AI Agent 的基础。它的核心逻辑是模型不直接执行动作而是输出一个结构化的调用指令由你的代码执行真实操作。from openai import OpenAI client OpenAI(api_key你的_API_Key, base_urlhttps://你的模型服务地址) tools [ { type: function, function: { name: get_weather, description: 获取指定城市的天气, parameters: { type: object, properties: { city: {type: string, description: 城市名} }, required: [city] } } } ] response client.chat.completions.create( model你的模型名, messages[{role: user, content: 北京今天天气怎么样}], toolstools ) print(response.choices[0].message.tool_calls)判断标准模型能正确输出tool_calls并且参数能被你的代码解析。第 6 天搭建一个 Web 聊天应用用 Streamlit 或 FastAPI 把前面学的内容串起来做一个简单的对话页面。import streamlit as st from openai import OpenAI st.title(AI 对话助手) client OpenAI(api_key你的_API_Key, base_urlhttps://你的模型服务地址) if messages not in st.session_state: st.session_state.messages [] for msg in st.session_state.messages: st.chat_message(msg[role]).write(msg[content]) if prompt : st.chat_input(请输入问题): st.session_state.messages.append({role: user, content: prompt}) st.chat_message(user).write(prompt) response client.chat.completions.create( model你的模型名, messagesst.session_state.messages ) reply response.choices[0].message.content st.session_state.messages.append({role: assistant, content: reply}) st.chat_message(assistant).write(reply)启动命令streamlit run app.py这一步完成说明你已经具备开发完整聊天应用的基础能力。4.3 第三阶段RAG 知识库实战第 7-9 天RAGRetrieval-Augmented Generation检索增强生成是当前企业落地大模型最常用的方案。它解决的核心问题是让模型回答私有知识而不是只依赖训练数据。第 7 天理解 RAG 完整流程一个标准的 RAG 流程包含下面几个环节文档加载读取 PDF、Word、TXT、Markdown 等文件。文本切分把长文档切成适当大小的 chunk。向量化把文本转成向量存入向量数据库。检索用户提问后把问题转成向量在向量库中找最相似的文本。增强生成把检索到的文本和用户问题一起拼入 Prompt交给大模型回答。第 8 天构建一个最小可运行的 RAG 系统下面是一个使用 LangChain 和 ChromaDB 的最小示例实际使用时要替换目录路径和模型名。from langchain_community.document_loaders import TextLoader from langchain.text_splitter import RecursiveCharacterTextSplitter from langchain_community.vectorstores import Chroma from langchain_openai import OpenAIEmbeddings # 1. 加载文档 loader TextLoader(./data/knowledge.txt, encodingutf-8) documents loader.load() # 2. 切分文本 splitter RecursiveCharacterTextSplitter(chunk_size500, chunk_overlap100) docs splitter.split_documents(documents) # 3. 向量化并存入向量库 embeddings OpenAIEmbeddings( model你的Embedding模型名, api_key你的_API_Key, base_urlhttps://你的模型服务地址 ) vectorstore Chroma.from_documents(docs, embeddings, persist_directory./chroma_db)写完后检查chroma_db目录是否生成了向量数据文件。这一步成功说明知识库链路已经跑通。第 9 天用 FastAPI 封装 RAG 接口把 RAG 逻辑封装成 HTTP 接口这样才能被前端或其他服务调用。from fastapi import FastAPI from pydantic import BaseModel app FastAPI() class QueryRequest(BaseModel): question: str app.post(/rag/query) def query_rag(req: QueryRequest): # 这里按第 8 天的流程检索向量库 调用大模型生成回答 # 下面是伪代码需要替换为实际实现 retrieved_docs retrieve_similar_chunks(req.question) context \n.join(retrieved_docs) prompt f请根据以下资料回答问题\n{context}\n问题{req.question} answer call_llm(prompt) return {answer: answer}启动服务uvicorn app:app --host 127.0.0.1 --port 8000判断标准用curl或浏览器访问接口能返回回答内容。curl -X POST http://127.0.0.1:8000/rag/query \ -H Content-Type: application/json \ -d {question: 这个项目的核心功能是什么}4.4 第四阶段Agent 与工作流开发第 10-12 天RAG 解决“知道什么”Agent 解决“能做什么”。Agent 的核心能力是模型在多个工具之间做决策自主规划步骤完成多轮任务。第 10 天用 LangChain 搭建 ReAct 模式 Agentfrom langchain_openai import ChatOpenAI from langchain.agents import create_react_agent, AgentExecutor from langchain.tools import Tool from langchain import hub llm ChatOpenAI( model你的模型名, api_key你的_API_Key, base_urlhttps://你的模型服务地址 ) # 定义两个简单工具 def add(a: str, b: str) - str: return str(int(a) int(b)) def multiply(a: str, b: str) - str: return str(int(a) * int(b)) tools [ Tool(name加法计算器, funcadd, description用于计算两个数字之和), Tool(name乘法计算器, funcmultiply, description用于计算两个数字之积), ] prompt hub.pull(hwchase17/react) agent create_react_agent(llm, tools, prompt) agent_executor AgentExecutor(agentagent, toolstools, verboseTrue) result agent_executor.invoke({input: 计算 23 和 17 的和再乘以 2}) print(result[output])判断标准Agent 能自动选择工具、传入参数、返回最终结果。注意hub.pull可能受网络影响也可以把 React Prompt 写成字符串常量。第 11 天用 Dify 快速搭建可视化 Agent不想全写代码时Dify 是很好的选择。Dify 支持可视化编排 Agent 工作流。内置知识库、工具调用、对话管理。支持创建 API 供外部访问。可作为 RAG 和 Agent 的低代码方案。建议完成一个实战用 Dify 接入一个模型 API创建一个“客服知识库 工单查询”的 Agent导出接口给外部应用调用。第 12 天合并 RAG 与 Agent做一个完整应用把前 6 天的 Web 界面、第 8 天的 RAG、第 10 天的 Agent 合并成一个带知识库和工具调用的完整应用。这是两周学习路线里最重要的里程碑项目。4.5 第五阶段本地部署与性能优化第 13-14 天第 13 天用 Ollama 部署本地大模型Ollama 是目前最方便的本地模型部署工具支持 OpenAI 兼容 API适合快速验证。# 安装完成后拉取并运行模型 ollama run qwen2.5:7b启动后模型自动以 API 服务形式监听本机 11434 端口。你可以用 curl 验证curl http://127.0.0.1:11434/v1/chat/completions \ -H Content-Type: application/json \ -d { model: qwen2.5:7b, messages: [{role: user, content: 你好}] }注意实际可用的模型名、版本、显存占用以你本机测试为准不同量化版本的差异很大。第 14 天总结项目、整理部署文档最后一天做两件事第一把两周完成的练习项目整理成一个小型项目集建议包含一个聊天应用、一个 RAG 知识库、一个 Agent 应用、一个本地模型部署 Demo。第二写一份部署文档记录环境版本、启动命令、常见报错。这份文档在面试和实际工作中都有用。5. 模型选择与接口调用5.1 云端 API 与本地模型的抉择维度云端 API本地模型部署难度低注册即用中需要下载模型、配置环境数据隐私数据出内网需评估合规风险数据不出内网隐私性更强成本按 Token 计费量大成本高一次性硬件投入电力消耗持续性能推理快并发高取决于显卡显存越大越好离线能力不支持支持推荐场景快速上线、效果优先隐私数据、长期高频调用、离线环境5.2 OpenAI 兼容 API 调用模板绝大多数主流模型平台和本地推理服务都支持 OpenAI 兼容协议这意味着你只要会一种客户端就能接入大部分模型服务。from openai import OpenAI client OpenAI( api_key你的_API_Key, base_urlhttp://127.0.0.1:11434/v1 # 以实际服务地址为准 ) response client.chat.completions.create( modelqwen2.5:7b, messages[{role: user, content: 你好介绍一下你自己。}], temperature0.6 ) print(response.choices[0].message.content)5.3 批量任务实现思路批量调用大模型接口时遵循两个原则控制并发、做好重试。下面是一个通用批量处理模板。import time import json from openai import OpenAI client OpenAI(api_key你的_API_Key, base_urlhttps://你的模型服务地址) def process_one(item): try: response client.chat.completions.create( model你的模型名, messages[ {role: system, content: 你是一个文本分类器。}, {role: user, content: f对以下文本分类{item}} ], temperature0.2, timeout30 ) return {input: item, output: response.choices[0].message.content, status: success} except Exception as e: return {input: item, output: str(e), status: failed} items [文本1, 文本2, 文本3] results [] for i, item in enumerate(items): result process_one(item) results.append(result) # 控制请求频率 time.sleep(1) with open(results.json, w, encodingutf-8) as f: json.dump(results, f, ensure_asciiFalse, indent2) print(batch done)生产环境中建议用asyncio或任务队列控制并发并加入指数退避重试。6. RAG 知识库实战要点6.1 文本切分策略文本切分直接影响检索效果。切分太粗检索结果包含大量无关内容切分太细语义不完整。常用策略Markdown 或 HTML 文档按标题层级切分。普通文本设定固定的chunk_size并保留chunk_overlap。如果文档有语义段落优先按语义边界切分。text_splitter RecursiveCharacterTextSplitter( chunk_size400, chunk_overlap80, separators[\n\n, \n, 。, , , ., !, ?, ] )6.2 效果验证方法输入文档里明确存在的知识点看模型能否准确回答。输入一个文档里没有的问题看模型是否承认不知道而不是编造。检索返回的 chunk 是否相关可以用相似度分数判断。测试不同 chunk 大小和 overlap 对回答质量的影响。6.3 常见失败原因文档加载乱码检查文件编码。检索结果为空确认 Embedding 模型和向量库连接正常。回答内容与文档无关检查 Prompt 是否限制“只能根据资料回答”。向量库持久化失败检查磁盘写入权限。7. 本地部署与性能观察7.1 Ollama 常用操作# 查看本地已有模型 ollama list # 拉取模型 ollama pull qwen2.5:7b # 启动模型并保持后台服务 ollama serve7.2 显存与内存观察观察资源占用最直接的方法是打开任务管理器Windows或nvidia-smiLinux / macOS。核心观察点模型加载后显存占用是否稳定。对话过程中显存峰值是多少。多轮对话后是否有显存持续增长的问题。如果显存不足优先尝试更小参数模型或量化版本。7.3 降低资源占用的通用手段使用量化模型比如 Q4_K_M、Q8_0 等版本具体以模型发布方提供的格式为准。减小上下文长度限制。用批量推理替代逐个调用。GPU 显存不足时尝试纯 CPU 推理但速度会明显下降。关闭不必要的浏览器页面和后台程序释放系统内存。7.4 端口占用处理如果服务启动后无法访问优先检查端口是否被占用。# Linux / macOS lsof -i :11434 # Windows netstat -ano | findstr 11434找到占用的进程后结束进程或修改服务端口。8. 常见问题与排查方法问题现象可能原因排查方式解决方案依赖安装失败Python 版本不兼容或网络问题查看 pip 报错信息升级 Python 到 3.10更换 pip 源模型 API 返回 401API Key 错误或没有访问权限检查环境变量和代码中的 Key重新生成 API Key确认模型在账号下可用调用接口超时网络慢或模型推理时间长看具体报错是连接超时还是读取超时增加 timeout切换更快的模型或服务节点模型输出乱码编码问题检查控制台和文件编码统一使用 UTF-8 编码打印时指定encodingutf-8本地模型加载后显存不足模型参数过大或量化级别过高运行ollama list查看模型大小观察nvidia-smi换更小参数模型或更低精度量化版Ollama 服务已启动但访问失败端口被占用或服务未监听执行curl测试 11434 端口重启 Ollama 服务更换端口RAG 检索不到内容向量库为空或 Embedding 服务异常打印向量库统计信息重新执行文档入库检查 Embedding 接口中文输出不稳定提示词没有约束语言在 Prompt 中明确要求中文回答增加“请使用中文回答”等指令Web 页面无法打开Streamlit 未启动或端口被占用查看启动日志更换端口重新启动批量任务部分失败接口限流或单条文本超长查看返回状态码加入重试逻辑和请求间隔9. 最佳实践与合规建议9.1 工程化建议第一次跑通时用小参数模型、小 chunk、少数据量先把链路跑通再逐步加大规模。保留一套最小可运行配置。后续改坏代码、换模型出问题时随时可以回退验证。项目目录建议分三块models存放模型相关配置data存放输入数据outputs存放结果。ai-app-demo/ ├── app.py ├── config.py ├── data/ │ └── knowledge.txt ├── outputs/ │ └── results.json ├── models/ │ └── model_config.yaml └── requirements.txt批量任务必须加日志和失败重试。不要把所有失败结果直接丢掉要落盘排查。接口服务默认不要监听0.0.0.0除非明确需要对外提供服务。内网开发建议监听127.0.0.1。涉及外部用户时接口要加鉴权、限流和请求日志。不要直接暴露大模型 API 给公网。商业项目发布前对模型输出的典型场景做一轮人工复核确认没有事实性错误和合规风险。9.2 数据集与授权合规RAG 场景中知识库文档来源必须合法。未公开的商业文档、内部数据、他人版权内容不能未经授权就上传到云端向量库或云端模型服务。涉及人像、声音、隐私数据必须获得当事人书面授权。本地部署可以降低数据出网风险但不等于完全没有合规问题模型本身的开源许可证和商用条款仍然需要确认。9.3 成本控制建议先用小模型验证效果效果不够再换大模型。不要在任何验证阶段都用最强模型跑。对重复调用的场景考虑本地部署或缓存结果。批量任务中把输入文本做长度预检避免不必要的 Token 浪费。10. 总结与下一步这套学习路线最值得做的不是把所有概念都学一遍而是先完成三个最小闭环API 调用闭环、RAG 知识库闭环、Agent 工具调用闭环。这三个闭环完成你已经具备做大部分 AI 应用的能力。建议的第一件事今天就把 Python 环境装好调用一次大模型 API哪怕只是让模型回一句“你好”。很多人的问题不是不会写代码而是卡在“没开始”。最容易踩的坑有三个一是跳过 API 基础直接冲去学微调二是资料看得多、项目做得少三是本地部署时盲目追求大参数模型结果显存不够挫败感极强。下一步可以按这个顺序扩展把 RAG 的文档类型从 TXT 扩展到 PDF、Word、Markdown把 Agent 的工具数量从 2 个扩展到 5 个以上把本地模型从 7B 量级逐步尝试更大参数或更高量化精度最后把完整应用部署到云服务器用真实用户流量做一次稳定性测试。按这套路线走到这里你已经具备独立开发和上线 AI 大模型应用的能力。剩下的交给实际问题来磨练。
两周吃透AI大模型应用开发：从API调用到RAG与Agent实战
先说结论这套“两周吃透 AI 大模型应用开发”的路线核心不是让你把大模型原理背熟而是让你快速具备“调模型、做应用、能上线”的工程能力。标题里的“两周学完”是夸张说法但“少走弯路”是真的。现在网上关于大模型的内容极度分散有讲 Transformer 原理的有讲 Prompt 的有讲微调的有讲 Agent 的还有一堆卖课的。你如果今天看一篇原理、明天看一篇提示词大概率两周后还是不会写一个能跑起来的应用。这篇文章的价值是帮你把 AI 大模型应用开发的学习顺序、技术栈、验证标准一次性理清楚。文章会从环境准备开始按两周节奏拆解学习路线覆盖模型选择、API 调用、RAG 知识库、Agent 工作流、本地部署、性能观测和排错清单最后给出合规使用边界和工程化建议。如果你是后端开发、全栈工程师、算法工程师或者刚接触 AI 应用开发的在校生这篇文章可以直接收藏。接下来按顺序走。1. 核心能力速览先把这套学习路线的关键信息整理成一张表方便你快速判断是否需要继续往下读。维度说明学习目标掌握基于大模型的 AI 应用开发全流程模型调用、Prompt 工程、RAG、Agent、部署上线前置基础Python 基础语法、HTTP 基础即可不需要精通深度学习原理核心技能API 接入、Prompt 设计、向量检索、Agent 工具调用、本地模型部署涉及工具OpenAI 兼容 API、Ollama、LangChain / Dify、FastAPI、Streamlit硬件门槛纯 API 开发不需要 GPU本地部署建议 16G 以上内存显卡按需配置启动方式云端 API 直接调用本地模型用 Ollama 一行命令启动是否支持批量任务支持用异步任务队列或脚本循环即可是否提供 API主流大模型平台均提供 HTTP API本地 Ollama 也提供 OpenAI 兼容接口适合人群想快速上手 AI 应用开发、需要交付实际项目的开发者不适合场景想从零手写大模型训练代码、研究模型内部机制的场景这张表里最值得记住的一句话是大模型应用开发 ≠ 训练大模型。绝大多数业务场景你只需要学会调用、编排、优化和部署不需要自己训模型。2. 适用场景与使用边界2.1 这套路线能解决什么问题快速搭建一个带知识库问答功能的 Web 应用。让大模型调用外部工具比如查天气、查数据库、发邮件。把公司内部文档变成可对话的智能助手。用本地模型处理隐私数据避免直接调用云端 API。掌握批量调用大模型接口完成内容生成、信息抽取、文本分类等任务。2.2 不适合什么场景想研究大模型内部原理、自己从零训练模型这套路线不够。需要极高吞吐量的生产级推理服务需要补充 vLLM、TensorRT-LLM 等推理优化内容。纯业务开发但不愿意碰任何代码更适合用 Coze、Dify 等低代码平台但这篇文章仍然有帮助。2.3 使用边界与合规提醒做 AI 应用开发时有几个边界必须清楚调用云端 API 时输入数据会经过第三方服务涉及客户隐私、商业机密、未公开财务数据的场景必须先做脱敏或改用本地部署。用大模型生成内容后对外发布前要做人工复核尤其是医疗、法律、金融等领域模型输出不能直接作为最终结论。如果涉及人脸照片、声音素材、版权图片或视频必须确认拥有合法授权。比如做 AI 换脸、声音克隆类应用未获得当事人授权就是侵权。不要用大模型生成或传播违法违规内容不要试图绕过内容安全审核机制。本地部署的模型同样有使用条款商用前要确认模型的开源许可证。3. 环境准备与前置条件3.1 开发语言与工具版本以下是一套通用且稳妥的环境建议具体版本以你安装时的官方文档为准# Python 建议 3.10 及以上 python --version # 安装虚拟环境管理工具 pip install virtualenv# 创建并激活虚拟环境Windows python -m venv venv venv\Scripts\activate # 创建并激活虚拟环境macOS / Linux python3 -m venv venv source venv/bin/activate3.2 硬件检查清单纯 API 开发普通笔记本即可不需要独立显卡。本地部署小参数模型如 7B、8B 量化版建议内存 16G 以上有 6G 以上显存更流畅。本地部署大参数模型建议显存 24G 以上或者使用多卡方案。磁盘空间模型文件从几个 GB 到几十个 GB 不等建议预留 50G 以上空闲空间。3.3 GPU 环境检查如果本机有 NVIDIA 显卡先确认驱动和 CUDA 是否可用nvidia-smi如果命令不存在说明驱动未安装或未加入 PATH。注意CUDA 版本、PyTorch 版本、显卡驱动三者需要匹配不能只看其中一项。3.4 Python 依赖安装建议先安装以下基础依赖后续每个实战项目再按需补充pip install requests openai python-dotenv fastapi uvicornpip install streamlit langchain langchain-community chromadb安装失败时优先检查网络、Python 版本和 pip 源是否可用。4. 两周学习路线详细拆解这一节是全文重点按两个阶段拆解。第一阶段解决“能不能跑起来”第二阶段解决“能不能做成产品”。4.1 第一阶段AI 应用开发基础第 1-3 天第 1 天理清大模型应用开发的整体架构不要急着写代码先用一天把下面这些问题搞清楚大模型应用开发的核心链路是什么输入 Prompt → 模型推理 → 输出结果 → 应用层处理。什么是 TokenToken 怎么影响成本和上下文长度。什么是温度temperature、Top-P它们怎么影响输出随机性。什么是上下文窗口context window超出上限怎么办。什么是 OpenAI 兼容 API为什么现在很多平台都支持这种协议。搞清楚这些概念后你后面看文档会非常快。第 2 天掌握 Prompt 工程基础Prompt 是 AI 应用开发里性价比最高的技能。同样的模型Prompt 写得好不好效果差距很大。建议练习以下内容角色设定给模型一个身份比如“你是一名资深数据分析师”。任务拆解把复杂任务拆成步骤让模型按步骤输出。输出格式约束要求模型输出 JSON便于程序解析。少样本示例给几个输入输出示例让模型模仿。思维链让模型先思考再回答复杂推理任务效果更好。练习方法用你选择的模型 API 写一个小脚本做中文文本分类任务体验不同 Prompt 对结果的影响。第 3 天跑通第一个 API 调用选择一个大模型 API 平台注册账号、获取 API Key然后写一个最简调用脚本。from openai import OpenAI client OpenAI( api_key你的_API_Key, base_urlhttps://你的模型服务地址 # 不同平台地址不同以官方文档为准 ) response client.chat.completions.create( modelgpt-4o-mini, # 以你的账号可用模型为准 messages[ {role: system, content: 你是一个乐于助人的助手。}, {role: user, content: 用一句话介绍大模型应用开发。} ], temperature0.7 ) print(response.choices[0].message.content)判断标准能正常打印出模型回复能处理超时和报错。注意替换api_key、base_url、model为实际值。4.2 第二阶段工具链与函数调用第 4-6 天第 4 天掌握 OpenAPI 兼容接口与流式输出真实应用里用户不希望等模型全部生成完才看到文字所以流式输出是必须会的。from openai import OpenAI client OpenAI( api_key你的_API_Key, base_urlhttps://你的模型服务地址 ) stream client.chat.completions.create( model你的模型名, messages[{role: user, content: 写一篇关于AI的200字短文}], streamTrue ) for chunk in stream: if chunk.choices[0].delta.content: print(chunk.choices[0].delta.content, end)流式输出能显著提升用户体验是后期做 Web 应用、接入前端对话框的基础。第 5 天学习 Function Calling 与工具调用Function Calling 是 AI Agent 的基础。它的核心逻辑是模型不直接执行动作而是输出一个结构化的调用指令由你的代码执行真实操作。from openai import OpenAI client OpenAI(api_key你的_API_Key, base_urlhttps://你的模型服务地址) tools [ { type: function, function: { name: get_weather, description: 获取指定城市的天气, parameters: { type: object, properties: { city: {type: string, description: 城市名} }, required: [city] } } } ] response client.chat.completions.create( model你的模型名, messages[{role: user, content: 北京今天天气怎么样}], toolstools ) print(response.choices[0].message.tool_calls)判断标准模型能正确输出tool_calls并且参数能被你的代码解析。第 6 天搭建一个 Web 聊天应用用 Streamlit 或 FastAPI 把前面学的内容串起来做一个简单的对话页面。import streamlit as st from openai import OpenAI st.title(AI 对话助手) client OpenAI(api_key你的_API_Key, base_urlhttps://你的模型服务地址) if messages not in st.session_state: st.session_state.messages [] for msg in st.session_state.messages: st.chat_message(msg[role]).write(msg[content]) if prompt : st.chat_input(请输入问题): st.session_state.messages.append({role: user, content: prompt}) st.chat_message(user).write(prompt) response client.chat.completions.create( model你的模型名, messagesst.session_state.messages ) reply response.choices[0].message.content st.session_state.messages.append({role: assistant, content: reply}) st.chat_message(assistant).write(reply)启动命令streamlit run app.py这一步完成说明你已经具备开发完整聊天应用的基础能力。4.3 第三阶段RAG 知识库实战第 7-9 天RAGRetrieval-Augmented Generation检索增强生成是当前企业落地大模型最常用的方案。它解决的核心问题是让模型回答私有知识而不是只依赖训练数据。第 7 天理解 RAG 完整流程一个标准的 RAG 流程包含下面几个环节文档加载读取 PDF、Word、TXT、Markdown 等文件。文本切分把长文档切成适当大小的 chunk。向量化把文本转成向量存入向量数据库。检索用户提问后把问题转成向量在向量库中找最相似的文本。增强生成把检索到的文本和用户问题一起拼入 Prompt交给大模型回答。第 8 天构建一个最小可运行的 RAG 系统下面是一个使用 LangChain 和 ChromaDB 的最小示例实际使用时要替换目录路径和模型名。from langchain_community.document_loaders import TextLoader from langchain.text_splitter import RecursiveCharacterTextSplitter from langchain_community.vectorstores import Chroma from langchain_openai import OpenAIEmbeddings # 1. 加载文档 loader TextLoader(./data/knowledge.txt, encodingutf-8) documents loader.load() # 2. 切分文本 splitter RecursiveCharacterTextSplitter(chunk_size500, chunk_overlap100) docs splitter.split_documents(documents) # 3. 向量化并存入向量库 embeddings OpenAIEmbeddings( model你的Embedding模型名, api_key你的_API_Key, base_urlhttps://你的模型服务地址 ) vectorstore Chroma.from_documents(docs, embeddings, persist_directory./chroma_db)写完后检查chroma_db目录是否生成了向量数据文件。这一步成功说明知识库链路已经跑通。第 9 天用 FastAPI 封装 RAG 接口把 RAG 逻辑封装成 HTTP 接口这样才能被前端或其他服务调用。from fastapi import FastAPI from pydantic import BaseModel app FastAPI() class QueryRequest(BaseModel): question: str app.post(/rag/query) def query_rag(req: QueryRequest): # 这里按第 8 天的流程检索向量库 调用大模型生成回答 # 下面是伪代码需要替换为实际实现 retrieved_docs retrieve_similar_chunks(req.question) context \n.join(retrieved_docs) prompt f请根据以下资料回答问题\n{context}\n问题{req.question} answer call_llm(prompt) return {answer: answer}启动服务uvicorn app:app --host 127.0.0.1 --port 8000判断标准用curl或浏览器访问接口能返回回答内容。curl -X POST http://127.0.0.1:8000/rag/query \ -H Content-Type: application/json \ -d {question: 这个项目的核心功能是什么}4.4 第四阶段Agent 与工作流开发第 10-12 天RAG 解决“知道什么”Agent 解决“能做什么”。Agent 的核心能力是模型在多个工具之间做决策自主规划步骤完成多轮任务。第 10 天用 LangChain 搭建 ReAct 模式 Agentfrom langchain_openai import ChatOpenAI from langchain.agents import create_react_agent, AgentExecutor from langchain.tools import Tool from langchain import hub llm ChatOpenAI( model你的模型名, api_key你的_API_Key, base_urlhttps://你的模型服务地址 ) # 定义两个简单工具 def add(a: str, b: str) - str: return str(int(a) int(b)) def multiply(a: str, b: str) - str: return str(int(a) * int(b)) tools [ Tool(name加法计算器, funcadd, description用于计算两个数字之和), Tool(name乘法计算器, funcmultiply, description用于计算两个数字之积), ] prompt hub.pull(hwchase17/react) agent create_react_agent(llm, tools, prompt) agent_executor AgentExecutor(agentagent, toolstools, verboseTrue) result agent_executor.invoke({input: 计算 23 和 17 的和再乘以 2}) print(result[output])判断标准Agent 能自动选择工具、传入参数、返回最终结果。注意hub.pull可能受网络影响也可以把 React Prompt 写成字符串常量。第 11 天用 Dify 快速搭建可视化 Agent不想全写代码时Dify 是很好的选择。Dify 支持可视化编排 Agent 工作流。内置知识库、工具调用、对话管理。支持创建 API 供外部访问。可作为 RAG 和 Agent 的低代码方案。建议完成一个实战用 Dify 接入一个模型 API创建一个“客服知识库 工单查询”的 Agent导出接口给外部应用调用。第 12 天合并 RAG 与 Agent做一个完整应用把前 6 天的 Web 界面、第 8 天的 RAG、第 10 天的 Agent 合并成一个带知识库和工具调用的完整应用。这是两周学习路线里最重要的里程碑项目。4.5 第五阶段本地部署与性能优化第 13-14 天第 13 天用 Ollama 部署本地大模型Ollama 是目前最方便的本地模型部署工具支持 OpenAI 兼容 API适合快速验证。# 安装完成后拉取并运行模型 ollama run qwen2.5:7b启动后模型自动以 API 服务形式监听本机 11434 端口。你可以用 curl 验证curl http://127.0.0.1:11434/v1/chat/completions \ -H Content-Type: application/json \ -d { model: qwen2.5:7b, messages: [{role: user, content: 你好}] }注意实际可用的模型名、版本、显存占用以你本机测试为准不同量化版本的差异很大。第 14 天总结项目、整理部署文档最后一天做两件事第一把两周完成的练习项目整理成一个小型项目集建议包含一个聊天应用、一个 RAG 知识库、一个 Agent 应用、一个本地模型部署 Demo。第二写一份部署文档记录环境版本、启动命令、常见报错。这份文档在面试和实际工作中都有用。5. 模型选择与接口调用5.1 云端 API 与本地模型的抉择维度云端 API本地模型部署难度低注册即用中需要下载模型、配置环境数据隐私数据出内网需评估合规风险数据不出内网隐私性更强成本按 Token 计费量大成本高一次性硬件投入电力消耗持续性能推理快并发高取决于显卡显存越大越好离线能力不支持支持推荐场景快速上线、效果优先隐私数据、长期高频调用、离线环境5.2 OpenAI 兼容 API 调用模板绝大多数主流模型平台和本地推理服务都支持 OpenAI 兼容协议这意味着你只要会一种客户端就能接入大部分模型服务。from openai import OpenAI client OpenAI( api_key你的_API_Key, base_urlhttp://127.0.0.1:11434/v1 # 以实际服务地址为准 ) response client.chat.completions.create( modelqwen2.5:7b, messages[{role: user, content: 你好介绍一下你自己。}], temperature0.6 ) print(response.choices[0].message.content)5.3 批量任务实现思路批量调用大模型接口时遵循两个原则控制并发、做好重试。下面是一个通用批量处理模板。import time import json from openai import OpenAI client OpenAI(api_key你的_API_Key, base_urlhttps://你的模型服务地址) def process_one(item): try: response client.chat.completions.create( model你的模型名, messages[ {role: system, content: 你是一个文本分类器。}, {role: user, content: f对以下文本分类{item}} ], temperature0.2, timeout30 ) return {input: item, output: response.choices[0].message.content, status: success} except Exception as e: return {input: item, output: str(e), status: failed} items [文本1, 文本2, 文本3] results [] for i, item in enumerate(items): result process_one(item) results.append(result) # 控制请求频率 time.sleep(1) with open(results.json, w, encodingutf-8) as f: json.dump(results, f, ensure_asciiFalse, indent2) print(batch done)生产环境中建议用asyncio或任务队列控制并发并加入指数退避重试。6. RAG 知识库实战要点6.1 文本切分策略文本切分直接影响检索效果。切分太粗检索结果包含大量无关内容切分太细语义不完整。常用策略Markdown 或 HTML 文档按标题层级切分。普通文本设定固定的chunk_size并保留chunk_overlap。如果文档有语义段落优先按语义边界切分。text_splitter RecursiveCharacterTextSplitter( chunk_size400, chunk_overlap80, separators[\n\n, \n, 。, , , ., !, ?, ] )6.2 效果验证方法输入文档里明确存在的知识点看模型能否准确回答。输入一个文档里没有的问题看模型是否承认不知道而不是编造。检索返回的 chunk 是否相关可以用相似度分数判断。测试不同 chunk 大小和 overlap 对回答质量的影响。6.3 常见失败原因文档加载乱码检查文件编码。检索结果为空确认 Embedding 模型和向量库连接正常。回答内容与文档无关检查 Prompt 是否限制“只能根据资料回答”。向量库持久化失败检查磁盘写入权限。7. 本地部署与性能观察7.1 Ollama 常用操作# 查看本地已有模型 ollama list # 拉取模型 ollama pull qwen2.5:7b # 启动模型并保持后台服务 ollama serve7.2 显存与内存观察观察资源占用最直接的方法是打开任务管理器Windows或nvidia-smiLinux / macOS。核心观察点模型加载后显存占用是否稳定。对话过程中显存峰值是多少。多轮对话后是否有显存持续增长的问题。如果显存不足优先尝试更小参数模型或量化版本。7.3 降低资源占用的通用手段使用量化模型比如 Q4_K_M、Q8_0 等版本具体以模型发布方提供的格式为准。减小上下文长度限制。用批量推理替代逐个调用。GPU 显存不足时尝试纯 CPU 推理但速度会明显下降。关闭不必要的浏览器页面和后台程序释放系统内存。7.4 端口占用处理如果服务启动后无法访问优先检查端口是否被占用。# Linux / macOS lsof -i :11434 # Windows netstat -ano | findstr 11434找到占用的进程后结束进程或修改服务端口。8. 常见问题与排查方法问题现象可能原因排查方式解决方案依赖安装失败Python 版本不兼容或网络问题查看 pip 报错信息升级 Python 到 3.10更换 pip 源模型 API 返回 401API Key 错误或没有访问权限检查环境变量和代码中的 Key重新生成 API Key确认模型在账号下可用调用接口超时网络慢或模型推理时间长看具体报错是连接超时还是读取超时增加 timeout切换更快的模型或服务节点模型输出乱码编码问题检查控制台和文件编码统一使用 UTF-8 编码打印时指定encodingutf-8本地模型加载后显存不足模型参数过大或量化级别过高运行ollama list查看模型大小观察nvidia-smi换更小参数模型或更低精度量化版Ollama 服务已启动但访问失败端口被占用或服务未监听执行curl测试 11434 端口重启 Ollama 服务更换端口RAG 检索不到内容向量库为空或 Embedding 服务异常打印向量库统计信息重新执行文档入库检查 Embedding 接口中文输出不稳定提示词没有约束语言在 Prompt 中明确要求中文回答增加“请使用中文回答”等指令Web 页面无法打开Streamlit 未启动或端口被占用查看启动日志更换端口重新启动批量任务部分失败接口限流或单条文本超长查看返回状态码加入重试逻辑和请求间隔9. 最佳实践与合规建议9.1 工程化建议第一次跑通时用小参数模型、小 chunk、少数据量先把链路跑通再逐步加大规模。保留一套最小可运行配置。后续改坏代码、换模型出问题时随时可以回退验证。项目目录建议分三块models存放模型相关配置data存放输入数据outputs存放结果。ai-app-demo/ ├── app.py ├── config.py ├── data/ │ └── knowledge.txt ├── outputs/ │ └── results.json ├── models/ │ └── model_config.yaml └── requirements.txt批量任务必须加日志和失败重试。不要把所有失败结果直接丢掉要落盘排查。接口服务默认不要监听0.0.0.0除非明确需要对外提供服务。内网开发建议监听127.0.0.1。涉及外部用户时接口要加鉴权、限流和请求日志。不要直接暴露大模型 API 给公网。商业项目发布前对模型输出的典型场景做一轮人工复核确认没有事实性错误和合规风险。9.2 数据集与授权合规RAG 场景中知识库文档来源必须合法。未公开的商业文档、内部数据、他人版权内容不能未经授权就上传到云端向量库或云端模型服务。涉及人像、声音、隐私数据必须获得当事人书面授权。本地部署可以降低数据出网风险但不等于完全没有合规问题模型本身的开源许可证和商用条款仍然需要确认。9.3 成本控制建议先用小模型验证效果效果不够再换大模型。不要在任何验证阶段都用最强模型跑。对重复调用的场景考虑本地部署或缓存结果。批量任务中把输入文本做长度预检避免不必要的 Token 浪费。10. 总结与下一步这套学习路线最值得做的不是把所有概念都学一遍而是先完成三个最小闭环API 调用闭环、RAG 知识库闭环、Agent 工具调用闭环。这三个闭环完成你已经具备做大部分 AI 应用的能力。建议的第一件事今天就把 Python 环境装好调用一次大模型 API哪怕只是让模型回一句“你好”。很多人的问题不是不会写代码而是卡在“没开始”。最容易踩的坑有三个一是跳过 API 基础直接冲去学微调二是资料看得多、项目做得少三是本地部署时盲目追求大参数模型结果显存不够挫败感极强。下一步可以按这个顺序扩展把 RAG 的文档类型从 TXT 扩展到 PDF、Word、Markdown把 Agent 的工具数量从 2 个扩展到 5 个以上把本地模型从 7B 量级逐步尝试更大参数或更高量化精度最后把完整应用部署到云服务器用真实用户流量做一次稳定性测试。按这套路线走到这里你已经具备独立开发和上线 AI 大模型应用的能力。剩下的交给实际问题来磨练。
