一.大语言模型LLMLLM全称Large Language Model,即大语言模型,是一种用大量数据训练的深度学习模型,给模型一些输入,它可以预测并返回相应的输出。大语言模型(LLM)是一种通过大量数据训练出的深度学习模型,其核心特点在于庞大的训练数据和参数量,例如GPT系列模型从GPT1的1.17亿参数增长到GPT4的估计3万亿参数。这些模型能处理多种任务,如生成、分类、总结和改写等,其工作流程基于输入文本转化为token序列后预测下一个最可能的token,直到输出完成结果。海量数据与大参数带来的优势使得实现LLM可以完成通用任务。二.token1.token解释Token是大语言模型处理文本时的最小基本单元。可以把 Token 理解为“模型认识的最小语言碎片”。它不是严格意义上的“字”或“单词”而是介于两者之间的一种切分单位。模型把所有文本你的问题、它的回答都先拆成 Token然后进行理解和生成。示例1中文句子“今天天气真好”切分方式结果Token数量按字切不是Token今、天、天、气、真、好6按常见词切典型Token今天、天气、真、好4个Token示例2带标点的句子“你好请问去火车站怎么走”Token切分典型情况数量你好、、请问、去、火车站、怎么、走、8个Token注意标点符号通常会单独成为 Token。示例3英文句子“I love artificial intelligence”切分方式结果Token数量按单词切I / love / artificial / intelligence4实际Token切分I / love / artificial / intelligence4个Token这里恰好一致“I dont like pineapple pizza”实际Token切分数量I / don / t / like / pineapple / pizza6个Token注意dont被拆成了don和t因为模型词表中常见的是这种拆分方式。Token 的统计规律实用参考语言/类型换算关系中文1个汉字 ≈ 1.5 ~ 2 个 Token英文1个单词 ≈ 0.75 ~ 1.5 个 Token标点/数字每个通常为 1 个 Token空格英文空格常与单词合并中文通常无此问题2.输入token、输出tokenAI的收费基本都是按照token的。输入 Token你给模型的内容问题、上下文、对话历史输出 Token模型还给你的内容生成的回答一般输出很贵是模型实时计算生成的计算量更大。输入只是“读取”和“理解”输出是“创作”。模型的上下文窗口比如 128K、1M是输入 Token 输出 Token 的总和。如果你的输入占了 100K Token模型最多只能输出 28K Token以128K窗口为例你问第5个问题时输入 Token 包含了第1轮你的问题 模型的回答第2轮你的问题 模型的回答……第5轮你的新问题所以对话越长输入 Token 越多费用也会累计增加。三、LLM在企业中的价值与市场需求【所有产品都值得用AI重做一遍】这句话在科技和投资圈非常流行最早由风险投资家如红杉资本的索尼娅·黄提出。AI不是一个小功能而是一个基础设施层面的变革。把AI加进一个产品不是“加一个按钮”而是重新思考产品的交互方式、核心能力和价值主张。四、LLM在软件开发过程中的单点提效当前程序员行业确实弥漫着普遍的焦虑。Codex、Cursor、Trae、MockeyCode等AI编码工具我全部亲身使用过。我深切感受到AI不仅在编码能力上进步神速已经能够覆盖软件项目的全阶段这彻底颠覆了我们对软件开发的传统认知。从AI不够成熟到如今渐入佳境我完整经历了AI编码能力的跃迁从最开始输出代码一堆报错到如今实现软件开发的“一条龙”服务——尤其是开发一些小工具AI已经变得极其好用。哪怕是基于特定平台的二次开发即便项目中有独特的封装包和私有语法AI同样能够胜任。前端、后端、CI/CD、原型设计……AI几乎样样都能做。然而目前对于工程化体系化和精细化的复杂开发任务AI的表现仍然不太可控。大型系统的架构设计、复杂业务的边界处理、历史遗留代码的兼容与重构这些问题AI还远未达到“让人放心”的程度。此外AI与企业系统的深度融合仍面临诸多深层挑战例如安全问题对抗性攻击、提示词注入、恶意滥用等风险尚未得到根本性解决数据权限问题AI的“全知”特性与企业数据隔离要求之间存在根本性矛盾权限模型难以落地合规与审计问题AI的推理过程不可见、记忆不可控难以满足金融、医疗等行业的严格合规要求责任归属问题当AI生成的代码引发生产事故时责任应由谁承担——开发者、企业、还是模型提供方目前尚无清晰界定也是大家调侃的问题AI背不了锅。模型依赖与供应商锁定风险企业深度绑定特定AI服务商后面临定价、政策、能力变更带来的不可控风险。因此我认为当下的现实是开发必须拥抱AI但定位应该是让AI成为自己的工具而不是被其取代。AI不是来抢饭碗的而是来帮我们端掉“脏碗”——把那些重复的、模式化的、低价值的劳动承担起来让我们把精力集中在更高层次的设计、决策和创新上。五、专业名词1.LLM大型语言模型Large Language Model定义基于深度学习架构如Transformer构建通过在海量文本语料上进行预训练学习语言统计规律与知识表示的人工神经网络模型。通俗解释将LLM视为一个“通用语言引擎”其内部参数编码了语法、语义及世界知识但本身不面向具体任务界面。说明ChatGPT、文心一言、Kimi等是基于LLM接口封装的对话式应用不等同于LLM本身。2.AIGCAI生成内容AI-Generated Content定义利用生成式AI模型如扩散模型、Transformer学习训练数据分布进而合成符合该分布的新样本的技术总称涵盖文本、图像、音频、视频、3D模型、代码等。通俗解释AIGC是“内容工厂”不限于对话可以按条件生成各类数字素材。区别于LLMLLM是AIGC在语言模态下的基础模型ChatGPT是AIGC在对话场景的具体产品实例。3.AGI人工通用智能Artificial General Intelligence定义指具备跨领域理解、学习、推理与适应能力的智能系统能够像人类一样处理未曾见过的多样任务而不局限于特定领域。通俗解释AGI是AI领域的“终极目标”目前尚未实现。它不依赖单独训练即可完成翻译、编程、医学诊断、战略决策等广泛任务。4.Agent智能代理Intelligent Agent定义能够通过传感器感知环境状态并通过执行器采取行动以实现特定效用函数或目标的自主计算实体。通俗解释Agent是一个“目标驱动的行动系统”。例如自动驾驶车辆感知车道、行人等环境决策转向或制动并执行动作。与AGI的关系AGI可视为具备泛化适应能力的超级Agent。Agent也是当前向AGI演进的工程范式。5.Prompt提示词Prompt定义用户输入的自然语言指令或问题用于引导LLM生成期望输出的条件上下文。通俗解释Prompt是人与LLM的“协议语言”。通过设计提示词的格式、示例、约束条件可以显著影响模型输出的质量与结构。示例在机器翻译任务中Prompt可以是“将以下英文翻译为中文{英文句子}”。6.GPT生成型预训练变换模型Generative Pre-trained Transformer定义一种基于Transformer解码器架构、通过自回归生成方式进行预训练的大规模语言模型。通俗解释GPT是LLM的一类具体实现架构其核心特点为“从左到右逐词预测”。OpenAI的GPT系列是该范式的代表。7.Token词元Token定义在自然语言处理中Token是模型实际处理的最小文本单元通过分词器将原始文本映射为离散符号序列。通俗解释Token不是严格意义上的“单词”。例如英文中“ChatGPT”可能被切为2~3个Token中文中一个汉字通常占1~2个Token平均约1.5 Token/汉字。技术意义模型的上下文长度如4096 Token指其能处理的Token数量而非字符数或词数。8.LoRA低秩适配Low-Rank Adaptation定义一种参数高效微调方法通过向预训练模型的权重矩阵中注入可训练的低秩分解矩阵仅更新极少量参数即可适配下游任务。通俗解释LoRA相当于给大模型加一个“外挂插件”。原模型冻结不动只需训练一个小型低秩矩阵即可实现个性化定制大幅降低显存与存储成本。示例对LLaMA模型进行法律文书摘要微调时LoRA仅需训练原模型参数量0.1%~1%的参数。9.向量数据库Vector Database定义专门为存储和检索高维嵌入向量而设计的数据库系统支持近似最近邻检索常用于大规模语义检索、多模态匹配等场景。核心能力是对向量进行相似性搜索而非传统数据库的精确匹配。通俗解释向量数据库不存“文字”而是存由深度学习模型提取的特征向量。查询时它通过向量相似度如余弦距离找到最相关的内容。通过嵌入模型Embedding Model将任意数据转换为向量文本 → 嵌入模型如 OpenAItext-embedding-ada-002 → 1536 维向量图像 → 图像编码器如 ResNet、CLIP → 512 维向量音频 → 声学模型 → 256 维向量向量之间的空间距离余弦距离、欧氏距离等反映了原始数据的语义相似度。专业应用在RAG检索增强生成中向量数据库用于存储文档块的嵌入向量以便快速检索与用户Prompt相关的内容。10.数据蒸馏Data Distillation定义一种从原始大规模数据集中合成极小规模浓缩数据集的方法使得在此浓缩数据上训练的模型性能近似于在原数据集上训练的模型。通俗解释数据蒸馏不是简单的采样或降维而是通过优化目标生成少量“代表性样本”每个样本蕴含多个原始样本的关键特征。专业应用在神经网络压缩、持续学习、隐私保护等场景中可将千万级图像数据集蒸馏为每类仅1~10张“伪图像”仍能训练出可用的分类器。六、AI新一代应用交互方式七、LLMOps 大模型(LLM) 、索引增强搜索(RAG)、 智能体(Agent)的关系LLM 是大脑RAG 是外挂知识库Agent 是执行任务的双手。LLM核心推理引擎提供理解、生成、推理能力RAG为 LLM 实时检索外部知识解决知识陈旧和幻觉问题Agent让 LLM 具备感知环境、调用工具、执行多步行动的能力LLM 的固有问题知识截止于训练数据时间点无法访问企业内部私有文档存在幻觉生成看似合理但错误的内容RAG 不是替代 LLM而是为 LLM 提供实时外部知识源。LLM 仍然是最终的阅读理解和回答生成者。RAG 的本质是把检索到的外部文档片段拼接到用户原始 Prompt 后面一起喂给 LLM。所以RAG是要占token的而且占比会比较高。可以利用一定的策略减少消耗但是是无法避免消耗的。Agent无论传递了多少的工具、记忆、规划、行动等,本质上都是统一编码到Prompt中并传递给大语言模型,然后程序根据输出的内容执行不同的操作,反复执行,直到完成。核心框架对比总览框架名称类型/定位核心亮点适用人群GitHub热度(星标)入门区 (低门槛/可视化) Coze零代码平台完全可视化拖拽、多平台发布、插件丰富产品/运营/小白— Dify低代码平台开源、集成RAG与工作流、支持自部署开发者/团队~99.1k LangFlow可视化编辑器LangChain官方可视化、拖拽生成链路、前后端协作前后端协作/教学~63.8k进阶/研究区 (编程/高度可定制) LangChain通用编排框架组件最全、生态最丰富、Agent架构成熟AI工程师~108k AutoGen多智能体框架多智能体协作对话、支持人机混合研究人员~45.1k CrewAI多智能体团队角色扮演团队协作、事件驱动Flow复杂流程自动化~32.1k Semantic Kernel企业级SDK多语言、插件化、生产级安全与可观测性企业开发者~24.8k Letta (MemGPT)持久记忆平台透明、可审计的长期记忆、多用户环境长期助手/个性化AI~16.6k LlamaIndex知识框架专注于数据摄取、索引与RAG知识密集型应用~41.9k OpenAI Agents SDK轻量多智能体函数式任务交接、设计简约、生产就绪快速构建中小项目~10.7k八、架构关系
AI Agent全栈开发师1--- LLMOps平台开发基础及架构设计
一.大语言模型LLMLLM全称Large Language Model,即大语言模型,是一种用大量数据训练的深度学习模型,给模型一些输入,它可以预测并返回相应的输出。大语言模型(LLM)是一种通过大量数据训练出的深度学习模型,其核心特点在于庞大的训练数据和参数量,例如GPT系列模型从GPT1的1.17亿参数增长到GPT4的估计3万亿参数。这些模型能处理多种任务,如生成、分类、总结和改写等,其工作流程基于输入文本转化为token序列后预测下一个最可能的token,直到输出完成结果。海量数据与大参数带来的优势使得实现LLM可以完成通用任务。二.token1.token解释Token是大语言模型处理文本时的最小基本单元。可以把 Token 理解为“模型认识的最小语言碎片”。它不是严格意义上的“字”或“单词”而是介于两者之间的一种切分单位。模型把所有文本你的问题、它的回答都先拆成 Token然后进行理解和生成。示例1中文句子“今天天气真好”切分方式结果Token数量按字切不是Token今、天、天、气、真、好6按常见词切典型Token今天、天气、真、好4个Token示例2带标点的句子“你好请问去火车站怎么走”Token切分典型情况数量你好、、请问、去、火车站、怎么、走、8个Token注意标点符号通常会单独成为 Token。示例3英文句子“I love artificial intelligence”切分方式结果Token数量按单词切I / love / artificial / intelligence4实际Token切分I / love / artificial / intelligence4个Token这里恰好一致“I dont like pineapple pizza”实际Token切分数量I / don / t / like / pineapple / pizza6个Token注意dont被拆成了don和t因为模型词表中常见的是这种拆分方式。Token 的统计规律实用参考语言/类型换算关系中文1个汉字 ≈ 1.5 ~ 2 个 Token英文1个单词 ≈ 0.75 ~ 1.5 个 Token标点/数字每个通常为 1 个 Token空格英文空格常与单词合并中文通常无此问题2.输入token、输出tokenAI的收费基本都是按照token的。输入 Token你给模型的内容问题、上下文、对话历史输出 Token模型还给你的内容生成的回答一般输出很贵是模型实时计算生成的计算量更大。输入只是“读取”和“理解”输出是“创作”。模型的上下文窗口比如 128K、1M是输入 Token 输出 Token 的总和。如果你的输入占了 100K Token模型最多只能输出 28K Token以128K窗口为例你问第5个问题时输入 Token 包含了第1轮你的问题 模型的回答第2轮你的问题 模型的回答……第5轮你的新问题所以对话越长输入 Token 越多费用也会累计增加。三、LLM在企业中的价值与市场需求【所有产品都值得用AI重做一遍】这句话在科技和投资圈非常流行最早由风险投资家如红杉资本的索尼娅·黄提出。AI不是一个小功能而是一个基础设施层面的变革。把AI加进一个产品不是“加一个按钮”而是重新思考产品的交互方式、核心能力和价值主张。四、LLM在软件开发过程中的单点提效当前程序员行业确实弥漫着普遍的焦虑。Codex、Cursor、Trae、MockeyCode等AI编码工具我全部亲身使用过。我深切感受到AI不仅在编码能力上进步神速已经能够覆盖软件项目的全阶段这彻底颠覆了我们对软件开发的传统认知。从AI不够成熟到如今渐入佳境我完整经历了AI编码能力的跃迁从最开始输出代码一堆报错到如今实现软件开发的“一条龙”服务——尤其是开发一些小工具AI已经变得极其好用。哪怕是基于特定平台的二次开发即便项目中有独特的封装包和私有语法AI同样能够胜任。前端、后端、CI/CD、原型设计……AI几乎样样都能做。然而目前对于工程化体系化和精细化的复杂开发任务AI的表现仍然不太可控。大型系统的架构设计、复杂业务的边界处理、历史遗留代码的兼容与重构这些问题AI还远未达到“让人放心”的程度。此外AI与企业系统的深度融合仍面临诸多深层挑战例如安全问题对抗性攻击、提示词注入、恶意滥用等风险尚未得到根本性解决数据权限问题AI的“全知”特性与企业数据隔离要求之间存在根本性矛盾权限模型难以落地合规与审计问题AI的推理过程不可见、记忆不可控难以满足金融、医疗等行业的严格合规要求责任归属问题当AI生成的代码引发生产事故时责任应由谁承担——开发者、企业、还是模型提供方目前尚无清晰界定也是大家调侃的问题AI背不了锅。模型依赖与供应商锁定风险企业深度绑定特定AI服务商后面临定价、政策、能力变更带来的不可控风险。因此我认为当下的现实是开发必须拥抱AI但定位应该是让AI成为自己的工具而不是被其取代。AI不是来抢饭碗的而是来帮我们端掉“脏碗”——把那些重复的、模式化的、低价值的劳动承担起来让我们把精力集中在更高层次的设计、决策和创新上。五、专业名词1.LLM大型语言模型Large Language Model定义基于深度学习架构如Transformer构建通过在海量文本语料上进行预训练学习语言统计规律与知识表示的人工神经网络模型。通俗解释将LLM视为一个“通用语言引擎”其内部参数编码了语法、语义及世界知识但本身不面向具体任务界面。说明ChatGPT、文心一言、Kimi等是基于LLM接口封装的对话式应用不等同于LLM本身。2.AIGCAI生成内容AI-Generated Content定义利用生成式AI模型如扩散模型、Transformer学习训练数据分布进而合成符合该分布的新样本的技术总称涵盖文本、图像、音频、视频、3D模型、代码等。通俗解释AIGC是“内容工厂”不限于对话可以按条件生成各类数字素材。区别于LLMLLM是AIGC在语言模态下的基础模型ChatGPT是AIGC在对话场景的具体产品实例。3.AGI人工通用智能Artificial General Intelligence定义指具备跨领域理解、学习、推理与适应能力的智能系统能够像人类一样处理未曾见过的多样任务而不局限于特定领域。通俗解释AGI是AI领域的“终极目标”目前尚未实现。它不依赖单独训练即可完成翻译、编程、医学诊断、战略决策等广泛任务。4.Agent智能代理Intelligent Agent定义能够通过传感器感知环境状态并通过执行器采取行动以实现特定效用函数或目标的自主计算实体。通俗解释Agent是一个“目标驱动的行动系统”。例如自动驾驶车辆感知车道、行人等环境决策转向或制动并执行动作。与AGI的关系AGI可视为具备泛化适应能力的超级Agent。Agent也是当前向AGI演进的工程范式。5.Prompt提示词Prompt定义用户输入的自然语言指令或问题用于引导LLM生成期望输出的条件上下文。通俗解释Prompt是人与LLM的“协议语言”。通过设计提示词的格式、示例、约束条件可以显著影响模型输出的质量与结构。示例在机器翻译任务中Prompt可以是“将以下英文翻译为中文{英文句子}”。6.GPT生成型预训练变换模型Generative Pre-trained Transformer定义一种基于Transformer解码器架构、通过自回归生成方式进行预训练的大规模语言模型。通俗解释GPT是LLM的一类具体实现架构其核心特点为“从左到右逐词预测”。OpenAI的GPT系列是该范式的代表。7.Token词元Token定义在自然语言处理中Token是模型实际处理的最小文本单元通过分词器将原始文本映射为离散符号序列。通俗解释Token不是严格意义上的“单词”。例如英文中“ChatGPT”可能被切为2~3个Token中文中一个汉字通常占1~2个Token平均约1.5 Token/汉字。技术意义模型的上下文长度如4096 Token指其能处理的Token数量而非字符数或词数。8.LoRA低秩适配Low-Rank Adaptation定义一种参数高效微调方法通过向预训练模型的权重矩阵中注入可训练的低秩分解矩阵仅更新极少量参数即可适配下游任务。通俗解释LoRA相当于给大模型加一个“外挂插件”。原模型冻结不动只需训练一个小型低秩矩阵即可实现个性化定制大幅降低显存与存储成本。示例对LLaMA模型进行法律文书摘要微调时LoRA仅需训练原模型参数量0.1%~1%的参数。9.向量数据库Vector Database定义专门为存储和检索高维嵌入向量而设计的数据库系统支持近似最近邻检索常用于大规模语义检索、多模态匹配等场景。核心能力是对向量进行相似性搜索而非传统数据库的精确匹配。通俗解释向量数据库不存“文字”而是存由深度学习模型提取的特征向量。查询时它通过向量相似度如余弦距离找到最相关的内容。通过嵌入模型Embedding Model将任意数据转换为向量文本 → 嵌入模型如 OpenAItext-embedding-ada-002 → 1536 维向量图像 → 图像编码器如 ResNet、CLIP → 512 维向量音频 → 声学模型 → 256 维向量向量之间的空间距离余弦距离、欧氏距离等反映了原始数据的语义相似度。专业应用在RAG检索增强生成中向量数据库用于存储文档块的嵌入向量以便快速检索与用户Prompt相关的内容。10.数据蒸馏Data Distillation定义一种从原始大规模数据集中合成极小规模浓缩数据集的方法使得在此浓缩数据上训练的模型性能近似于在原数据集上训练的模型。通俗解释数据蒸馏不是简单的采样或降维而是通过优化目标生成少量“代表性样本”每个样本蕴含多个原始样本的关键特征。专业应用在神经网络压缩、持续学习、隐私保护等场景中可将千万级图像数据集蒸馏为每类仅1~10张“伪图像”仍能训练出可用的分类器。六、AI新一代应用交互方式七、LLMOps 大模型(LLM) 、索引增强搜索(RAG)、 智能体(Agent)的关系LLM 是大脑RAG 是外挂知识库Agent 是执行任务的双手。LLM核心推理引擎提供理解、生成、推理能力RAG为 LLM 实时检索外部知识解决知识陈旧和幻觉问题Agent让 LLM 具备感知环境、调用工具、执行多步行动的能力LLM 的固有问题知识截止于训练数据时间点无法访问企业内部私有文档存在幻觉生成看似合理但错误的内容RAG 不是替代 LLM而是为 LLM 提供实时外部知识源。LLM 仍然是最终的阅读理解和回答生成者。RAG 的本质是把检索到的外部文档片段拼接到用户原始 Prompt 后面一起喂给 LLM。所以RAG是要占token的而且占比会比较高。可以利用一定的策略减少消耗但是是无法避免消耗的。Agent无论传递了多少的工具、记忆、规划、行动等,本质上都是统一编码到Prompt中并传递给大语言模型,然后程序根据输出的内容执行不同的操作,反复执行,直到完成。核心框架对比总览框架名称类型/定位核心亮点适用人群GitHub热度(星标)入门区 (低门槛/可视化) Coze零代码平台完全可视化拖拽、多平台发布、插件丰富产品/运营/小白— Dify低代码平台开源、集成RAG与工作流、支持自部署开发者/团队~99.1k LangFlow可视化编辑器LangChain官方可视化、拖拽生成链路、前后端协作前后端协作/教学~63.8k进阶/研究区 (编程/高度可定制) LangChain通用编排框架组件最全、生态最丰富、Agent架构成熟AI工程师~108k AutoGen多智能体框架多智能体协作对话、支持人机混合研究人员~45.1k CrewAI多智能体团队角色扮演团队协作、事件驱动Flow复杂流程自动化~32.1k Semantic Kernel企业级SDK多语言、插件化、生产级安全与可观测性企业开发者~24.8k Letta (MemGPT)持久记忆平台透明、可审计的长期记忆、多用户环境长期助手/个性化AI~16.6k LlamaIndex知识框架专注于数据摄取、索引与RAG知识密集型应用~41.9k OpenAI Agents SDK轻量多智能体函数式任务交接、设计简约、生产就绪快速构建中小项目~10.7k八、架构关系
