AI基础课 · 第 1 单元 / 共 6 单元
模型原理:大模型 LLM 的生成方式
大模型按词元逐个生成回答,通顺的文字也可能缺少事实依据。
课程目录
本页目录6 节 · 13 小节
基础课 A01 · 01
1、大模型从训练中学习语言
大语言模型属于深度学习
人工智能 Artificial Intelligence 是让机器完成感知、推断和决策等任务的技术领域,简称 AI。符号人工智能 Symbolic AI 通过人写的符号和规则推导结果;机器学习 Machine Learning 从数据中学习规律,再处理新的输入。规则系统和学习系统可以组合使用。
深度学习 Deep Learning 属于机器学习,采用多层神经网络。大语言模型 Large Language Model 是主要处理和生成语言的深度学习模型,简称 LLM,后文称大模型。生成式人工智能 Generative AI 按产出内容划分,指生成文字、图像等新内容的技术,当代常见实现大量采用深度学习。下图只画人工智能、机器学习、深度学习三者的包含关系,大语言模型放在深度学习内部。生成式 AI 按产出什么来分,深度学习按怎样实现来分,因此图中没有单独的生成式 AI 圈。

识别把输入归入类别,预测根据已有数据估计未知结果,生成则产出新内容。
变换器 Transformer 采用注意力机制计算文字之间的关联。采用相近结构的模型,训练材料、规模和后续训练不同,能力也会不同。
词元 Token 是模型切分、处理和计量信息的基本单位,文字词元可以是汉字、词语、词的一部分或符号。输入文字先被切成词元,每个词元再转成一组供模型计算的数值。
注意力机制 Attention 让一个位置按相关程度汇集其他可见位置的信息。模型计算每个位置对其他位置给多大分量,再按这些分量把各位置的数值加起来,送入下一层计算。这样,一个词元的计算就能利用前文中相隔较远的信息。生成式语言模型通常只读取当前位置之前的信息;训练时整段文字已知,各位置可同时计算,回答时后文尚未产生,只能逐个生成。长材料中的遗漏依然需要检查。
网络层数影响信息处理
神经网络 Neural Network 是由相互连接的计算单元组成的模型。每层接收前一层的数值,按参数加权、变换,再传给下一层。图像处理中,不同层可逐步提取边缘、形状、物体等信息;层数、训练数据和训练方法共同影响效果,增加层数也会增加训练难度。
内部参数保存训练所得规律
训练时,模型依据前文预测下一个词元,训练程序把候选概率同文本中真实的下一个词元比较,根据差距计算参数怎样调整,反复更新。参数是参与模型计算的内部数值;反复调整后,模型学到词语如何搭配、句子如何组织等规律,能够组合出材料里没有完整出现过的句子。材料中的错误、遗漏和旧信息也会影响回答。
预训练 Pre-training 是从大量材料学习一般规律的训练过程。指令微调 Instruction Tuning 再用任务说明和回答样本训练模型,使它更适应按要求作答。训练完成后,日常回答通常使用既有参数计算,当前上传的文件进入本次输入;公司核查产品条款中的对话保存、训练使用及开关设置,才能判断上传内容还会怎样使用。

基础课 A01 · 02
2、回答按词元逐步生成
每个词元都依据前文计算
模型依据输入和已生成内容,计算下一个词元的候选概率。这些概率表示本步各候选被选中的机会,任务说明和参考材料都会影响它们。
选出的词元接入末尾,成为下一次计算的前文。这个过程持续到模型生成结束标记,或触及应用设定的输出长度等停止条件。整篇回答由这些局部选择逐步形成,输入资料改变,后续候选的概率也会改变。

采样使相同输入产生不同措辞
采样 Sampling 按候选词元的概率抽取一个,概率高的更容易被选中,但不一定选概率最高的。同一步选中不同词元,后文的计算基础也随之变化,因此相同输入能够得到不同措辞。多次回答一致只能说明输出较稳定,事实真伪靠原文、系统记录或独立计算核验。
模型收到的任务说明、本次资料和已传入的历史内容,共同影响回答。A02 任务交代:提示词 Prompt 与上下文 Context 讲这些输入怎样组织,本单元解释模型怎样利用它们继续生成。
采样参数改变候选分布
词元数和汉字数没有固定换算关系。不同模型的分词方法不同,同一段文字的词元数也会不同。
温度 Temperature 是调节候选概率分布的参数。温度较高,候选之间的概率差距缩小,低概率词元更容易被选中;温度较低,选择更集中在高概率词元上。核采样 Nucleus Sampling 通常用参数 top_p 控制:候选按概率从高到低排列,保留累计概率达到阈值的一组,再从中选取。两项参数都影响多样性;具体比较方法见 A05 任务编排:工作流 Workflow、智能体 Agent 与技能 Skills。图中用同一尺度比较概率高低,以累计概率首次达到阈值的位置划开保留集合。

最大输出长度限制回答可以生成的词元数,触及上限会使内容截断。输入历史越长、输出越多,通常消耗更多计算和词元,等待时间及使用费用也随之变化。参数选择围绕具体任务比较,低温度和短回答都缺少事实正确的保证。
基础课 A01 · 03
3、不同内容会在不同环节出错
摘要改写会省去原文细节
摘要压缩信息,改写调整表达,翻译改变语言。模型在这些任务中把原文转成另一段文字,生成时会选择、合并或省略信息。遗漏一个条件或否定词,句子依然可以完整,含义却已改变。
原文中的对象、数量、限制和例外,是检查改写结果的依据。核对时逐项比较这些信息是否保留,比只读成稿更容易发现偏差;语言是否流畅和信息是否完整,分别检查。
视觉输入会丢失小字细节
多模态 Multimodal 指模型能够处理文字、图像、声音等多种形式的信息。视觉模型 Vision Model 处理图像信息,支持视觉输入的系统按模型要求缩放图片,将图像区域转成数值,同问题一起交给模型。高分辨率图片被缩小时,小字的笔画和相邻行列的分界可能丢失细节,因此备注容易漏读,表格容易串行。
教学示例:排课表扫描件的时间旁标着“暂定”,模型漏读这个词,后续通知就会把待确认安排写成定案。核对原图中的时间及其备注,可以定位最初的识别错误。
深度思考增加推导计算
推理 Reasoning 是从已知条件推导结论的能力。深度思考模式通常先生成一段中间推导文字,拆分问题、比较条件,再给出最终回答。这段推导同样按词元生成、计入输出用量,因此增加等待时间和长度消耗,适合约束较多的任务。
输入缺失和推导失误是两类错误。遗漏的前提需要补充材料,错误的推导需要检查步骤;增加计算无法恢复根本没有读到的条件。界面展示的说明便于检查部分过程,结论依然需要回到原始条件验证。
应用链路可以使用不同模型
同一应用中的图片理解、文档解析、问题改写、任务规划和回答生成,可以分别调用不同模型,也能由同一模型承担多项工作。应用负责把前一步的结果送给后一步;识别环节漏掉的备注会继续传递,末端回答再完整,也要回查前面的材料。
聊天入口收发文字,应用平台组织输入,通过模型接口取得生成结果;接口的含义见 A04 系统操作:工具调用 Tool Use 与 MCP。平台还可连接知识管理系统取得资料,连接机器人流程自动化 Robotic Process Automation,简称 RPA,按固定步骤点击和录入。图中这些请求都从应用调度发出,结果也返回应用调度,随后送回聊天入口。

多步任务怎样组织成智能体,见 A05 任务编排:工作流 Workflow、智能体 Agent 与技能 Skills,本处只区分模型生成、应用调度和软件执行的职责。
基础课 A01 · 04
4、流畅回答也会缺少事实依据
幻觉内容可以写得完整流畅
幻觉 Hallucination 指看似合理、却与事实或给定材料不符的生成内容。模型按候选概率生成语言,计算中没有自动核实每句事实的保证。训练数据有错、本次信息不足或生成偏离材料,都能引出这类错误。
回答中的引文、网址和条款名称也属于生成内容,完整的出处格式仍有编造的可能。核查时打开原文,确认内容能否支持结论、版本是否适用。
训练知识有截止日期
模型的训练材料覆盖一定时间范围,知识截止日期标示该版本训练知识的时间边界。之后的变化无法单靠既有参数可靠回答,截止日期之前的知识也会遗漏或记错。具体日期查模型版本的官方说明。
公开搜索补充公开的新资料,本次上传文件补充任务材料,内部实时状态通过获准的系统查询取得。搜索结果还需要核对来源和时效;生成时能够读到什么,决定了本次回答可利用哪些信息。
数字清单容易出错漏项
模型直接生成数字时,也按词元选择后续内容,进位、单位和多步计算容易出错。确定性程序 Deterministic Program 按明确规则计算结果,金额计算交给计算器或既定公式,时间交给系统时钟或日历,编号交给业务系统生成,格式按预定规则校验。模型读取这些结果后再组织说明,数字和说明分别核对。
长清单还会遗漏、重复或混用相邻条目的信息。总数相同也能同时存在重复项和缺项,逐项比较编号、对象和数量更有助于发现问题。A06 数据安全:资料外发与出错处理 讲资料外发及核对办法,本单元说明错误为何会出现在生成的回答中。
同题比较帮助识别模型差异
同题比较时,分别检查事实、指令遵循、格式和边界,同时记录等待时间及词元用量。固定输入、一次只改一项的比较方法见 A05 任务编排:工作流 Workflow、智能体 Agent 与技能 Skills,本单元关注不同输出能否查回依据。
复查错误时沿原文、识别结果、推导和最终措辞逐步定位。重复询问模型会增加一份生成结果,独立原文、系统记录和计算结果才是核验具体事实的依据。缺少前提时补充原始资料;查询被系统拒绝时,由公司管理账号的人核查本次任务是否获准访问。
基础课 A01 · 05
5、内容用途决定核查范围
内部草稿便于比较不同措辞
内部草稿用于比较表达、整理观点或形成初稿,修改空间较大。模型可承担起草和改写,事实、条件和承诺在转为正式内容时重新核对。草稿里的一项安排,要经过原有业务确认程序才生效。
同一模型生成的文字,用途变化后,出错后果也会变化。B01 应用方式:AI在企业中的三种用法 讲企业里的应用方式,本单元按文字用途区分核查范围。
对外承诺会改变客户行动
对外内容会影响收件人的付款、寄件和时间安排,因此核查同时覆盖事实和批准范围。每项金额、日期、状态和承诺,都对应可查的原文或业务记录。记录缺失的事项标成待确认,获得支持后才向外确认。
核查从成稿中的具体陈述出发,逐项查回依据。表述越明确,所需的支持也越具体;“正在审核”和“已经批准”各自对应不同业务状态。
内容类型决定核查依据
以下核对表可以直接复制使用。
| 内容类型 | 使用方式 | 核哪几项 | 对照什么 |
|---|---|---|---|
| 内部草稿 | 比较措辞,暂不据此确认安排 | 多写、漏写、原意变化 | 原文、已确认材料 |
| 对外回复 | 核实后发送 | 对象、状态、条件、备注;清单逐项查 | 原始记录、现行规定 |
| 金额日期 | 独立计算后使用 | 算式、单位、起算点、期限 | 计算器、日历、已批准的计算规则 |
| 承诺 | 有批准依据后使用 | 批准事项、适用对象、有效范围 | 现行条款、有效批准记录 |
这张表检查成稿内容,实际发送对象及资料外发范围见 A06 数据安全:资料外发与出错处理。
一句话记住模型按词元逐个生成,通顺与事实成立分别判断,用到的事实逐项查回原文、记录和独立计算。
基础课 A01 · 06
参考文献
以下为中文官方技术文档与培训课程,访问日期 2026-10-24。
- 《Token 用量计算》,DeepSeek,更新日期:未标日期。网址:https://api-docs.deepseek.com/zh-cn/quick_start/token_usage
- 《文本生成》,阿里云百炼,更新日期:2026-10-21。网址:https://help.aliyun.com/zh/model-studio/text-generation
- 《图像与视频理解》,阿里云百炼,更新日期:2026-10-10。网址:https://help.aliyun.com/zh/model-studio/vision
- 《深度思考》,阿里云百炼,更新日期:2026-10-22。网址:https://help.aliyun.com/zh/model-studio/deep-thinking
- 《联网搜索》,阿里云百炼,更新日期:2026-10-18。网址:https://help.aliyun.com/zh/model-studio/web-search
- 《文生文Prompt指南》,阿里云百炼,更新日期:2026-10-10。网址:https://help.aliyun.com/zh/model-studio/prompt-engineering-guide
- 《ADP 前沿部署工程师(FDE)认证课程》,腾讯云,更新日期:未标日期。对应节页:1.1《AI 基础》 https://cloud.tencent.com/edu/learning/course-4742-84527-84531 (原独立页 https://cloud.tencent.com/edu/learning/course-4742-84531);1.2《大语言模型的进化之路:从“会接龙”到“会做事”》 https://cloud.tencent.com/edu/learning/course-4742-84527-84532 (原独立页 https://cloud.tencent.com/edu/learning/course-4742-84532) ;1.3 https://cloud.tencent.com/edu/learning/course-4742-84527-84533 ;2.1 https://cloud.tencent.com/edu/learning/course-4742-84528-84534 ;2.2上 https://cloud.tencent.com/edu/learning/course-4742-84528-84535 ;3.1 https://cloud.tencent.com/edu/learning/course-4742-84529-84539 ;3.2 https://cloud.tencent.com/edu/learning/course-4742-84529-84540 ;4.5 https://cloud.tencent.com/edu/learning/course-4742-84530-84549 。
想把课里的做法用到你们公司?
从选第一件交给AI的事,到备资料、拆流程、接系统、上线试用,我们可以和你一起梳理、一起落地。扫码加微信咨询,也可发邮件至 fuyuanhui@kexinjinke.com。

微信扫码 / 长按识别