Generative Pre‑trained TransformerGPT全称生成式预训练‑Transformer 模型拆开分成三段理解Generative、Pre‑trained、Transformer。1. Transformer底层基础架构2017 年谷歌《Attention Is All You Need》提出抛弃了 RNN 串行循环结构核心依靠自注意力机制Self‑Attention。它可以一次性查看整段上下文判断词语之间的远近关联多头注意力同时从不同角度理解语义语法、因果、指代位置编码识别文字先后顺序对比RNN 是逐字串行处理长文本容易遗忘前面内容Transformer 并行运算处理长文本更强。Transformer 只是骨架本身不会生成文字。2. Pre‑trained预训练GPT 最关键思想训练拆分成两个阶段预训练Pre‑train 微调Fine‑tune阶段 1预训练无监督学习用海量互联网文本书籍、网页、文章做学习任务非常简单给定前面一堆单词预测下一个单词是什么自回归模式 Autoregressive。 GPT 只用单向注意力Masked self‑attention只能看到前文看不到后面内容 BERT 则是双向 Transformer适合理解类任务不能用来续写文本。预训练目标学到语法、常识、逻辑、世界知识、文化大规模参数GPT‑3 达到 175B 参数参数越大记忆和推理越强。阶段 2微调Fine‑tune预训练结束后再用少量人工标注数据、人类偏好数据RLHF 人类反馈强化学习调整模型 教会模型听懂指令、遵守人类价值观、输出符合人的表达习惯。3. Generative生成式GPT 属于自回归生成模式 逐 token 一个字一个字往后生成写完第 1 个词再判断第 2 个循环输出完整段落。特点开放式生成写文章、代码、对话、故事概率采样同一个问题每次回答会略有差别局限容易出现幻觉编造不存在事实因为它只是根据文本概率推算并不真正理解知识。整体逻辑总结通俗版Transformer先进神经网络架构Pre‑trained先用海量数据自学语言规律Generative通过逐字预测生成通顺的回答。