AI 没学过你公司，为什么还能回答？｜预训练

你问 AI 一个工作问题，它好像能听懂行业词、看懂句子，甚至能写出一段像样的回复。
先说结论：这靠的是预训练。模型会先在广泛数据上练出通用的语言和模式基础，再去处理具体任务。

预训练（Pre-training）可以理解成：
先把通用教材读一遍。

模型会接触多样的文本、对话、代码和表达模式，并反复练习预测后续内容、补全缺失信息。
在这个过程中，它学习的不是某一家公司的一份资料，而是语言怎样组织、概念怎样关联、常见任务怎样表达。

所以，预训练能让模型拥有一个“通用底座”：
能理解常见表达、生成文本、识别一些模式。

但它不等于知道所有事实，更不保证信息最新、准确，也不会天然拥有你的公司资料。

你可以做个 A/B 小测试：

A：用 3 点解释：什么是 RAG？
B：用 3 点解释：什么是 RAG？
参考资料：RAG 会先从外部知识库检索相关内容，再把内容提供给模型生成回答。

保持同一模型、相同问题和输出要求，只增加参考资料。
观察 B 的回答，会不会更贴近给定资料，还是补充了额外内容。

这个测试不能证明模型预训练过哪些资料，只能说明：当前上下文会影响回答。
所以涉及私有、重要或最新信息时，最好直接提供资料、链接，或接入知识库。

从测试视角看，验证预训练后的通用能力，要用未参与训练的多类型样本，分别观察理解、生成和模式识别；不能把时效事实当成“通用能力”来判断。

一句话记住：预训练先把通用基础练出来，后续任务才能更快适应。

上一篇讲训练如何更新参数；这一篇讲模型如何先打通用底子。
下一篇继续讲：微调（Fine-tuning）是什么？怎样让通用模型更适合一项具体任务？

你更常需要 AI：查通用知识，还是处理公司资料？

预训练 Pretraining 大模型 人工智能 AI原理 模型训练 RAG 知识库