为什么蒸馏模型有可能成为世界最好模型？
作者：尤洋， 新加坡国立大学 校长青年教授，潞晨科技 创始人

蒸馏模型有可能成为世界最好模型吗？我认为完全有可能。

首先，“蒸馏模型” (学生模型)能否超越“被蒸馏模型” (教师模型)？

假定A是世界最强模型。B是一个蒸馏A的模型。

B的智力能否超过A？我觉得是完全有可能的。

大模型 的性能主要由这几方面决定：

1. 训练数据

2. 模型结构

3. 优化器 以及优化技术

4. Loss函数

5. 训练的epoch数或训练的FLOPs

6. 学习率 等重要 超参数

目前大模型领域常说的一类蒸馏，是用更强模型构建更高质量的训练数据。 我们是无法通过这种蒸馏(黑盒输出)知道原始模型的结构，Loss函数，所用优化器。

现在：

B通过蒸馏，可以直接获得A生成的高质量训练数据，从而在训练数据这个维度上大幅缩小与A的差距。

同时，如果B的其他方面明显比A更好，B的性能将很可能超过A。比如，B用的优化器更好或B的模型结构更好。