1 W0 Z! O; Q8 u2 u# D0 g5 q这样的抄近路是有可能的。在工程上，模型降阶常常就是这么做的，但也是有条件的。! Z% j2 P% ]% I; j- z7 y. d2 a% j
$ b, H, l' M8 P* g
这些都是小模型，输入的性质和数值范围都很明确，不管是“打格子”还是随机产生输入数据，都容易。而且有足够的数值方法可以保证“数据密度”，不会出现过分的疏漏。( G' R5 C6 S3 x4 L! w+ [3 |- Q+ y- B
3 ~6 s' Y, S* M s7 u# d但通用大模型没法这么做。首先是不可能确定ChatGPT的输入范围。或者说，那就是整个“已知人类公域知识”，有本事把这样的输入集搞齐全了，已经把Chat GPT的data scrubbing做完了。data scrubbing不知道怎么翻译，这是把公域数据全部梳理一遍，吸收进来，包括公开出版物和网络数据。- N3 E0 x$ Z0 R8 C1 H# Z
! r) b. X5 Z, D( x" o* B也就是说，DeepSeek可以把自己的大模型“蒸馏”成小模型，但没法把别人的大模型“蒸馏”成自己的模型。 7 u# x3 X# i; V! S, F 5 y* F9 P+ T w4 `6 g第二点是推理过程，这是DeepSeek有别于几乎所有主流大模型的地方，肯定是ChatGPT没有的地方。“蒸馏”只能是降低分辨率的复现，原来的模型没有的数据，“蒸馏”是变不出来的。做习题时直接抄答案，但老师要求写中间步骤，就抓瞎了。一样的道理。: c$ u* T {, l2 `7 L
) W1 p+ p: ~5 M* U1 h
第三点：DeepSeek在一些方面超过ChatGPT，这就更不可能从“蒸馏”中得到了。针对性加强可以解释，但如何确定针对性的范围又是一个问题。: o1 o- N1 c% O7 N. _' ?$ I
