|
本帖最后由 晨枫 于 2025-1-28 17:57 编辑 9 K0 N1 F) ]6 R t7 o+ Z
: z9 R8 m7 U3 d8 ]5 V/ R c% r
DeepSeek在12月推出v3,已经够惊艳,超出预期。一个月后,推出R1,直接掀翻了AI的世界。
1 j% S( z0 J' k) {; K: W& U$ d' s/ F
当然,肯定有人要急着为DeepSeek找爹,“蒸馏说”就是这样产生的。
" d" }2 f5 g- W( o- c1 ]
2 W9 C8 L" G, e8 ~0 e" V: I- V如果理解没有错误,“蒸馏说”是指DeepSeek以Chat GPT为参照模型,首先用大量的输入数据激励ChatGPT,得到输出,然后把这作为数据集,用于训练DeepSeek。
3 G4 R+ n x( @# e- `# g. v6 _# G3 C9 Q$ C, T! i
这节约了海量搜取原始数据的难题,也大大简化了语言信息的数据化工作。
" t+ a! B3 F$ d) Z# G) z. ]8 B X+ m1 o* S- X& @0 f/ `; H ~
这样的抄近路是有可能的。在工程上,模型降阶常常就是这么做的,但也是有条件的。 }! G' b. } u8 }% ] k2 @
. F/ k" `1 g. Q4 e
这些都是小模型,输入的性质和数值范围都很明确,不管是“打格子”还是随机产生输入数据,都容易。而且有足够的数值方法可以保证“数据密度”,不会出现过分的疏漏。2 |1 B* w, o* c% v# a
5 R+ m# k; |) X/ T' ?5 `
但通用大模型没法这么做。首先是不可能确定ChatGPT的输入范围。或者说,那就是整个“已知人类公域知识”,有本事把这样的输入集搞齐全了,已经把Chat GPT的data scrubbing做完了。data scrubbing不知道怎么翻译,这是把公域数据全部梳理一遍,吸收进来,包括公开出版物和网络数据。% D# |4 d8 l& m! I2 ?% w% c, j' z
( {7 Z) C) A, ~. A
也就是说,DeepSeek可以把自己的大模型“蒸馏”成小模型,但没法把别人的大模型“蒸馏”成自己的模型。$ U, h: ^6 w/ m/ e% L6 i C& r
& l5 ~- s8 {1 @1 ~9 K( [5 Y: K
第二点是推理过程,这是DeepSeek有别于几乎所有主流大模型的地方,肯定是ChatGPT没有的地方。“蒸馏”只能是降低分辨率的复现,原来的模型没有的数据,“蒸馏”是变不出来的。做习题时直接抄答案,但老师要求写中间步骤,就抓瞎了。一样的道理。
3 k( T/ e- d2 X$ G. l% t$ s
8 U6 Y. N7 c& y/ Q. Q8 D第三点:DeepSeek在一些方面超过ChatGPT,这就更不可能从“蒸馏”中得到了。针对性加强可以解释,但如何确定针对性的范围又是一个问题。5 t9 }& B% n. e6 ~3 ]; S
' c% a; ^, J- ]3 B8 R最基本的一点还是第一点:DeepSeek不可能获得ChatGPT的原始输入集,没法“蒸馏”。 |
评分
-
查看全部评分
|