|
|
本帖最后由 晨枫 于 2025-1-28 17:57 编辑 3 o! Q7 I- ?( H$ Z) h: W, a
! H$ c2 k3 ?: f" [/ p' }
DeepSeek在12月推出v3，已经够惊艳，超出预期。一个月后，推出R1，直接掀翻了AI的世界。( h5 b" `* u2 F+ M' Y& {
; f8 }5 h+ a: m; M1 _
当然，肯定有人要急着为DeepSeek找爹，“蒸馏说”就是这样产生的。% ]: R0 K* n g* B
u2 _/ G# z( u: S+ E如果理解没有错误，“蒸馏说”是指DeepSeek以Chat GPT为参照模型，首先用大量的输入数据激励ChatGPT，得到输出，然后把这作为数据集，用于训练DeepSeek。# j; ?. b& R; r" w+ H
8 l9 R+ h* o: S1 n0 A' ?9 b这节约了海量搜取原始数据的难题，也大大简化了语言信息的数据化工作。
( J0 l5 \" g! P
# d' j. p: q' g" `* x$ z这样的抄近路是有可能的。在工程上，模型降阶常常就是这么做的，但也是有条件的。" W! d$ i& Z1 [! C3 Q% A
) J# l# s/ r! s( u m
这些都是小模型，输入的性质和数值范围都很明确，不管是“打格子”还是随机产生输入数据，都容易。而且有足够的数值方法可以保证“数据密度”，不会出现过分的疏漏。/ F) e0 b, t5 }+ E( Q
5 g3 J2 _% f; Z5 ?但通用大模型没法这么做。首先是不可能确定ChatGPT的输入范围。或者说，那就是整个“已知人类公域知识”，有本事把这样的输入集搞齐全了，已经把Chat GPT的data scrubbing做完了。data scrubbing不知道怎么翻译，这是把公域数据全部梳理一遍，吸收进来，包括公开出版物和网络数据。
' ]* k' g1 i3 B+ u' {3 V7 z/ O8 \4 d
8 r% T! X. O1 K% U: s( x% B也就是说，DeepSeek可以把自己的大模型“蒸馏”成小模型，但没法把别人的大模型“蒸馏”成自己的模型。 A/ L: z. ^+ E7 Y$ c
$ v/ O0 o5 F* ]) {# A5 y第二点是推理过程，这是DeepSeek有别于几乎所有主流大模型的地方，肯定是ChatGPT没有的地方。“蒸馏”只能是降低分辨率的复现，原来的模型没有的数据，“蒸馏”是变不出来的。做习题时直接抄答案，但老师要求写中间步骤，就抓瞎了。一样的道理。( d C" ]4 c3 y! h4 ] m! u5 c
6 w+ a) O- X2 I2 ^, K" w第三点：DeepSeek在一些方面超过ChatGPT，这就更不可能从“蒸馏”中得到了。针对性加强可以解释，但如何确定针对性的范围又是一个问题。
. Q t0 W, j' E, d2 i( E% D) Y7 e8 F* J
最基本的一点还是第一点：DeepSeek不可能获得ChatGPT的原始输入集，没法“蒸馏”。 |
评分
-
查看全部评分
|
雷达卡
楼主
收藏
分享
淘帖
支持
反对
提升卡
置顶卡
沉默卡
喧嚣卡
变色卡
抢沙发
千斤顶
显身卡
发表于 2025-1-29 02:59:15
