DeepSeek R1全参数模型一个可能的本地部署方案

沉宝

DeepSeek一夜爆火，现在联网服务拥堵不堪。当晨老大号召自建farm的时候，本人开始认真考虑本地部署。 KTransfomer的报道也在第一时间见到，并设想了一个以此为基础的装机方案。然后呢，就“铲后抑郁”了。如今很多内容都在网友[大黑蚊子]的记录（链接）中讨论过了，但具体的装机方案大概还有一些价值，还是写出来吧。
  e2 i) b  `0 L5 s  s$ Z1 f% Z& ?
& z% J" q, H5 U( S1 s8 ]DeepSeek R1原版是一个参数量高达671B的大模型，虽然比之其它頂尖的人工智能模型在硬件要求上已经大大降低，但个人部署全尺寸模型，依然难度不小。为了便于在低端硬件上运行，出现了一系列蒸馏版减少参数量（以 Qwen2.5 或 Llama 为构架，参数范围从 1.5B、7B、8B、14B、32B 到 70B）。另一个思路是参数量化，例如1.58bit和4bit。一般来说，LLM训练时使用高精度（例如 32位浮点数），而推理时使用低精度（16位浮点数或者更低）即可。1.58bit是把这一趋势推到极端（只有0、1和-1三种状态）。有人试验了DeepSeek全尺寸模型的1.58bit的量化版，结论基本可用，有时候说话可能有点“冲”，圆润平衡上差一些。4bit版效果已经相当好了。至于[xiejin77]担忧的量化影响反馈精度或者稳定性，理论上有可能，但实际影响需要大量的对比实验加以证实或者证伪。

0 N( C" r8 o1 B. e/ k5 E: ?6 ?- P下面讨论具体装机方案。首先定一下目标。目标用户：个人或者小团体。鉴于这个模型现在典型的应用场景都是文字的输入和输出，跨网络合用的难度并不大（因为不需要占据太多的网络带宽）。单机，预算定位$5000左右。应该属于一个人咬咬牙能冲得上去，小范围集资（10人以内的那种）能够轻易支付。目标性能：DeepSeek R1全尺寸671B的4bit量化版，输出速度与人的阅读速度差不多即可（个人使用，太快了没有必要），约 5-10 tokens/s。这样的预算，这样的目标，显然需要KTransfomer技术加成才有可能达到。饶是如此，也得按市场最低价加DIY省着来。
* F! y% ?' i+ G
第一步：内存的大小。将模型的参数全部放入内存是必须的。如果还用硬盘空间扩展出来的虚拟内存，那速度肯定慢的不行。DeepSeek参数精度16bit（BF16）时需要 1342GB的存储空间，4bit量化版所需空间为其¼，再加上程序和操作系统所需，512GB应该可以了。这么大的内存，普通PC机主板肯定不行，要上服务器的。鉴于当前DDR4的内存条比 DDR5还是要便宜不少，所以选择DDR4。
- _) o1 v9 a4 u; t: l
- U; Y$ w* C; ]* l第二：CPU和主板。CPU我选AMD Zen3架构（ Zen3是DDR4的最后一代）的服务器芯片EPYC 7C13, 64 core 128 threads, 市场价仅$700+。它与正式发布的7713结构一致，频率略低，有人怀疑类似于Intel的 ES（工程样品）。主板支持Milan的SP3主板即可。唯一要注意的是内存插槽数，根据DDR4单条内存的容量大小，要能够插出512GB来。

$ c/ R9 B0 f& }  {- m8 E
第三：显卡。双3090或者单4090。4090不好买，用两块3090大致能抵上一块4090。

第四：硬盘。这个要求真不高，如果机器仅仅是为了跑DeepSeek，一个4 TB
1 z: ~+ ~+ J8 c& F' ?; ]! g6 [（或者两个2 TB）的nvme就够用了。（想当初我在爱坛上发记录推荐固态盘时，一块4TB的才$150）

其它：说3点。1)普通PC机箱。2)散热避免使用服务器的暴力风扇（ PC机箱也缺乏服务器的风道结构）。如果散热量大，考虑用水冷。3)如果单台大功率电源太贵，可以用两台小的给主板和显卡分别供电。如此需要双电源同步启动板或者同步线，但那东西淘宝上也就人民币10块钱。
  ~1 r' `; N+ A; I
最后汇总一下。数字为能够淘到的大致美元价，可以接受二手货，+、-表示向上下浮动不超过15%
6 t" {/ U4 F- Y) H4 O, _
) _3 ~7 i1 }4 fRAM 512GB DDR4       1000+
/ \# l2 _. J* S2 ^) {2 i' v3 \% uCPU 7C13或相当           700+
5 M( d$ m7 G4 j1 M) w7 l1 ]主板（单路即可）         500
显卡 3090                  1000- ×2
固态硬盘                     200+
* O: U$ ]5 I; h# n! R, d1 s其它 机箱、电源、散热器等

- Z; V; S; k; t  k- }' f8 {

大黑蚊子

& W3 X0 r6 p( L0 i5 h/ E7 f7 t  k说实话我也在琢磨这个玩意儿，几万块钱搞一个这个玩玩，在AI新浪潮初期真的算是一个比较高性价比的学习途径了
在硬件选型上面我倒是有点儿不同意见，鉴于章明星他们在0.3版里使用amx指令集加速，那么支持amx的Intel至强可扩展CPU应该是要好于AMD的EYPC的，具体来说现在Intel最新款是6代至强，退而求其次选择四代或者五代至强应该也满足要求。章明星团队他们的硬件好像也是双路Xeon 6430
/ F/ o( Y  |* [% i7 B5 z( N但是这个成本可能要比你说的EPYC要高不少，但总的来说应该还在可承受的范围之内
4 D' D# b% n: s0 I1 v显卡的双路配置好像不是特别必须的，主要是4bit量化版需要14g显存，所以如果有一块3090先用着应该问题也不会太大，实在不行多买一块也可以

( I; Y+ |* f: m2 o2 e* B周末去华强北转转去，看看二手服务器有啥准系统能够直接上手的

马鹿

我看到了国内AI的商机。。。 攒小配置的AI模型！

马鹿

关于方案， 我直接问过deepseek。。。

马鹿

大黑蚊子 发表于 2025-2-20 03:27
说实话我也在琢磨这个玩意儿，几万块钱搞一个这个玩玩，在AI新浪潮初期真的算是一个比较高性价比的学习途径 ...

$ r4 n- `; l9 Y8 U$ K真心羡慕国内了。。。我90年代自己攒过打游戏的计算机。。。

testjhy

马鹿 发表于 2025-2-20 21:45
6 g! s( a' o' |5 g真心羡慕国内了。。。我90年代自己攒过打游戏的计算机。。。

$ h7 u/ U  ?: n6 O+ M5 ]- h社长，美国不是与国内PC价格差不多吗？也仿照沉宝蚊行攒一台呗，

马鹿

testjhy 发表于 2025-2-20 09:50
6 k, r* x7 ^$ Y! n1 B7 i5 O) b社长，美国不是与国内PC价格差不多吗？也仿照沉宝蚊行攒一台呗，

攒了以后干啥呢？

testjhy

! _0 X2 `6 a, ^1 |2 {, S这是大华股份根据国产芯片的一体机，估计是华为提供的方案供各家贴牌

大黑蚊子

testjhy 发表于 2025-2-20 23:32
4 j' P; L: u/ B( X1 s0 O, u5 Z9 g这是大华股份根据国产芯片的一体机，

' S/ c7 F( o% J大华的这个配置没啥意义，你看跑的都是蒸馏版的7B/14B/32B模型
6 M  z( O4 Q6 E. a7 o, q我在自家电脑上搞了一个7B的模型试了下，真的是不太行
% \- B% ^7 P1 `. n. e我估计32B和70B也都不太行
, ^; ^( b- C  ]" z3 h5 r, Y( P这个帖子里讨论的应该是直接上手671B的满血量化版，1.58或者4bit版本，这个据多个信源反馈效果挺好的
# d* z/ T+ h3 l& k" R

* Y+ D. w% \( i' _% B) b) |# i$ @不过这个单子我倒是可以拿着去嘲笑下大华的朋友“你们钻钱眼里了？搞这个文字游戏骗钱”

testjhy

马鹿 发表于 2025-2-20 23:19
4 F7 ~* h7 j9 I: H6 `; T攒了以后干啥呢？

想干啥就干啥，吃喝玩乐，

testjhy

大黑蚊子 发表于 2025-2-20 23:38
大华的这个配置没啥意义，你看跑的都是蒸馏版的7B/14B/32B模型
1 e5 G6 ^* U) ~& w6 Q, K我在自家电脑上搞了一个7B的模型试了下， ...

找了一个非剪裁图，看了一个新闻，华为提供方案，有60多家企业响应，大华可能是比较快的，找不到价格，

大黑蚊子

testjhy 发表于 2025-2-20 23:45
8 h; n: k+ f& W找了一个非剪裁图，看了一个新闻，华为提供方案，有60多家企业响应，大华可能是比较快的，找不到价格，{: ...

我要是鼓捣这玩意儿，肯定是找二手硬件啥的，全新设备的价格那还是相当辣手的
# Y8 U8 l4 T; x6 n- R打听了一下Intel的至强4代CPU，现在全球缺货，嘿嘿
去华强北看看有没有QS版本，可能一块就要6000人民币至少

马鹿

大黑蚊子 发表于 2025-2-20 10:38
' ?  t' {% H4 h! f/ K5 y3 B2 g大华的这个配置没啥意义，你看跑的都是蒸馏版的7B/14B/32B模型
6 s. C9 M: U+ N% }* y; ?我在自家电脑上搞了一个7B的模型试了下， ...

8 o/ x0 G& B8 J2 M( Y8 F5 ^好奇你攒个模型做啥？

大黑蚊子

马鹿 发表于 2025-2-20 23:53
3 w# e7 V  V6 u1 E6 o4 b7 C好奇你攒个模型做啥？

% g+ B7 k& ^: S0 b. Z
) `3 b8 L1 G% M7 o: J2 `+ t玩啊，好奇啊，这很可能是通向新世界的大门
# _" ^" O) x1 u8 T: _. z有这个条件的话，干嘛不玩？
3 S& ^, W0 z/ C; c2 V% D
- X  N; S6 o/ s) t# U7 n* r现在大部分人还在懵逼状态中，只是知道个大模型的东西，具体怎么搭，个人知识库怎么建，私有服务怎么处理...好玩的需求多着呢

( l) T3 a; ]! a9 r% P+ \0 h6 bDeepSeek的出现，极大降低了大模型训练和部署的总体成本
0 F% S6 R* T7 Z0 sKTransformer架构的出现，打响了极大降低大模型部署和私有知识库服务的硬件成本的第一枪
% l" x/ M5 Q$ _6 {  Z/ \. |
7 N! J' U! C3 X; V这种能够降低90%成本的新技术出现，大概率后面会蕴藏着10亿级别的新的相关应用和服务空间
玩的过程中也可以吸收很多其他的知识，认识其他稀奇古怪的人，包赚的啊

沉宝

大黑蚊子 发表于 2025-2-20 16:27
/ s8 r& W2 U9 N* @, j, J( t2 P( O) C说实话我也在琢磨这个玩意儿，几万块钱搞一个这个玩玩，在AI新浪潮初期真的算是一个比较高性价比的学习途径 ...

这取决于对问题的理解和取舍。首先在大模型计算中，GPU的能力远远强于CPU，即使那个CPU有amx指令加速。所以在预算有限的前提下，应该尽量省下钱来加强GPU。当然如果实测一块3090够用了，那更好。
. U8 X: L2 x2 w! M* o+ X0 Y
" y( M9 b6 U  X( B/ q对比EPYC与Xeon 6530方案。Xeon 6530 2023年底发布，还比较新，主板加CPU的折扣有限。而EPYC Milan则要旧得多，有大批从数据中心退下来的二手货可选。即便有amx加成，但架不住7713的核多，单挑的话还是应该7713赢。而双路7713的话只不过比我的原方案多一颗U的钱，其它几乎不用改。个人认为CPU的第一位作用是保障参数全部装载在内存，计算加速还在其次。章明星团队的努力是充分挖掘手头现有硬件的全部潜力，amx加速是新版才加上去的，可见并非重中之重。

pcb

大黑蚊子 发表于 2025-2-20 23:53
. m8 G6 y' a, C  R- a. D- o# l我要是鼓捣这玩意儿，肯定是找二手硬件啥的，全新设备的价格那还是相当辣手的
打听了一下Intel的至强4代C ...

5 `8 n! ~5 D$ |* {"至强" 是 Xeon？

马鹿

大黑蚊子 发表于 2025-2-20 11:03
玩啊，好奇啊，这很可能是通向新世界的大门
, b. [7 \' U" p6 V" ^有这个条件的话，干嘛不玩？

握手， 我也是，就是好奇。 也同样认为这是通向新时代的大门。

xut6688

在本地部署满血版的DeepSeek R1, 性价比太低了，还不如用各个云厂商的API。 自己学习，玩一玩用云API就好。至于本地部署的蒸馏R1，我试过各个版本包括70B的，效果都不好，和原版差太远。我自己玩着用本地部署的模型做了一个RAG应用，最后发现蒸馏R1还不如原版的QWen2.5 32B。

大黑蚊子

xut6688 发表于 2025-2-21 05:30
在本地部署满血版的DeepSeek R1, 性价比太低了，还不如用各个云厂商的API。 自己学习，玩一玩用云API就好。 ...

# q. ~% S/ g, t所以为啥盯着671B的版本呢，就是这个原因，其他版本的性价比其实都不好。

) a2 r0 R1 \8 k) M& Z4 |/ W目前有海量的本地部署满血版DeepSeek的需求，因为太多的数据受商业或者法规的限制不能上网，这个部署的整体过程是有很大市场需求的。

" g8 i7 P5 \9 ADS和KT的诞生，不是拉低了对算力的需求，而是通过降低成本做大了整体算力需求。
' J5 Y" L) s5 F. G$ W* l) w
5 R3 R  K# D( v$ \7 U$ t* Z而且部署过程中的调优和配参，踩过的坑，以及反复琢磨和资料学习的成果都是自己的。

再说了，都是二手硬件，搭完之后上闲鱼卖掉，亏不了多少钱

大黑蚊子

沉宝 发表于 2025-2-21 00:16
, Q! C! `% [$ u这取决于对问题的理解和取舍。首先在大模型计算中，GPU的能力远远强于CPU，即使那个CPU有amx指令加速。所 ...

, M! i4 s' P  [- y! r我建议你再看一下KTransformers的相关资料
这个玩意儿的本质是在低并发（甚至是单并发）的情况下，高度依赖CPU/DRAM带宽，从而降低GPU需求的降本做法。
DDR5换DDR4的话，带宽砍半，对应token的数量就要起码减半
& ]# U$ }2 @' cCPU的带宽再砍半的话，又要丢失速度
如果CPU/DRAM带宽不够的话，甚至3090可能都喂不满，无限下降螺旋在降低成本的同时会极大影响使用效果
对于咱们来说，跑起来不是胜利，能够最低限度可用才是核心需求所在啊
4 @) ~$ M6 M( p! x我觉得起码要搞个输出4-6token/s才行吧
按你这个方案我估计可能1-2token都悬