DeepSeek R1全参数模型一个可能的本地部署方案

沉宝

大黑蚊子 发表于 2025-2-21 14:10
我建议你再看一下KTransformers的相关资料
) k& B5 S2 O$ B6 P( U8 J8 ^这个玩意儿的本质是在低并发（甚至是单并发）的情况下，高度依 ...

欢迎讨论。
0 {7 G+ a$ p4 s8 F" v7 H" C' a0 b
首先，个人以为KTransformers的最核心最精华的是抓住了DeepSeek模型参数的稀疏性。DeepSeek是基于MoE的，回答某一个具体问题时只有部分参数高度活跃。KTransformers可以动态调度，把这部分高强度计算交给GPU（好钢用在刀刃上），剩下的则由CPU完成。所以CPU部分对系统整体性能的影响不如GPU大。作为佐证，上一帖我提到了章明星团队在几次版本迭代更新之后才把amx加速添加上去。
8 a' n5 d6 _& R  Z. u
8 ?$ K; f4 u- }) W5 TCPU/DRAM带宽对系统性能的影响不是简单线性的。老实说，我没有咱们现在讨论的这样大的系统的实际经验。我只能根据在台式机上看到的现象做一些外推。Intel的12代和13代同时支持DDR4和DDR5，DDR5内存下整体成绩要比DDR4好一些，不过差距并不大。至于到显卡的带宽，我也可以说一点。我们知道目前大部分显卡的插座都是PCIe×16。外置显卡时，因为各种原因往往不做16路通道，比方说仅仅实现了8位通道。那么这个PCIe×8的显卡游戏性能下降多少呢？绝对在30%以内，常常也就10-20%。

以上这些是我没有简单照搬章明星团队的配置，而为省钱做了一些变更的原因。

大黑蚊子

沉宝 发表于 2025-2-22 00:10
欢迎讨论。

4 y- S  a6 u8 H9 R7 y  Y  X首先，个人以为KTransformers的最核心最精华的是抓住了DeepSeek模型参数的稀疏性。DeepSeek ...

8 w1 L! @/ f* `3 p6 x- ~/ }刚刚看到一个案例，有个朋友用2686V4 x2 加256GDDR3跑起了671B的Q2.51版本
4 H/ h2 h6 S! b7 i' L$ R显卡用的是3070M 16G，环境是Ubuntu 24.04.2
输入大概是10不到一点，输出大概是5，勉强可用
因为都是整的垃圾配件，总体的成本大概不到4000人民币
6 Y5 Z, e8 @1 z8 l8 }7 c+ i
0 l0 C1 [8 b6 I( a/ g! [我估计如果他能够用DDR4+至强的话，应该可以到7-8的输出
* w/ u$ \& w: R! ^6 K5 `. B2 k如果是这个速度的话，个人轻量使用已经没有特别大的问题了

数值分析

这里有篇文章是谈万元以下服务器部署DeepSeek-R1 671B + KTransforme的
. K% p7 ]0 a- v; \+ {4 ohttps://www.pmtemple.com/academy/17340/

孟词宗

大黑蚊子 发表于 2025-3-10 22:25
6 d, E/ \( r) l+ b" V: _: O刚刚看到一个案例，有个朋友用2686V4 x2 加256GDDR3跑起了671B的Q2.51版本
) C" A* N# d6 D. S显卡用的是3070M 16G，环境是U ...

8 ~3 N2 [. x7 h  k* N* i; t" s
# I- o0 Z! j  a5 V' [/ S! }- _我觉得别对Q5以下的版本抱太大希望。Q5 以下只能说是能跑，但效果实在不敢恭维，很多情况下出来的回答都不是 AI 幻觉，而是文不对题。在决定投钱搞硬件前，还是建议先化小钱租个服务器，下载不同的压缩版看看效果再确定要用哪一版，用什么本地硬件。

沉宝

大黑蚊子 发表于 2025-3-10 22:25
刚刚看到一个案例，有个朋友用2686V4 x2 加256GDDR3跑起了671B的Q2.51版本
8 _% m8 N: {1 Z5 Y显卡用的是3070M 16G，环境是U ...

8 v4 g: C* V4 y; W  J# V这做得很厉害了。点赞！

沉宝

数值分析 发表于 2025-3-10 23:42
& m; |1 _& M; x5 y: n5 P/ q这里有篇文章是谈万元以下服务器部署DeepSeek-R1 671B + KTransforme的
% U6 j1 _1 Y. q( b- Whttps://www.pmtemple.com/academy/ ...

7 F* u6 C/ H+ l. w6 o# `这么多案例，很有参考价值。

孟词宗

有 512 GB RAM 的话，基本 Q3 以下都可以跑。Huggingface 上量化版不少。例如这个：https://huggingface.co/unsloth/DeepSeek-R1-GGUF 从 Q1 到 fp16 都齐全了。Q1 的几个版本甚至只要 256 GB 就可以跑了。
2 U8 e, ^2 h7 a
7 H: l5 J1 J: E3 S& i但是，量化版压缩了尺寸，同时也压缩了功能。个人感觉 Q5 以下基本都是渣渣，回答大多逻辑不通。

孟词宗

大黑蚊子 发表于 2025-3-10 22:25
, Z! l/ B% q' s, u, d  E$ D( |刚刚看到一个案例，有个朋友用2686V4 x2 加256GDDR3跑起了671B的Q2.51版本
显卡用的是3070M 16G，环境是U ...

  I% Y& h6 ~; g* h$ H( p0 R% ~性价比更好的是 HP Z840。这玩意儿有2X Intel Xeon E5-2678 v3 up to 3.1GHz (24 Cores Total)，最好的是有16条内存槽，按 Intel 的说法，每个 CPU 可以到 768 GB DDR4。两个就是 1.5TB （实际 HP Z840 号称能到 2TB），正好可以跑 DS-R1 671b 完整版了。

雷声

孟词宗 发表于 2025-4-15 10:41
性价比更好的是 HP Z840。这玩意儿有2X Intel Xeon E5-2678 v3 up to 3.1GHz (24 Cores Total)，最好的是 ...

https://cloudninjas.com/collecti ... 40%20will%20support,Reduced%20server%20(LRDIMM)%20memory.
4 S9 b' I, {7 i7 P7 a
The HPE Z840 will support 4GB, 8GB, 16GB or 32GB DDR4 Registered.
This server will also support 32GB, 64GB or 128GB Load Reduced Modules (LRDIMM).
The Maximum amount of RAM the HPE Z840 server can hold is 2TB (16 x 128GB) of Load Reduced server (LRDIMM) memory
. ]2 s7 d1 |6 O! Z
LRDIMM 128GB的话一条要1400~2000刀，16根的话。。。。 好像也不便宜了。
. k! A8 ]8 p7 \! w2 \( h0 EZ840倒是不值几个钱。

孟词宗

' C4 l. C! r; j& o+ b$ i

雷声 发表于 2025-4-15 11:18
https://cloudninjas.com/collecti ... E%20Z840%20will%20s ...

! r4 Y2 F- _; u! v- J4 y# J, T% o没那么贵，Amazon 上一条才 $239。16条也就$3,824。

https://www.amazon.com/Tech-2666 ... cp-nq_eMQV&th=1
1 U. _3 Y8 w( m8 O7 D7 F9 @
& I- D% W. k2 }; m' E/ ~9 L: {1TB 的kit 稍微便宜一点， $1,908, x2 就是 $3,816： https://www.amazon.com/Tech-8x12 ... amp;sr=1-1&th=1
, e* L+ I) f& O4 u* X: j
但如果上 2TB 的kit 反而要 $4,319 : https://www.amazon.com/Tech-16x1 ... ctronics&sr=1-6

$ P0 W& x  a$ M
当然，真要上这个，最好买以前和卖家咨询一下，这些 RAM 是否可以装 Z840。我估计 Z840 出来这么多年，大概最多也就有人装到 128 GB，毕竟这不是 server 而是个工作站而已。

孟词宗

雷声 发表于 2025-4-15 11:18
8 J1 y0 ~/ z# A9 {; f) v$ rhttps://cloudninjas.com/collecti ... E%20Z840%20will%20s ...

! b" z/ z$ q/ z) X7 j# M# H1 l
4 F( l+ m$ D# n6 f$ k4 p7 p顺便说一句，如果只是要跑压缩版的话，我在另一个帖子（http://www.aswetalk.net/bbs/foru ... read&tid=161700）里已经说过，如果有192GB的 RAM 就可以跑 IQ1_S（131 GB）， IQ1_M （158GB）（假设没有显卡加成）。
  u5 U4 p! G+ g* `. q
不要显卡的话，搞个Intel core ultra 9 285k 或者 AMD Ryzen 9 9900x3d 加上 192GB DDR5 和 4TB 的 SSD，一般也就 $1,500 左右就搞定了。

nanimarcus

散热的问题，你把机箱敞开，左右两片直接给拆了，开个小风扇对着吹就是了，斜着吹，从前往后，CPU显卡电源一起吹，别去搞太复杂的冷却方案，水冷复杂且容易坏。
& `$ d2 w" w- G! U当然，有点吵，放在别的房间，用网络连接好了，命令行，远程桌面都可以。
服务器那种结构就是隐含你用那种暴力风扇，对散热并不友好。
我的GPU上的CUDA跑满都可以控制在80度以下。
当然奢侈一点，放在空调房，调节一下空调出口，把机箱放在桌子上，对着机箱吹能降下很多，这才是真正的水冷加风冷。

孟词宗

如果是为了跑本地大模型，显卡没有必要搞顶级的家用卡。相比速度，更重要的是显卡的显存有多少。

从性价比来说，两块3090比一块4090要好，这是因为3090仍然支持 NVLink。连接后显存会显示为 48 GB。这就可以容纳很多模型了。

但3090的问题是功耗, 350W 起步，两个就是700W，对电源要求高了。而且还得找有足够空间的主板和机箱。而且价格也不便宜。4090 现在给炒到 3650 美刀左右，3090 则是 2000 美刀。加起来就不是小数字了。

对于显卡，我倒是推荐这个：PNY RTX 4000 Ada VCNRTX4000ADA-PB 20GB, 市价1500 美刀左右，有20GB。虽然不能串联，但这是个 Single Slot card。一般好的主板能塞三四个。功耗单卡才130瓦，三个加起来也就才相当于一个3090。而三个卡加起来 60 GB，Ollama 可以跑很多 LLM 了。

! p! s9 `8 P% N$ _) T! w否则也可以弄个 PNY NVIDIA RTX 4500 Ada Generation 24GB GDDR6，这也就2300美刀左右，但显存和4090 一样。两个加起来相当于一个 4090 但显存要多一倍。

3 e) y5 P5 g: N当然，俺的理想卡是公布但还没有正式开售的 RTX PRO 6000 Max-Q https://www.pny.com/nvidia-rtx-pro-6000-blackwell-max-q。这玩意儿有 96GB 显存，还可以用 NVLink 串联。最大可到四张卡384GB，而单卡功耗不过 300W。

当然价格据说也挺感人，要 $8,565 单张。

孟词宗

nanimarcus 发表于 2025-4-15 12:58
. \2 p( a" s3 ^3 |0 f散热的问题，你把机箱敞开，左右两片直接给拆了，开个小风扇对着吹就是了，斜着吹，从前往后，CPU显卡电源 ...

0 A6 F  G: S) r, I/ }" O+ d同意风冷，但用不着这样 DIY。可以用 联力 LANCOOL 215 https://lian-li.com/product/lancool-215/。这机箱正面两个200毫米的风扇吹气，后面一个140毫米的抽气，足够用了。用风扇的时候，机箱应当关上，这样风速比敞开的更快。
$ B: o. w8 ^8 A  j
CPU 和 显卡的冷却还是不能省的。倒不是风扇，而是它们的散热片不能省。有了散热片才能有效散热。风扇本身是不是装在CPU和显卡的散热装置上不重要。

nanimarcus

孟词宗 发表于 2025-4-15 14:12
同意风冷，但用不着这样 DIY。可以用 联力 LANCOOL 215 https://lian-li.com/product/lancool-215/。这机 ...

2 \& z, `4 T* C! Y5 C" l, j: T  ^我有点成见，总认为机箱上的风扇不够有力，呵呵。
+ f( }; R6 e+ G; |& t+ ~
( F6 j7 H4 a# |  q3 t" q6 [" w所以总认为机箱敞开了另外架个风扇吹特别有力，至少视觉上如此。
; O  m+ S6 U* `' \/ y
所以我的理想型机箱就是一个框架，其他统统敞开了，吹！

  V3 |, J; K4 S( y1 K另外，CPU上带的散热片过于庞大，多少会造成主板变形，所以我的机箱是平放的，如此一来显卡是竖起来的，这样两个最重的部分不会造成形变。

孟词宗

nanimarcus 发表于 2025-4-15 17:35
我有点成见，总认为机箱上的风扇不够有力，呵呵。

所以总认为机箱敞开了另外架个风扇吹特别有力，至少视 ...

: W) d& l& {8 M2 X( I& [Caseless 的 DIY 电脑现在也挺多的。散热和灰尘啥的不是问题。
3 I, o+ P, I0 [0 q- c8 \
2 ]' s$ P3 b+ n% s+ z# g
主要问题是像下面这个放桌上的，如果一不小心撒点饮料上去就容易把电脑废了。


0 N8 m( W" y; e' ?所以一般都是挂墙上的。造的好点的话还是挺科幻感的。

nanimarcus

. n! M( W1 w. `$ O. F" c- B

孟词宗 发表于 2025-4-15 21:45
5 c6 G$ P) S3 YCaseless 的 DIY 电脑现在也挺多的。散热和灰尘啥的不是问题。

这个确实很赞。
: {: X& P! F, x* X& Q1 d) V2 I
第一三张好像放不了全尺寸显卡。
7 n& Y/ h2 H' }第二张全尺寸显卡的散热好像不太好。

孟词宗

nanimarcus 发表于 2025-4-15 23:26
这个确实很赞。

第一三张好像放不了全尺寸显卡。

4 l& L8 a7 B2 A& W( |都是全尺寸显卡。第一、三两张中的显卡散热被魔改成水冷了。所以看不到明显的显卡。实际上两个机器应该都是双显卡。第二张的显卡问题不大。很明显不是80或90级别的。根据电源才600W来看，应当是3060或4060级别的。这个显卡的原装风扇还在，制冷应当还行。

雷声

孟词宗 发表于 2025-4-15 11:58
没那么贵，Amazon 上一条才 $239。16条也就$3,824。
% d; }: @7 a$ n% `! U$ v
https://www.amazon.com/Tech-2666MHz-PC4-21300-Wo ...

) H" ~$ g' s0 E7 ^1 ^HP Z系列G4以后支持Intel® Optane™ Persistent Memory，买二手的话更便宜。不过表现怎么样就不好说了。
! e, U0 G; s# x4 ^0 H* E5 |. ]Z6/Z8 G4也可以上到2TB，加上PMM的话更多，价格比Z840也贵不了多少。
4 r/ f& U: \8 T话说Z系列是真不错，我09年买的一台Z8现在用的好好的，而且比公司配的新Alien还快。

孟词宗

雷声 发表于 2025-4-16 07:27
HP Z系列G4以后支持Intel® Optane™ Persistent Memory，买二手的话更便宜。不过表现怎么样就不好说了。 ...

HP Z8 G4 号称可以最高支持 3TB 不过这得看 CPU。如果单个 CPU 只支持 768 GB的话，那两个 CPU 最多也就 1.5 TB。大多数旧的 HP Z8 G4 都最多 1.5 TB。
) V" e0 |" T3 ]9 b% N; j' [9 p
性价比来说你说的很对，Z8 G4 的确更合算一些。尤其是不少旧机器本身就带了 1.5 TB。这比自己买要合算多了，也省事多了。
' r) P2 \* A- e: E, k
; F' y/ R$ K: `' c) t9 r/ A3 ]+ b3 ?从跑 LLM 的角度讲，应当是可以跑，速度勉强可以接受的程度。俺那个三年旧的机器，如果不用显卡，跑 DS-R1 的 70B 蒸馏版最快也就两三个token每秒。Z8 G4 跑DS-R1 的671B版本应当只会更差。毕竟内存更慢，模型更大，CPU更老。