爱吱声

标题: DeepSeek R1全参数模型一个可能的本地部署方案 [打印本页]
作者: 沉宝    时间: 2025-2-20 15:41
标题: DeepSeek R1全参数模型一个可能的本地部署方案
DeepSeek一夜爆火，现在联网服务拥堵不堪。当晨老大号召自建farm的时候，本人开始认真考虑本地部署。 KTransfomer的报道也在第一时间见到，并设想了一个以此为基础的装机方案。然后呢，就“铲后抑郁”了。如今很多内容都在网友[大黑蚊子]的记录（链接）中讨论过了，但具体的装机方案大概还有一些价值，还是写出来吧。  ^+ M/ C. w' H  O/ E- u. c& b
( S7 o% A8 D, T* g* b/ A8 N5 _
DeepSeek R1原版是一个参数量高达671B的大模型，虽然比之其它頂尖的人工智能模型在硬件要求上已经大大降低，但个人部署全尺寸模型，依然难度不小。为了便于在低端硬件上运行，出现了一系列蒸馏版减少参数量（以 Qwen2.5 或 Llama 为构架，参数范围从 1.5B、7B、8B、14B、32B 到 70B）。另一个思路是参数量化，例如1.58bit和4bit。一般来说，LLM训练时使用高精度（例如 32位浮点数），而推理时使用低精度（16位浮点数或者更低）即可。1.58bit是把这一趋势推到极端（只有0、1和-1三种状态）。有人试验了DeepSeek全尺寸模型的1.58bit的量化版，结论基本可用，有时候说话可能有点“冲”，圆润平衡上差一些。4bit版效果已经相当好了。至于[xiejin77]担忧的量化影响反馈精度或者稳定性，理论上有可能，但实际影响需要大量的对比实验加以证实或者证伪。
4 S% j$ w" o/ L: A# [4 s$ y# l2 U
下面讨论具体装机方案。首先定一下目标。目标用户：个人或者小团体。鉴于这个模型现在典型的应用场景都是文字的输入和输出，跨网络合用的难度并不大（因为不需要占据太多的网络带宽）。单机，预算定位$5000左右。应该属于一个人咬咬牙能冲得上去，小范围集资（10人以内的那种）能够轻易支付。目标性能：DeepSeek R1全尺寸671B的4bit量化版，输出速度与人的阅读速度差不多即可（个人使用，太快了没有必要），约 5-10 tokens/s。这样的预算，这样的目标，显然需要KTransfomer技术加成才有可能达到。饶是如此，也得按市场最低价加DIY省着来。  y$ C+ k* F" r0 d

9 Y, w: h( ?0 H$ f第一步：内存的大小。将模型的参数全部放入内存是必须的。如果还用硬盘空间扩展出来的虚拟内存，那速度肯定慢的不行。DeepSeek参数精度16bit（BF16）时需要 1342GB的存储空间，4bit量化版所需空间为其¼，再加上程序和操作系统所需，512GB应该可以了。这么大的内存，普通PC机主板肯定不行，要上服务器的。鉴于当前DDR4的内存条比 DDR5还是要便宜不少，所以选择DDR4。5 h6 K3 ]5 U/ u+ M9 q7 s1 w

% D; ?1 P, t1 A1 z. S第二：CPU和主板。CPU我选AMD Zen3架构（ Zen3是DDR4的最后一代）的服务器芯片EPYC 7C13, 64 core 128 threads, 市场价仅$700+。它与正式发布的7713结构一致，频率略低，有人怀疑类似于Intel的 ES（工程样品）。主板支持Milan的SP3主板即可。唯一要注意的是内存插槽数，根据DDR4单条内存的容量大小，要能够插出512GB来。
, H4 J" }9 \- m  Y6 S2 V' ]0 R" [7 x, Q! [7 ?/ n6 L% F

6 u9 z9 q% z6 ~  @/ o7 z  L. J第三：显卡。双3090或者单4090。4090不好买，用两块3090大致能抵上一块4090。$ ]! j; M  v! j/ G5 ?" q
# A3 ^0 @. G# z( ~5 C
第四：硬盘。这个要求真不高，如果机器仅仅是为了跑DeepSeek，一个4 TB7 E# F8 w" Q$ I! Y1 U
（或者两个2 TB）的nvme就够用了。（想当初我在爱坛上发记录推荐固态盘时，一块4TB的才$150）
. p7 l$ D8 Q  B+ X1 L, B8 ]$ ~: L3 d9 p0 p/ h
其它：说3点。1)普通PC机箱。2)散热避免使用服务器的暴力风扇（ PC机箱也缺乏服务器的风道结构）。如果散热量大，考虑用水冷。3)如果单台大功率电源太贵，可以用两台小的给主板和显卡分别供电。如此需要双电源同步启动板或者同步线，但那东西淘宝上也就人民币10块钱。" h" y* W9 k8 a/ V) z! x4 _7 h4 b

- ~( _/ |- E4 d+ W0 X, j. b. ~, O最后汇总一下。数字为能够淘到的大致美元价，可以接受二手货，+、-表示向上下浮动不超过15%
1 g7 N  ?. A7 g1 m  e) ]; }2 M2 l, I; c8 k3 O& n+ u
RAM 512GB DDR4       1000+7 A. w0 [1 k  A. d
CPU 7C13或相当           700+: b) ]1 W6 O" |; {8 c9 B2 ^) R
主板（单路即可）         500
* z/ _$ q' Z1 t# [0 _( t显卡 3090                  1000- ×2
9 x% i' b  m8 M3 m4 W. ^) k固态硬盘                     200+
) N4 T. t3 v6 X) O其它 机箱、电源、散热器等( V4 J# N/ N; P2 j8 v! e
: ?2 e1 D- Z$ I$ m
作者: 大黑蚊子    时间: 2025-2-20 16:27
本帖最后由 大黑蚊子 于 2025-2-20 21:55 编辑 , r9 V2 t& e- y* f# q  S5 ~3 K

$ V! l0 Q% z: H. S说实话我也在琢磨这个玩意儿，几万块钱搞一个这个玩玩，在AI新浪潮初期真的算是一个比较高性价比的学习途径了
6 Q9 l" P5 o% Q& }1 @在硬件选型上面我倒是有点儿不同意见，鉴于章明星他们在0.3版里使用amx指令集加速，那么支持amx的Intel至强可扩展CPU应该是要好于AMD的EYPC的，具体来说现在Intel最新款是6代至强，退而求其次选择四代或者五代至强应该也满足要求。章明星团队他们的硬件好像也是双路Xeon 6430
  k$ D# K& }+ _; o' z8 X但是这个成本可能要比你说的EPYC要高不少，但总的来说应该还在可承受的范围之内! H" v8 g; {- _# c
显卡的双路配置好像不是特别必须的，主要是4bit量化版需要14g显存，所以如果有一块3090先用着应该问题也不会太大，实在不行多买一块也可以2 s* O! ~5 ]0 j* M% ^

! s4 U) Z( K' }周末去华强北转转去，看看二手服务器有啥准系统能够直接上手的
作者: 马鹿    时间: 2025-2-20 21:42
我看到了国内AI的商机。。。 攒小配置的AI模型！
作者: 马鹿    时间: 2025-2-20 21:43
关于方案， 我直接问过deepseek。。。
作者: 马鹿    时间: 2025-2-20 21:45
大黑蚊子 发表于 2025-2-20 03:27
; q2 S- H/ f7 A! d# O  i. {说实话我也在琢磨这个玩意儿，几万块钱搞一个这个玩玩，在AI新浪潮初期真的算是一个比较高性价比的学习途径 ...
# Y$ _+ d( z; Q0 s) ]! M6 `4 q
真心羡慕国内了。。。我90年代自己攒过打游戏的计算机。。。
作者: testjhy    时间: 2025-2-20 22:50
马鹿 发表于 2025-2-20 21:45
$ @4 S, n* v& R- S9 a真心羡慕国内了。。。我90年代自己攒过打游戏的计算机。。。
5 v: n- W1 r& l8 N
社长，美国不是与国内PC价格差不多吗？也仿照沉宝蚊行攒一台呗，
作者: 马鹿    时间: 2025-2-20 23:19
testjhy 发表于 2025-2-20 09:50
! s, A( @  V* A* j4 |) B; @" g社长，美国不是与国内PC价格差不多吗？也仿照沉宝蚊行攒一台呗，

! z; I- S6 H# u  Z攒了以后干啥呢？
作者: testjhy    时间: 2025-2-20 23:32
本帖最后由 testjhy 于 2025-2-20 23:41 编辑 2 ~: R$ r1 E7 E7 t; K0 H/ `

3 A1 e  P% h2 G$ d
  ~' f* p" j! y) v这是大华股份根据国产芯片的一体机，估计是华为提供的方案供各家贴牌
作者: 大黑蚊子    时间: 2025-2-20 23:38
testjhy 发表于 2025-2-20 23:32! E/ x& P1 y1 s5 a6 |! u9 P
这是大华股份根据国产芯片的一体机，

  e7 @: w6 [5 t+ F, S" _# Y1 \大华的这个配置没啥意义，你看跑的都是蒸馏版的7B/14B/32B模型5 U8 r, ~: K% {; `7 ^: |; r( z9 k
我在自家电脑上搞了一个7B的模型试了下，真的是不太行# a3 f( w+ [- _" D5 D
我估计32B和70B也都不太行6 \  h" l' S( v* P) m/ y
这个帖子里讨论的应该是直接上手671B的满血量化版，1.58或者4bit版本，这个据多个信源反馈效果挺好的+ p+ v% b  L$ A; Q" _" d

, ^8 w! F0 v2 H1 m6 S; r# U9 J9 X1 ]9 M7 R
不过这个单子我倒是可以拿着去嘲笑下大华的朋友“你们钻钱眼里了？搞这个文字游戏骗钱”
作者: testjhy    时间: 2025-2-20 23:42
马鹿 发表于 2025-2-20 23:199 C1 t/ b) C2 W1 H
攒了以后干啥呢？
, p/ M, c  x6 X7 u/ `5 F5 O
想干啥就干啥，吃喝玩乐，
作者: testjhy    时间: 2025-2-20 23:45
大黑蚊子 发表于 2025-2-20 23:38
3 @2 C" j" [8 }  v大华的这个配置没啥意义，你看跑的都是蒸馏版的7B/14B/32B模型( S+ \1 N; L6 u# c% \
我在自家电脑上搞了一个7B的模型试了下， ...
% \; @( W4 w# ?
找了一个非剪裁图，看了一个新闻，华为提供方案，有60多家企业响应，大华可能是比较快的，找不到价格，
作者: 大黑蚊子    时间: 2025-2-20 23:53
testjhy 发表于 2025-2-20 23:45. ^9 Z+ K* u# }. C0 T. t4 A8 v
找了一个非剪裁图，看了一个新闻，华为提供方案，有60多家企业响应，大华可能是比较快的，找不到价格，{: ...
9 @; o* `, q& G2 h- P
我要是鼓捣这玩意儿，肯定是找二手硬件啥的，全新设备的价格那还是相当辣手的
2 P+ Y* Z) M" G/ t) {; m. M打听了一下Intel的至强4代CPU，现在全球缺货，嘿嘿+ M) R$ x0 o, F+ B
去华强北看看有没有QS版本，可能一块就要6000人民币至少
作者: 马鹿    时间: 2025-2-20 23:53
大黑蚊子 发表于 2025-2-20 10:38
7 W4 c2 c/ \* m. G7 i: {大华的这个配置没啥意义，你看跑的都是蒸馏版的7B/14B/32B模型7 m/ P4 V* Z  Y2 ?# s
我在自家电脑上搞了一个7B的模型试了下， ...

* p& \" I2 H. ^& a) o0 b! d# \好奇你攒个模型做啥？
作者: 大黑蚊子    时间: 2025-2-21 00:03
马鹿 发表于 2025-2-20 23:53
- H8 ?7 p+ y& e' t  O好奇你攒个模型做啥？
3 ~6 t0 V& P5 @

  I3 w0 r$ v, g9 ~- c' j- z玩啊，好奇啊，这很可能是通向新世界的大门* R7 I( B' k" Y
有这个条件的话，干嘛不玩？0 w& @0 n* U# O  K' _3 j. ~
, R3 [7 Y5 b/ b4 c8 b; ~# ~
现在大部分人还在懵逼状态中，只是知道个大模型的东西，具体怎么搭，个人知识库怎么建，私有服务怎么处理...好玩的需求多着呢
. o" w$ [+ T% B
3 H' W4 |8 L4 _& u5 xDeepSeek的出现，极大降低了大模型训练和部署的总体成本$ m+ V1 [. T- p5 K
KTransformer架构的出现，打响了极大降低大模型部署和私有知识库服务的硬件成本的第一枪
7 l% T* \0 [" E! l: h
4 j6 V, k* d/ l5 C' z1 t这种能够降低90%成本的新技术出现，大概率后面会蕴藏着10亿级别的新的相关应用和服务空间2 U) }) T0 I) R) ?
玩的过程中也可以吸收很多其他的知识，认识其他稀奇古怪的人，包赚的啊
作者: 沉宝    时间: 2025-2-21 00:16
大黑蚊子 发表于 2025-2-20 16:27
6 \& ]8 O2 T. l& d! r/ |说实话我也在琢磨这个玩意儿，几万块钱搞一个这个玩玩，在AI新浪潮初期真的算是一个比较高性价比的学习途径 ...
8 d2 b, V; s3 r4 n: I
这取决于对问题的理解和取舍。首先在大模型计算中，GPU的能力远远强于CPU，即使那个CPU有amx指令加速。所以在预算有限的前提下，应该尽量省下钱来加强GPU。当然如果实测一块3090够用了，那更好。; c& I/ h9 L9 ?+ T

5 b5 q8 C3 G: z3 ?* c2 m7 G- [对比EPYC与Xeon 6530方案。Xeon 6530 2023年底发布，还比较新，主板加CPU的折扣有限。而EPYC Milan则要旧得多，有大批从数据中心退下来的二手货可选。即便有amx加成，但架不住7713的核多，单挑的话还是应该7713赢。而双路7713的话只不过比我的原方案多一颗U的钱，其它几乎不用改。个人认为CPU的第一位作用是保障参数全部装载在内存，计算加速还在其次。章明星团队的努力是充分挖掘手头现有硬件的全部潜力，amx加速是新版才加上去的，可见并非重中之重。
作者: pcb    时间: 2025-2-21 01:42
大黑蚊子 发表于 2025-2-20 23:53
; @3 S# E: C! [( ~# z6 \0 H我要是鼓捣这玩意儿，肯定是找二手硬件啥的，全新设备的价格那还是相当辣手的
9 {. k1 J  ]  I5 k8 ^' |3 O打听了一下Intel的至强4代C ...
! b' ?" m, x+ I: H& |
"至强" 是 Xeon？
作者: 马鹿    时间: 2025-2-21 02:29
大黑蚊子 发表于 2025-2-20 11:03
& T  G6 R& O' c* b! D) B+ r玩啊，好奇啊，这很可能是通向新世界的大门4 I- @! F6 o& V6 l5 Z/ b3 D
有这个条件的话，干嘛不玩？

4 I2 @4 v! R2 s1 @$ h握手， 我也是，就是好奇。 也同样认为这是通向新时代的大门。
作者: xut6688    时间: 2025-2-21 05:30
在本地部署满血版的DeepSeek R1, 性价比太低了，还不如用各个云厂商的API。 自己学习，玩一玩用云API就好。至于本地部署的蒸馏R1，我试过各个版本包括70B的，效果都不好，和原版差太远。我自己玩着用本地部署的模型做了一个RAG应用，最后发现蒸馏R1还不如原版的QWen2.5 32B。
作者: 大黑蚊子    时间: 2025-2-21 09:06
xut6688 发表于 2025-2-21 05:308 i' a  r. m' o1 l# x
在本地部署满血版的DeepSeek R1, 性价比太低了，还不如用各个云厂商的API。 自己学习，玩一玩用云API就好。 ...
& H0 {! Z1 ?) B  K7 a
所以为啥盯着671B的版本呢，就是这个原因，其他版本的性价比其实都不好。' N8 v/ r( c3 e3 M6 h' R4 ]- R
3 a$ c4 y9 ^4 i/ H; r, g
目前有海量的本地部署满血版DeepSeek的需求，因为太多的数据受商业或者法规的限制不能上网，这个部署的整体过程是有很大市场需求的。
9 w$ ?- K: e* x5 }+ [* U; u! y. n1 e3 c7 O. J7 Q1 ?. M7 @
DS和KT的诞生，不是拉低了对算力的需求，而是通过降低成本做大了整体算力需求。
, O3 Z* [% `( _* Z3 R7 b- F8 b  }" _# @5 p- [( Q( G
而且部署过程中的调优和配参，踩过的坑，以及反复琢磨和资料学习的成果都是自己的。
( T7 f/ n2 I; H5 v5 }  U2 i9 K1 H& r1 @8 y( z, s9 q
再说了，都是二手硬件，搭完之后上闲鱼卖掉，亏不了多少钱
作者: 大黑蚊子    时间: 2025-2-21 14:10
沉宝 发表于 2025-2-21 00:16
! A" H# J) P( C# ^0 R8 y6 q这取决于对问题的理解和取舍。首先在大模型计算中，GPU的能力远远强于CPU，即使那个CPU有amx指令加速。所 ...
6 G! E- ]9 t7 P; z! ?; I) p5 z. k
我建议你再看一下KTransformers的相关资料
2 f/ S5 B& B9 J% `% Y" o) {这个玩意儿的本质是在低并发（甚至是单并发）的情况下，高度依赖CPU/DRAM带宽，从而降低GPU需求的降本做法。5 N& L) O: X; o1 `1 L% f* \
DDR5换DDR4的话，带宽砍半，对应token的数量就要起码减半
' X. @4 d7 ~: cCPU的带宽再砍半的话，又要丢失速度
; ]6 I/ B: H' R6 A0 U% i! F- D如果CPU/DRAM带宽不够的话，甚至3090可能都喂不满，无限下降螺旋在降低成本的同时会极大影响使用效果% Z" A% o' p* B- k( u8 {' ~
对于咱们来说，跑起来不是胜利，能够最低限度可用才是核心需求所在啊& k# t5 A9 i, A; m4 O2 a
我觉得起码要搞个输出4-6token/s才行吧
" L: e, y7 J7 [0 K按你这个方案我估计可能1-2token都悬
作者: 沉宝    时间: 2025-2-22 00:10
大黑蚊子 发表于 2025-2-21 14:10
+ C9 p  }1 b# K, x3 F, l! M  {  L我建议你再看一下KTransformers的相关资料
8 I; a3 C- m/ J/ C; N: {* u这个玩意儿的本质是在低并发（甚至是单并发）的情况下，高度依 ...
0 K2 p6 I$ ^; i9 ~1 z6 ~! ?
欢迎讨论。
2 G3 \3 z( N3 @, C( y  u. m- ^3 Y1 X, a: P% G8 K1 W0 _& i
首先，个人以为KTransformers的最核心最精华的是抓住了DeepSeek模型参数的稀疏性。DeepSeek是基于MoE的，回答某一个具体问题时只有部分参数高度活跃。KTransformers可以动态调度，把这部分高强度计算交给GPU（好钢用在刀刃上），剩下的则由CPU完成。所以CPU部分对系统整体性能的影响不如GPU大。作为佐证，上一帖我提到了章明星团队在几次版本迭代更新之后才把amx加速添加上去。
3 x+ ^+ U$ {, e; n* x3 A
- z2 s# E0 D' W# ^( p% lCPU/DRAM带宽对系统性能的影响不是简单线性的。老实说，我没有咱们现在讨论的这样大的系统的实际经验。我只能根据在台式机上看到的现象做一些外推。Intel的12代和13代同时支持DDR4和DDR5，DDR5内存下整体成绩要比DDR4好一些，不过差距并不大。至于到显卡的带宽，我也可以说一点。我们知道目前大部分显卡的插座都是PCIe×16。外置显卡时，因为各种原因往往不做16路通道，比方说仅仅实现了8位通道。那么这个PCIe×8的显卡游戏性能下降多少呢？绝对在30%以内，常常也就10-20%。
+ K+ [: e/ h; C% b9 X  ?) D. r
0 T- ]0 p  ]! l9 Y0 H8 L! c以上这些是我没有简单照搬章明星团队的配置，而为省钱做了一些变更的原因。
作者: 大黑蚊子    时间: 2025-3-10 22:25
沉宝 发表于 2025-2-22 00:10
; m. d( c& l6 e1 E3 S9 p欢迎讨论。& u) \+ M0 ^: o: \

$ ?* W) H# r9 t6 U) H首先，个人以为KTransformers的最核心最精华的是抓住了DeepSeek模型参数的稀疏性。DeepSeek ...

: n$ W8 {, }+ P3 b6 E. V4 X" m* A- N刚刚看到一个案例，有个朋友用2686V4 x2 加256GDDR3跑起了671B的Q2.51版本) _- p) |. w  q0 P4 s. e
显卡用的是3070M 16G，环境是Ubuntu 24.04.2
, I  D, R0 ]# M9 `# T输入大概是10不到一点，输出大概是5，勉强可用
- s  A/ D. d8 L  q$ \因为都是整的垃圾配件，总体的成本大概不到4000人民币
: _8 W0 c6 O3 Z8 B/ t# e# |
/ M( x6 ], y; r: u我估计如果他能够用DDR4+至强的话，应该可以到7-8的输出2 Y( P' ]4 I3 ?+ _! Q- W
如果是这个速度的话，个人轻量使用已经没有特别大的问题了
作者: 数值分析    时间: 2025-3-10 23:42
这里有篇文章是谈万元以下服务器部署DeepSeek-R1 671B + KTransforme的- W. k% y: e/ K5 G9 f9 `, u0 ]
https://www.pmtemple.com/academy/17340/
" j+ B3 |* ?4 U
作者: 孟词宗    时间: 2025-3-11 01:50
大黑蚊子 发表于 2025-3-10 22:25% [( }, |* H6 y" h8 v8 X4 e$ c
刚刚看到一个案例，有个朋友用2686V4 x2 加256GDDR3跑起了671B的Q2.51版本8 x, J: M9 [8 E# Q
显卡用的是3070M 16G，环境是U ...
9 E) Z+ K! O+ B& h
* T5 p+ k* M7 p; y
我觉得别对Q5以下的版本抱太大希望。Q5 以下只能说是能跑，但效果实在不敢恭维，很多情况下出来的回答都不是 AI 幻觉，而是文不对题。在决定投钱搞硬件前，还是建议先化小钱租个服务器，下载不同的压缩版看看效果再确定要用哪一版，用什么本地硬件。
作者: 沉宝    时间: 2025-3-11 02:12
大黑蚊子 发表于 2025-3-10 22:25
& O/ H( y0 q: j7 P" K刚刚看到一个案例，有个朋友用2686V4 x2 加256GDDR3跑起了671B的Q2.51版本
+ W3 k1 z! }0 H0 m6 t显卡用的是3070M 16G，环境是U ...
2 C& P( R  F/ \+ I+ E+ y
这做得很厉害了。点赞！
作者: 沉宝    时间: 2025-3-11 02:14
数值分析 发表于 2025-3-10 23:42
7 w) [7 O. u& C  x/ {这里有篇文章是谈万元以下服务器部署DeepSeek-R1 671B + KTransforme的
" |0 E, i( F) I. c# ?# ~https://www.pmtemple.com/academy/ ...
# r4 b, \$ ~2 p& A! ?) {
这么多案例，很有参考价值。
作者: 孟词宗    时间: 2025-3-12 01:39
有 512 GB RAM 的话，基本 Q3 以下都可以跑。Huggingface 上量化版不少。例如这个：https://huggingface.co/unsloth/DeepSeek-R1-GGUF 从 Q1 到 fp16 都齐全了。Q1 的几个版本甚至只要 256 GB 就可以跑了。9 L# `( a  \' c1 {' P# N

# c' ]" h( `# z" Q) h  t+ G但是，量化版压缩了尺寸，同时也压缩了功能。个人感觉 Q5 以下基本都是渣渣，回答大多逻辑不通。
作者: 孟词宗    时间: 2025-4-15 10:41
大黑蚊子 发表于 2025-3-10 22:25
$ C5 X3 m6 [* J& u% W! U刚刚看到一个案例，有个朋友用2686V4 x2 加256GDDR3跑起了671B的Q2.51版本
- e( W9 h9 K, P: _$ F- n! b/ r( G显卡用的是3070M 16G，环境是U ...
! i+ {# K) N/ c7 s
性价比更好的是 HP Z840。这玩意儿有2X Intel Xeon E5-2678 v3 up to 3.1GHz (24 Cores Total)，最好的是有16条内存槽，按 Intel 的说法，每个 CPU 可以到 768 GB DDR4。两个就是 1.5TB （实际 HP Z840 号称能到 2TB），正好可以跑 DS-R1 671b 完整版了。
作者: 雷声    时间: 2025-4-15 11:18
孟词宗 发表于 2025-4-15 10:41% \+ X9 e: M" h& Z3 e# Z
性价比更好的是 HP Z840。这玩意儿有2X Intel Xeon E5-2678 v3 up to 3.1GHz (24 Cores Total)，最好的是 ...
% z% s9 }9 Z- p  {- U
https://cloudninjas.com/collecti ... 40%20will%20support,Reduced%20server%20(LRDIMM)%20memory.
( G2 C+ q$ T, y& L, O9 o1 `
; I3 x$ }) L# s# XThe HPE Z840 will support 4GB, 8GB, 16GB or 32GB DDR4 Registered. 5 P! U# T& O3 B2 Q
This server will also support 32GB, 64GB or 128GB Load Reduced Modules (LRDIMM).
  E6 v' Y* k2 g8 O2 R% W: r" rThe Maximum amount of RAM the HPE Z840 server can hold is 2TB (16 x 128GB) of Load Reduced server (LRDIMM) memory( r% K( Q" A# e3 k, M

1 ?; K. n6 P) E  c. q6 m5 i0 ^- i$ ^LRDIMM 128GB的话一条要1400~2000刀，16根的话。。。。 好像也不便宜了。2 I- p; A0 p, j4 q  L3 D% f3 Z
Z840倒是不值几个钱。
作者: 孟词宗    时间: 2025-4-15 11:58
本帖最后由 孟词宗 于 2025-4-15 12:01 编辑
" S5 z+ O2 \/ k0 t9 `% c
雷声 发表于 2025-4-15 11:187 |* g6 v4 h" y; d9 M
https://cloudninjas.com/collecti ... E%20Z840%20will%20s ...

- K# ]0 P, U% W6 i* R# ?9 u5 C' [+ w: N" t
没那么贵，Amazon 上一条才 $239。16条也就$3,824。  w% B( q+ ^% U
: |# E2 L+ _: [* T' ?2 Z% l
https://www.amazon.com/Tech-2666 ... cp-nq_eMQV&th=1
, ]  v' o- Y* l. }8 m4 F0 _
  `! |" n5 ]. L% w, J7 K7 t& y1TB 的kit 稍微便宜一点， $1,908, x2 就是 $3,816： https://www.amazon.com/Tech-8x12 ... amp;sr=1-1&th=1
: o+ D3 Q/ I- c. T9 V3 J5 b4 g3 s; Z( @2 E3 s; L
但如果上 2TB 的kit 反而要 $4,319 : https://www.amazon.com/Tech-16x1 ... ctronics&sr=1-6
( [5 f6 r* I$ h8 n, n/ d) Q$ E) m- Z9 y9 _' v) Z' w

0 V) V4 D+ x# m) F, M$ l6 M当然，真要上这个，最好买以前和卖家咨询一下，这些 RAM 是否可以装 Z840。我估计 Z840 出来这么多年，大概最多也就有人装到 128 GB，毕竟这不是 server 而是个工作站而已。
作者: 孟词宗    时间: 2025-4-15 12:14
雷声 发表于 2025-4-15 11:18% d0 V! a$ K% M- \2 \
https://cloudninjas.com/collecti ... E%20Z840%20will%20s ...
% \7 P- ]' e% P$ O

2 ~( R8 q, u9 ~/ [6 M* F  o顺便说一句，如果只是要跑压缩版的话，我在另一个帖子（http://www.aswetalk.net/bbs/foru ... read&tid=161700）里已经说过，如果有192GB的 RAM 就可以跑 IQ1_S（131 GB）， IQ1_M （158GB）（假设没有显卡加成）。8 A# f0 w" C0 t$ M& q5 V$ J
6 a2 r4 c7 S9 Q: F$ ]% O% q: k
不要显卡的话，搞个Intel core ultra 9 285k 或者 AMD Ryzen 9 9900x3d 加上 192GB DDR5 和 4TB 的 SSD，一般也就 $1,500 左右就搞定了。
作者: nanimarcus    时间: 2025-4-15 12:58
散热的问题，你把机箱敞开，左右两片直接给拆了，开个小风扇对着吹就是了，斜着吹，从前往后，CPU显卡电源一起吹，别去搞太复杂的冷却方案，水冷复杂且容易坏。
$ l/ t$ Q. G: o: c, |% H  d/ ^当然，有点吵，放在别的房间，用网络连接好了，命令行，远程桌面都可以。
" {" E4 a4 x* L, z: x5 W8 o服务器那种结构就是隐含你用那种暴力风扇，对散热并不友好。
8 t. K9 L& P' y6 A4 h6 ?) U. A- a我的GPU上的CUDA跑满都可以控制在80度以下。
4 @5 T6 V. T' ]1 c( R+ w当然奢侈一点，放在空调房，调节一下空调出口，把机箱放在桌子上，对着机箱吹能降下很多，这才是真正的水冷加风冷。
作者: 孟词宗    时间: 2025-4-15 13:48
如果是为了跑本地大模型，显卡没有必要搞顶级的家用卡。相比速度，更重要的是显卡的显存有多少。
. ^6 ]; ?' Z0 G8 H, G, ^- g* `6 f7 M- }
从性价比来说，两块3090比一块4090要好，这是因为3090仍然支持 NVLink。连接后显存会显示为 48 GB。这就可以容纳很多模型了。. x( k% y% h. F+ ^0 Q2 C1 E3 h) n

4 }, P( }1 D8 {( g/ d+ h0 E3 _0 U1 m但3090的问题是功耗, 350W 起步，两个就是700W，对电源要求高了。而且还得找有足够空间的主板和机箱。而且价格也不便宜。4090 现在给炒到 3650 美刀左右，3090 则是 2000 美刀。加起来就不是小数字了。1 V) N+ ^7 f9 z& b: f* e5 J

$ m. q$ f& D7 J* I% v9 a7 n对于显卡，我倒是推荐这个：PNY RTX 4000 Ada VCNRTX4000ADA-PB 20GB, 市价1500 美刀左右，有20GB。虽然不能串联，但这是个 Single Slot card。一般好的主板能塞三四个。功耗单卡才130瓦，三个加起来也就才相当于一个3090。而三个卡加起来 60 GB，Ollama 可以跑很多 LLM 了。# Y( I( f: f: [  r! x
" F3 T7 W% T# c4 T' p: h& Y! s! S' {8 Y
否则也可以弄个 PNY NVIDIA RTX 4500 Ada Generation 24GB GDDR6，这也就2300美刀左右，但显存和4090 一样。两个加起来相当于一个 4090 但显存要多一倍。  R: t7 U, A9 v* r2 W9 I

5 y* Q+ K6 c; M当然，俺的理想卡是公布但还没有正式开售的 RTX PRO 6000 Max-Q https://www.pny.com/nvidia-rtx-pro-6000-blackwell-max-q。这玩意儿有 96GB 显存，还可以用 NVLink 串联。最大可到四张卡384GB，而单卡功耗不过 300W。
' b/ }3 f, j5 m3 v4 u9 a5 N8 L' P* Z6 [# E- ]  F% Y
当然价格据说也挺感人，要 $8,565 单张。
作者: 孟词宗    时间: 2025-4-15 14:12
nanimarcus 发表于 2025-4-15 12:58
6 x4 n- c/ t. r4 B/ y; W; z) u散热的问题，你把机箱敞开，左右两片直接给拆了，开个小风扇对着吹就是了，斜着吹，从前往后，CPU显卡电源 ...
/ A7 u+ d/ K% [8 e. T
同意风冷，但用不着这样 DIY。可以用 联力 LANCOOL 215 https://lian-li.com/product/lancool-215/。这机箱正面两个200毫米的风扇吹气，后面一个140毫米的抽气，足够用了。用风扇的时候，机箱应当关上，这样风速比敞开的更快。
; W7 \; o& f- p6 f- \
7 y, h+ U! L# s$ O6 M5 xCPU 和 显卡的冷却还是不能省的。倒不是风扇，而是它们的散热片不能省。有了散热片才能有效散热。风扇本身是不是装在CPU和显卡的散热装置上不重要。
作者: nanimarcus    时间: 2025-4-15 17:35
孟词宗 发表于 2025-4-15 14:12
' X, K" b# @" V4 a. J, `/ U同意风冷，但用不着这样 DIY。可以用 联力 LANCOOL 215 https://lian-li.com/product/lancool-215/。这机 ...

: s8 j" ]8 g" Z4 x我有点成见，总认为机箱上的风扇不够有力，呵呵。
% U5 W8 q: u7 S% a! z$ Z
" a/ c! K. \" U9 X: @所以总认为机箱敞开了另外架个风扇吹特别有力，至少视觉上如此。7 ]/ \! f2 l7 |9 o1 G: m
  V2 U" j# f! l7 m
所以我的理想型机箱就是一个框架，其他统统敞开了，吹！  n# W* t' Q  w2 W. R$ a" y7 v. k" R

" t  g8 N6 S; C" U, D* R另外，CPU上带的散热片过于庞大，多少会造成主板变形，所以我的机箱是平放的，如此一来显卡是竖起来的，这样两个最重的部分不会造成形变。
作者: 孟词宗    时间: 2025-4-15 21:45
nanimarcus 发表于 2025-4-15 17:354 V6 S* {& Q- e2 Y+ Z; N
我有点成见，总认为机箱上的风扇不够有力，呵呵。
' ?' v& @/ O7 F% F1 e2 G
6 a2 L$ ~2 R" z& g2 \所以总认为机箱敞开了另外架个风扇吹特别有力，至少视 ...
- U# G7 U3 W! Q, @* q8 O2 y
Caseless 的 DIY 电脑现在也挺多的。散热和灰尘啥的不是问题。  o1 \2 |; s; C0 {, a
- g  a0 U$ o) n8 d' ?

4 D6 C/ H2 j$ \6 O) y主要问题是像下面这个放桌上的，如果一不小心撒点饮料上去就容易把电脑废了。7 V  H/ D' G8 V/ \! B

3 P* s" r; o' d% V6 `4 e- ~, o4 I& H; O) U
所以一般都是挂墙上的。造的好点的话还是挺科幻感的。
! L/ T; E- ^2 b
作者: nanimarcus    时间: 2025-4-15 23:26
本帖最后由 nanimarcus 于 2025-4-15 23:27 编辑 % m# H5 j  k' z0 r0 v. K# ?
孟词宗 发表于 2025-4-15 21:45
, M* n1 L& d* d: o9 t- ^( ICaseless 的 DIY 电脑现在也挺多的。散热和灰尘啥的不是问题。

# I, C" k& }* F+ m0 Y  s" U& e6 n) ?1 X3 l* g0 z! ~6 X1 w+ L
这个确实很赞。6 `8 w. e8 L# _& L( R$ \* _
9 W: n; {2 T: e+ B
第一三张好像放不了全尺寸显卡。, n. v9 P0 `$ q2 P1 I! [6 Y
第二张全尺寸显卡的散热好像不太好。
作者: 孟词宗    时间: 2025-4-16 00:07
nanimarcus 发表于 2025-4-15 23:26
* |/ F6 E6 f' L% v. j这个确实很赞。( c/ K) L: ?  Z+ u0 _
/ I& c/ v' ?& F9 y; t* U4 N
第一三张好像放不了全尺寸显卡。
5 T+ N3 P) `3 D; T3 `, |; d4 u) w
都是全尺寸显卡。第一、三两张中的显卡散热被魔改成水冷了。所以看不到明显的显卡。实际上两个机器应该都是双显卡。第二张的显卡问题不大。很明显不是80或90级别的。根据电源才600W来看，应当是3060或4060级别的。这个显卡的原装风扇还在，制冷应当还行。
作者: 雷声    时间: 2025-4-16 07:27
孟词宗 发表于 2025-4-15 11:58
* R3 N* r) ]# H9 R, w: N, A没那么贵，Amazon 上一条才 $239。16条也就$3,824。* l, q$ Q2 o  L1 R
( v0 ]! `0 Y# I% d6 F
https://www.amazon.com/Tech-2666MHz-PC4-21300-Wo ...
/ l. F  p! }2 [7 t' E7 }. d
HP Z系列G4以后支持Intel® Optane™ Persistent Memory，买二手的话更便宜。不过表现怎么样就不好说了。
/ r6 j6 C# R; e3 E) x8 jZ6/Z8 G4也可以上到2TB，加上PMM的话更多，价格比Z840也贵不了多少。
8 Y5 w% S+ r7 W: M* v1 S0 c话说Z系列是真不错，我09年买的一台Z8现在用的好好的，而且比公司配的新Alien还快。
作者: 孟词宗    时间: 2025-4-16 09:55
本帖最后由 孟词宗 于 2025-4-16 10:03 编辑
+ h/ A9 ]: Z2 a$ ?6 J7 I+ Q
雷声 发表于 2025-4-16 07:27
5 t( T3 X3 |7 vHP Z系列G4以后支持Intel® Optane™ Persistent Memory，买二手的话更便宜。不过表现怎么样就不好说了。 ...
8 c8 r, F" s: K7 s0 _

5 ?2 Q7 e" m0 BHP Z8 G4 号称可以最高支持 3TB 不过这得看 CPU。如果单个 CPU 只支持 768 GB的话，那两个 CPU 最多也就 1.5 TB。大多数旧的 HP Z8 G4 都最多 1.5 TB。
/ a. U6 H: Y( q: `0 z+ H. @
6 s2 Y' k7 H8 z& u+ s% B& m  D性价比来说你说的很对，Z8 G4 的确更合算一些。尤其是不少旧机器本身就带了 1.5 TB。这比自己买要合算多了，也省事多了。& o& s! A; w/ Z6 v

  A9 _5 B: a- ^从跑 LLM 的角度讲，应当是可以跑，速度勉强可以接受的程度。俺那个三年旧的机器，如果不用显卡，跑 DS-R1 的 70B 蒸馏版最快也就两三个token每秒。Z8 G4 跑DS-R1 的671B版本应当只会更差。毕竟内存更慢，模型更大，CPU更老。
作者: leekai    时间: 2026-4-18 21:09
我去年春节也攒了台x99 双路e5v4+256+2080魔改22g*2，硬盘因为以前装nas不用买，后来淘了Dell730 HP z440，用下来感觉单路CPU更合适。期间装了N多大模型，现在只剩ragflow+qwen 3.5 ，35b做map，27b做reduce，都刚好可以单卡运行。前两天刚跟风试了turboquant，效果挺好。今天发现qwen 3.6发布，并且有UD IQ4量化，正在下载准备试试。% T: @3 {* }7 V8 s7 ]
现在有更好的选择，IBM AC922，六块v100 16g准系统闲鱼上报5800元。
作者: 沉宝    时间: 2026-4-19 11:10
leekai 发表于 2026-4-18 21:09
" L0 X+ h4 q# d* p- N3 p我去年春节也攒了台x99 双路e5v4+256+2080魔改22g*2，硬盘因为以前装nas不用买，后来淘了Dell730 HP z440， ...
6 `! S* t5 l' z( ~- R
2080和v100的优点是可以通过NVLink 获得很大的显存。缺点是缺乏 fp8 等先进架构的支持。不过看在那价格上，还能说什么呢？！
) [# L4 o, k. P0 x  N' g
0 d* H5 \# w: I7 \. W今年较之去年，最大的一个变化是像小龙虾之类的智能体流行起来了。通过不断的自我进化，智能体在很多方面可以达到和超过简单使用混合专家模型(MoE)。而智能体的后台模型，如果想跑在自己的机器上，小一些的稠密模型其效果往往好于MoE。与人相比，智能体的AI对话中提示词的长度平均增长了许多倍，从而也就要求更强的KV缓存。如此turboquant正逢其时。: i7 ^" I) p# F6 {& G

; m: H1 ^  C2 x比TurboQuant更强的还有RotorQuant。感兴趣的话可以关注一下它在你使用的模型上落地的进展。
作者: 大黑蚊子    时间: 2026-4-20 13:43
回首这个帖子* @! {) Z' m# H
如果去年就下手干他1个T的ECC DDR5内存的话...! G# L7 v' [. R8 P. Y
0 E8 I& C2 ]$ Z9 W: M
俺就不用今年年初买个128G内存条那么心痛了
作者: leekai    时间: 2026-4-21 17:32
大黑蚊子 发表于 2026-4-20 13:43  y5 p6 h- e+ z5 O6 P7 E) E
回首这个帖子' |) @3 A# D2 H! z
如果去年就下手干他1个T的ECC DDR5内存的话...

2 i7 g) ~) X& K4 t+ @我一直以为自己加钱换了512幸好前两年弄了几根1T 2T 4T的nvme还有SATA SSD，就是去年初看来看去没买氦气盘有点后悔。



欢迎光临 爱吱声 (http://129.226.69.186/bbs/) Powered by Discuz! X3.2