设为首页收藏本站

爱吱声

 找回密码
 注册
搜索
查看: 5515|回复: 40
打印 上一主题 下一主题

[信息技术] DeepSeek R1全参数模型一个可能的本地部署方案

[复制链接]

该用户从未签到

跳转到指定楼层
楼主
 楼主| 发表于 2025-2-20 15:41:10 | 只看该作者 |只看大图 回帖奖励 |倒序浏览 |阅读模式
DeepSeek一夜爆火,现在联网服务拥堵不堪。当晨老大号召自建farm的时候,本人开始认真考虑本地部署。 KTransfomer的报道也在第一时间见到,并设想了一个以此为基础的装机方案。然后呢,就“铲后抑郁”了。如今很多内容都在网友[大黑蚊子]的记录(链接)中讨论过了,但具体的装机方案大概还有一些价值,还是写出来吧。
2 i' {* f( g; f7 u/ S
' x( V9 d! a5 T" NDeepSeek R1原版是一个参数量高达671B的大模型,虽然比之其它頂尖的人工智能模型在硬件要求上已经大大降低,但个人部署全尺寸模型,依然难度不小。为了便于在低端硬件上运行,出现了一系列蒸馏版减少参数量(以 Qwen2.5 或 Llama 为构架,参数范围从 1.5B、7B、8B、14B、32B 到 70B)。另一个思路是参数量化,例如1.58bit和4bit。一般来说,LLM训练时使用高精度(例如 32位浮点数),而推理时使用低精度(16位浮点数或者更低)即可。1.58bit是把这一趋势推到极端(只有0、1和-1三种状态)。有人试验了DeepSeek全尺寸模型的1.58bit的量化版,结论基本可用,有时候说话可能有点“冲”,圆润平衡上差一些。4bit版效果已经相当好了。至于[xiejin77]担忧的量化影响反馈精度或者稳定性,理论上有可能,但实际影响需要大量的对比实验加以证实或者证伪。
$ }$ _3 ?) H* W2 F) P9 O) W0 f8 q' k6 n) w. H' |
下面讨论具体装机方案。首先定一下目标。目标用户:个人或者小团体。鉴于这个模型现在典型的应用场景都是文字的输入和输出,跨网络合用的难度并不大(因为不需要占据太多的网络带宽)。单机,预算定位$5000左右。应该属于一个人咬咬牙能冲得上去,小范围集资(10人以内的那种)能够轻易支付。目标性能:DeepSeek R1全尺寸671B的4bit量化版,输出速度与人的阅读速度差不多即可(个人使用,太快了没有必要),约 5-10 tokens/s。这样的预算,这样的目标,显然需要KTransfomer技术加成才有可能达到。饶是如此,也得按市场最低价加DIY省着来。
/ o4 _. D) x2 p/ G  e
+ m( d+ `0 a! v% M. f第一步:内存的大小。将模型的参数全部放入内存是必须的。如果还用硬盘空间扩展出来的虚拟内存,那速度肯定慢的不行。DeepSeek参数精度16bit(BF16)时需要 1342GB的存储空间,4bit量化版所需空间为其¼,再加上程序和操作系统所需,512GB应该可以了。这么大的内存,普通PC机主板肯定不行,要上服务器的。鉴于当前DDR4的内存条比 DDR5还是要便宜不少,所以选择DDR4。; b" z$ }( B; W' {8 R$ h3 v4 w
3 I+ t8 G1 O- \& v) c
第二:CPU和主板。CPU我选AMD Zen3架构( Zen3是DDR4的最后一代)的服务器芯片EPYC 7C13, 64 core 128 threads, 市场价仅$700+。它与正式发布的7713结构一致,频率略低,有人怀疑类似于Intel的 ES(工程样品)。主板支持Milan的SP3主板即可。唯一要注意的是内存插槽数,根据DDR4单条内存的容量大小,要能够插出512GB来。; A' c* s6 G  z' U+ a( y$ C# \. F( I
4 V* o+ z: I4 J3 p
: o8 s) J* Y" h
第三:显卡。双3090或者单4090。4090不好买,用两块3090大致能抵上一块4090。$ O$ N2 Y' n) r9 Z4 a1 `3 J" x

; O$ @) y4 E7 @第四:硬盘。这个要求真不高,如果机器仅仅是为了跑DeepSeek,一个4 TB/ |1 M5 X6 R* F
(或者两个2 TB)的nvme就够用了。(想当初我在爱坛上发记录推荐固态盘时,一块4TB的才$150)
; _! g; K7 @# D% J' \' K5 x" {$ u5 }. H' d  o) D# |
其它:说3点。1)普通PC机箱。2)散热避免使用服务器的暴力风扇( PC机箱也缺乏服务器的风道结构)。如果散热量大,考虑用水冷。3)如果单台大功率电源太贵,可以用两台小的给主板和显卡分别供电。如此需要双电源同步启动板或者同步线,但那东西淘宝上也就人民币10块钱。
  K$ O* n. h) A5 K& B0 j! M+ f# f" r2 f% q/ m4 q" z
最后汇总一下。数字为能够淘到的大致美元价,可以接受二手货,+、-表示向上下浮动不超过15%% r# G8 @0 n7 b  m8 y

) y* d+ {/ l( E% _- {0 mRAM 512GB DDR4       1000+8 J+ Q5 f+ M; Z" g( f+ g& S9 _% z
CPU 7C13或相当           700+$ q6 n/ R8 Z/ A$ }2 Z- X/ A4 c1 R
主板(单路即可)         5007 P, A% ^( V. I7 ?3 Y3 A% ]' y
显卡 3090                  1000- ×2
3 N/ ~% Y9 y* r# u1 G& {固态硬盘                     200+
, U: N7 b! H8 J. K其它 机箱、电源、散热器等
9 |' W+ Z2 _4 J1 N8 g7 @& ~7 O9 |2 K9 E5 H* p: @# o% h7 T3 {

评分

参与人数 8爱元 +70 学识 +2 收起 理由
helloworld + 10
xiejin77 + 6 给力
mezhan + 10 伙呆了
晨枫 + 10 谢谢!有你,爱坛更精彩
老票 + 2 涨姿势

查看全部评分

  • TA的每日心情

    2025-8-7 11:56
  • 签到天数: 1132 天

    [LV.10]大乘

    沙发
    发表于 2025-2-20 16:27:51 | 只看该作者
    本帖最后由 大黑蚊子 于 2025-2-20 21:55 编辑 6 B5 U; O: S$ B$ X* }8 ~

    ) k/ k/ A0 c+ E+ {  ?) F说实话我也在琢磨这个玩意儿,几万块钱搞一个这个玩玩,在AI新浪潮初期真的算是一个比较高性价比的学习途径了! [3 \9 a, _# X4 Z% u- I+ y& y3 P4 C
    在硬件选型上面我倒是有点儿不同意见,鉴于章明星他们在0.3版里使用amx指令集加速,那么支持amx的Intel至强可扩展CPU应该是要好于AMD的EYPC的,具体来说现在Intel最新款是6代至强,退而求其次选择四代或者五代至强应该也满足要求。章明星团队他们的硬件好像也是双路Xeon 6430( E0 d- R0 o" N2 ^
    但是这个成本可能要比你说的EPYC要高不少,但总的来说应该还在可承受的范围之内+ z% `$ H5 ]! L# I" D: Z# n) l
    显卡的双路配置好像不是特别必须的,主要是4bit量化版需要14g显存,所以如果有一块3090先用着应该问题也不会太大,实在不行多买一块也可以2 w) O" K3 z* U0 w% b& Z7 T
    1 _& k, x! x. X4 M* U2 R
    周末去华强北转转去,看看二手服务器有啥准系统能够直接上手的
    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    开心
    11 小时前
  • 签到天数: 3673 天

    [LV.Master]无

    板凳
    发表于 2025-2-20 21:42:48 | 只看该作者
    我看到了国内AI的商机。。。 攒小配置的AI模型!
    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    开心
    11 小时前
  • 签到天数: 3673 天

    [LV.Master]无

    地板
    发表于 2025-2-20 21:43:58 | 只看该作者
    关于方案, 我直接问过deepseek。。。
    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    开心
    11 小时前
  • 签到天数: 3673 天

    [LV.Master]无

    5#
    发表于 2025-2-20 21:45:02 | 只看该作者
    大黑蚊子 发表于 2025-2-20 03:27, ^" L) T% q. t6 U3 W+ i
    说实话我也在琢磨这个玩意儿,几万块钱搞一个这个玩玩,在AI新浪潮初期真的算是一个比较高性价比的学习途径 ...

    ) X  T! x2 q# I真心羡慕国内了。。。我90年代自己攒过打游戏的计算机。。。
    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    难过
    1 小时前
  • 签到天数: 3151 天

    [LV.Master]无

    6#
    发表于 2025-2-20 22:50:55 | 只看该作者
    马鹿 发表于 2025-2-20 21:451 W2 N; f! i0 E* o8 F7 G4 f! X0 t0 m
    真心羡慕国内了。。。我90年代自己攒过打游戏的计算机。。。
    8 p" `, t  }- K1 f0 e0 @0 K
    社长,美国不是与国内PC价格差不多吗?也仿照沉宝蚊行攒一台呗,
    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    开心
    11 小时前
  • 签到天数: 3673 天

    [LV.Master]无

    7#
    发表于 2025-2-20 23:19:51 | 只看该作者
    testjhy 发表于 2025-2-20 09:50" \* V5 ^: l: P$ x
    社长,美国不是与国内PC价格差不多吗?也仿照沉宝蚊行攒一台呗,
    + N6 z: B0 \' {5 K6 x
    攒了以后干啥呢?
    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    难过
    1 小时前
  • 签到天数: 3151 天

    [LV.Master]无

    8#
    发表于 2025-2-20 23:32:15 | 只看该作者
    本帖最后由 testjhy 于 2025-2-20 23:41 编辑 ( f. |" O6 v6 u+ Z; R% C9 g
    * Z4 R2 m1 z* i% z0 t$ n
    3 p/ s7 u  c, W" c; S* u. [$ K. A  b
    这是大华股份根据国产芯片的一体机,估计是华为提供的方案供各家贴牌
    回复 支持 反对

    使用道具 举报

  • TA的每日心情

    2025-8-7 11:56
  • 签到天数: 1132 天

    [LV.10]大乘

    9#
    发表于 2025-2-20 23:38:22 | 只看该作者
    testjhy 发表于 2025-2-20 23:328 r+ j% R# H6 r! |
    这是大华股份根据国产芯片的一体机,
    ) _& `; f( [) y- m8 W
    大华的这个配置没啥意义,你看跑的都是蒸馏版的7B/14B/32B模型
    3 S: ~2 j- C' s9 s: b+ o我在自家电脑上搞了一个7B的模型试了下,真的是不太行
    - u% c  h0 x, C9 r( T0 N" f- j3 z. M5 A我估计32B和70B也都不太行" z! z" y- Q1 k9 Q6 G. ~
    这个帖子里讨论的应该是直接上手671B的满血量化版,1.58或者4bit版本,这个据多个信源反馈效果挺好的
    9 D8 z5 O# f) u) s) ^6 U
    7 H( q1 B7 ^3 m& Z4 |& y- X
    + ^7 A# R8 L3 L) \' \不过这个单子我倒是可以拿着去嘲笑下大华的朋友“你们钻钱眼里了?搞这个文字游戏骗钱”
    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    难过
    1 小时前
  • 签到天数: 3151 天

    [LV.Master]无

    10#
    发表于 2025-2-20 23:42:39 | 只看该作者
    马鹿 发表于 2025-2-20 23:19
    ( R/ [' N0 n2 y6 y% [攒了以后干啥呢?

    % y  }0 o' U, c4 R& i$ v" i+ @想干啥就干啥,吃喝玩乐,
    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    难过
    1 小时前
  • 签到天数: 3151 天

    [LV.Master]无

    11#
    发表于 2025-2-20 23:45:01 | 只看该作者
    大黑蚊子 发表于 2025-2-20 23:38
    7 s& L' [7 Q3 `0 x5 J) q, @大华的这个配置没啥意义,你看跑的都是蒸馏版的7B/14B/32B模型# i# o& g( P) U
    我在自家电脑上搞了一个7B的模型试了下, ...
    - B+ s. `7 I, M& u' D  _4 \
    找了一个非剪裁图,看了一个新闻,华为提供方案,有60多家企业响应,大华可能是比较快的,找不到价格,
    回复 支持 反对

    使用道具 举报

  • TA的每日心情

    2025-8-7 11:56
  • 签到天数: 1132 天

    [LV.10]大乘

    12#
    发表于 2025-2-20 23:53:32 | 只看该作者
    testjhy 发表于 2025-2-20 23:45
    2 Z! p7 S) c) g- X% c5 `找了一个非剪裁图,看了一个新闻,华为提供方案,有60多家企业响应,大华可能是比较快的,找不到价格,{: ...

    2 m, ^/ |9 F  ^' |6 ^我要是鼓捣这玩意儿,肯定是找二手硬件啥的,全新设备的价格那还是相当辣手的' r8 m7 O. G6 w+ [" d8 |$ @# i
    打听了一下Intel的至强4代CPU,现在全球缺货,嘿嘿6 [, ?- ~7 g# a$ @+ V* k
    去华强北看看有没有QS版本,可能一块就要6000人民币至少
    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    开心
    11 小时前
  • 签到天数: 3673 天

    [LV.Master]无

    13#
    发表于 2025-2-20 23:53:57 | 只看该作者
    大黑蚊子 发表于 2025-2-20 10:38/ E$ ?% X6 @0 p3 w+ V0 E) z" l' P8 ]
    大华的这个配置没啥意义,你看跑的都是蒸馏版的7B/14B/32B模型* Y4 N' a% J  M% f2 v' l  Y
    我在自家电脑上搞了一个7B的模型试了下, ...
    + Y1 e0 \* p! |0 o) B6 U( N
    好奇你攒个模型做啥?
    回复 支持 反对

    使用道具 举报

  • TA的每日心情

    2025-8-7 11:56
  • 签到天数: 1132 天

    [LV.10]大乘

    14#
    发表于 2025-2-21 00:03:40 | 只看该作者
    马鹿 发表于 2025-2-20 23:536 Y' ]7 I2 w0 G9 R$ W- y
    好奇你攒个模型做啥?

    ! p, P2 X+ {" U/ k4 Z# e* [: l6 y( m. T
    玩啊,好奇啊,这很可能是通向新世界的大门: }% S3 L2 M$ ?( W6 I4 H  B% ^& ?; y" p
    有这个条件的话,干嘛不玩?$ L2 l& `% L3 \" X0 ]7 t1 r

    . W" D, l. {6 ]2 U现在大部分人还在懵逼状态中,只是知道个大模型的东西,具体怎么搭,个人知识库怎么建,私有服务怎么处理...好玩的需求多着呢/ t% d3 g% \8 [& W2 V. i

    1 C* o' z) T7 K4 B: g3 hDeepSeek的出现,极大降低了大模型训练和部署的总体成本- g. ]2 D  q- f
    KTransformer架构的出现,打响了极大降低大模型部署和私有知识库服务的硬件成本的第一枪
    ) ^3 z1 _! _) ]$ D) o$ J* l
    - G: O& z8 c0 w+ l6 F3 W; Y2 W这种能够降低90%成本的新技术出现,大概率后面会蕴藏着10亿级别的新的相关应用和服务空间) h) h( O8 {! {* m5 U9 i4 |
    玩的过程中也可以吸收很多其他的知识,认识其他稀奇古怪的人,包赚的啊
    回复 支持 反对

    使用道具 举报

    该用户从未签到

    15#
     楼主| 发表于 2025-2-21 00:16:41 | 只看该作者
    大黑蚊子 发表于 2025-2-20 16:27" R6 q* O# C" i- U) a$ V2 T
    说实话我也在琢磨这个玩意儿,几万块钱搞一个这个玩玩,在AI新浪潮初期真的算是一个比较高性价比的学习途径 ...

    + Q" S( y! f* y' u' Y- z/ I% G这取决于对问题的理解和取舍。首先在大模型计算中,GPU的能力远远强于CPU,即使那个CPU有amx指令加速。所以在预算有限的前提下,应该尽量省下钱来加强GPU。当然如果实测一块3090够用了,那更好。
    2 K- `& G0 {2 @; i! f0 G! m: S  {& _: i! }8 L1 W
    对比EPYC与Xeon 6530方案。Xeon 6530 2023年底发布,还比较新,主板加CPU的折扣有限。而EPYC Milan则要旧得多,有大批从数据中心退下来的二手货可选。即便有amx加成,但架不住7713的核多,单挑的话还是应该7713赢。而双路7713的话只不过比我的原方案多一颗U的钱,其它几乎不用改。个人认为CPU的第一位作用是保障参数全部装载在内存,计算加速还在其次。章明星团队的努力是充分挖掘手头现有硬件的全部潜力,amx加速是新版才加上去的,可见并非重中之重。
    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    开心
    前天 19:07
  • 签到天数: 3348 天

    [LV.Master]无

    16#
    发表于 2025-2-21 01:42:15 | 只看该作者
    大黑蚊子 发表于 2025-2-20 23:53: o& i1 d" p" {5 X3 f
    我要是鼓捣这玩意儿,肯定是找二手硬件啥的,全新设备的价格那还是相当辣手的
    % a2 V2 X, A8 [3 M$ Z打听了一下Intel的至强4代C ...
    ' ?: ]9 f( h' R6 F0 @) r( f( o
    "至强" 是 Xeon?

    点评

    对  发表于 2025-2-21 09:00
    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    开心
    11 小时前
  • 签到天数: 3673 天

    [LV.Master]无

    17#
    发表于 2025-2-21 02:29:03 | 只看该作者
    大黑蚊子 发表于 2025-2-20 11:03
    ( Z) r, j) t1 P2 r/ ^3 f) A; U0 ~玩啊,好奇啊,这很可能是通向新世界的大门$ ]; s% r5 y+ q$ a. N9 U
    有这个条件的话,干嘛不玩?
    6 O, P* O  h$ U$ [( I: R1 V' m
    握手, 我也是,就是好奇。 也同样认为这是通向新时代的大门。
    回复 支持 反对

    使用道具 举报

    该用户从未签到

    18#
    发表于 2025-2-21 05:30:57 | 只看该作者
    在本地部署满血版的DeepSeek R1, 性价比太低了,还不如用各个云厂商的API。 自己学习,玩一玩用云API就好。至于本地部署的蒸馏R1,我试过各个版本包括70B的,效果都不好,和原版差太远。我自己玩着用本地部署的模型做了一个RAG应用,最后发现蒸馏R1还不如原版的QWen2.5 32B。
    回复 支持 反对

    使用道具 举报

  • TA的每日心情

    2025-8-7 11:56
  • 签到天数: 1132 天

    [LV.10]大乘

    19#
    发表于 2025-2-21 09:06:46 | 只看该作者
    xut6688 发表于 2025-2-21 05:30, X2 _2 A2 h6 N; T
    在本地部署满血版的DeepSeek R1, 性价比太低了,还不如用各个云厂商的API。 自己学习,玩一玩用云API就好。 ...

    2 r' r4 K6 ]) ?6 T! z5 }8 D4 o# ]+ r1 U所以为啥盯着671B的版本呢,就是这个原因,其他版本的性价比其实都不好。5 Z& t$ Q6 i0 l3 k/ }5 C/ |

    # ]7 k+ _, d) D$ U1 v, \) @; |目前有海量的本地部署满血版DeepSeek的需求,因为太多的数据受商业或者法规的限制不能上网,这个部署的整体过程是有很大市场需求的。; U- ?0 g6 u( Z% Q: C1 P2 }: w) V

    4 f* p% @! x% |4 N0 p9 Y/ b9 {DS和KT的诞生,不是拉低了对算力的需求,而是通过降低成本做大了整体算力需求。
    . P* }4 h9 i* A4 s- M7 }2 W9 V
    1 C* B2 P5 p6 C  L- p而且部署过程中的调优和配参,踩过的坑,以及反复琢磨和资料学习的成果都是自己的。
    1 L1 e  K6 f  a# k: Y) c1 w; n' G2 f2 m1 i+ C# }
    再说了,都是二手硬件,搭完之后上闲鱼卖掉,亏不了多少钱

    评分

    参与人数 1爱元 +4 收起 理由
    唐家山 + 4

    查看全部评分

    回复 支持 反对

    使用道具 举报

  • TA的每日心情

    2025-8-7 11:56
  • 签到天数: 1132 天

    [LV.10]大乘

    20#
    发表于 2025-2-21 14:10:28 | 只看该作者
    沉宝 发表于 2025-2-21 00:16
    " P9 m. h! [1 C5 q2 U1 z1 }这取决于对问题的理解和取舍。首先在大模型计算中,GPU的能力远远强于CPU,即使那个CPU有amx指令加速。所 ...
    , u- {9 I) Y9 [9 g& M/ u
    我建议你再看一下KTransformers的相关资料+ F3 p' C7 ?7 z$ Z& \3 ^4 X
    这个玩意儿的本质是在低并发(甚至是单并发)的情况下,高度依赖CPU/DRAM带宽,从而降低GPU需求的降本做法。( E+ w) _. K6 d2 P
    DDR5换DDR4的话,带宽砍半,对应token的数量就要起码减半
    - n9 I9 U0 s5 ?# s7 FCPU的带宽再砍半的话,又要丢失速度) \" B' q9 r' q7 ^
    如果CPU/DRAM带宽不够的话,甚至3090可能都喂不满,无限下降螺旋在降低成本的同时会极大影响使用效果
    " Q1 |! I& U2 ^9 k对于咱们来说,跑起来不是胜利,能够最低限度可用才是核心需求所在啊
    # `5 F& H5 K2 F5 d2 n我觉得起码要搞个输出4-6token/s才行吧
      K, y& ^8 ]( D- n; \按你这个方案我估计可能1-2token都悬
    回复 支持 反对

    使用道具 举报

    手机版|小黑屋|Archiver|网站错误报告|爱吱声   

    GMT+8, 2026-1-22 12:04 , Processed in 0.064973 second(s), 19 queries , Gzip On.

    Powered by Discuz! X3.2

    © 2001-2013 Comsenz Inc.

    快速回复 返回顶部 返回列表