DeepSeek R1全参数模型一个可能的本地部署方案

leekai

我去年春节也攒了台x99 双路e5v4+256+2080魔改22g*2，硬盘因为以前装nas不用买，后来淘了Dell730 HP z440，用下来感觉单路CPU更合适。期间装了N多大模型，现在只剩ragflow+qwen 3.5 ，35b做map，27b做reduce，都刚好可以单卡运行。前两天刚跟风试了turboquant，效果挺好。今天发现qwen 3.6发布，并且有UD IQ4量化，正在下载准备试试。
现在有更好的选择，IBM AC922，六块v100 16g准系统闲鱼上报5800元。

沉宝

leekai 发表于 2026-4-18 21:09
' [  J& ?, X2 x% `$ y我去年春节也攒了台x99 双路e5v4+256+2080魔改22g*2，硬盘因为以前装nas不用买，后来淘了Dell730 HP z440， ...

* s3 a8 a" `5 |* C$ ~# X+ U% V2080和v100的优点是可以通过NVLink 获得很大的显存。缺点是缺乏 fp8 等先进架构的支持。不过看在那价格上，还能说什么呢？！
2 u. {/ x% H: ?, y
- h, m7 n5 ~- G9 e, w今年较之去年，最大的一个变化是像小龙虾之类的智能体流行起来了。通过不断的自我进化，智能体在很多方面可以达到和超过简单使用混合专家模型(MoE)。而智能体的后台模型，如果想跑在自己的机器上，小一些的稠密模型其效果往往好于MoE。与人相比，智能体的AI对话中提示词的长度平均增长了许多倍，从而也就要求更强的KV缓存。如此turboquant正逢其时。
; X8 m9 @& I7 K% a6 z
) ~! }& m  w* A% A4 b. F比TurboQuant更强的还有RotorQuant。感兴趣的话可以关注一下它在你使用的模型上落地的进展。

大黑蚊子

回首这个帖子
如果去年就下手干他1个T的ECC DDR5内存的话...

俺就不用今年年初买个128G内存条那么心痛了

leekai

大黑蚊子 发表于 2026-4-20 13:43
+ |  X! a- {" L5 _6 W5 K3 Z回首这个帖子
3 A/ R. Q  f1 [, o, y2 Z' F如果去年就下手干他1个T的ECC DDR5内存的话...

  [  {$ ?6 O( l4 S我一直以为自己加钱换了512幸好前两年弄了几根1T 2T 4T的nvme还有SATA SSD，就是去年初看来看去没买氦气盘有点后悔。