DeepSeek R1全参数模型一个可能的本地部署方案

leekai

我去年春节也攒了台x99 双路e5v4+256+2080魔改22g*2，硬盘因为以前装nas不用买，后来淘了Dell730 HP z440，用下来感觉单路CPU更合适。期间装了N多大模型，现在只剩ragflow+qwen 3.5 ，35b做map，27b做reduce，都刚好可以单卡运行。前两天刚跟风试了turboquant，效果挺好。今天发现qwen 3.6发布，并且有UD IQ4量化，正在下载准备试试。
5 T1 m' X$ S6 f5 @: ~现在有更好的选择，IBM AC922，六块v100 16g准系统闲鱼上报5800元。

沉宝

leekai 发表于 2026-4-18 21:09
- _, u6 K) L% o6 w! S. g我去年春节也攒了台x99 双路e5v4+256+2080魔改22g*2，硬盘因为以前装nas不用买，后来淘了Dell730 HP z440， ...

2080和v100的优点是可以通过NVLink 获得很大的显存。缺点是缺乏 fp8 等先进架构的支持。不过看在那价格上，还能说什么呢？！
" y' s- q# H9 I% F- [
$ H) w5 D( H) {今年较之去年，最大的一个变化是像小龙虾之类的智能体流行起来了。通过不断的自我进化，智能体在很多方面可以达到和超过简单使用混合专家模型(MoE)。而智能体的后台模型，如果想跑在自己的机器上，小一些的稠密模型其效果往往好于MoE。与人相比，智能体的AI对话中提示词的长度平均增长了许多倍，从而也就要求更强的KV缓存。如此turboquant正逢其时。
3 @# A* h% K2 h0 ^+ N/ L
% m( m$ l+ o8 R# F比TurboQuant更强的还有RotorQuant。感兴趣的话可以关注一下它在你使用的模型上落地的进展。

大黑蚊子

回首这个帖子
% }" w) y" M% A如果去年就下手干他1个T的ECC DDR5内存的话...

* F/ ]7 F; ~# e/ ^  K4 Z, ?俺就不用今年年初买个128G内存条那么心痛了

leekai

大黑蚊子 发表于 2026-4-20 13:43
回首这个帖子
2 n. U; m; r; c) r4 {" p& k6 I! |如果去年就下手干他1个T的ECC DDR5内存的话...

. X. |# u  g% U8 o. b我一直以为自己加钱换了512幸好前两年弄了几根1T 2T 4T的nvme还有SATA SSD，就是去年初看来看去没买氦气盘有点后悔。