叒说 AI 本地部署 - 一千美刀跑 DeepSeek R1 671B Q5版

司马梦求

孟词宗 发表于 2025-7-2 11:24
要求不同罢了。 DeepSeek R1 0528进步的确很大。 Q2 以上版本算是可用了。 问题是如果只是用来搞 Python  ...

你说的挺有道理，其实我只是觉得像 DeepSeek R1 671B FP16那种 0.x token/s 的速度，实在太卡了，交互体验很差，哪怕模型再聪明也难以流畅使用。不过我也发现了，哪怕是 Q2/Q3 的量化版，它在理解复杂任务、写策略、调代码这类事上，确实比很多 32B 模型强不少。所以我现在是想找个折中方案：模型够聪明，同时速度也得跟得上，至少交互能用。等 DeepSeek 下个版本 V4 或 R2 出来后，我打算照着高性能需求装一台 EPYC 的机器，目标是32K context跑原版 TG > 5 tps、Q4 版大于 10 tps，那时候就不折腾半吊子方案了。你那台 Z8 能直接上 FP16 确实牛，如果跑ktransformers表现如何？