该用户从未签到
大黑蚊子 发表于 2025-2-21 14:10" \0 V8 d) w1 J2 S: i7 t w# e4 J% f 我建议你再看一下KTransformers的相关资料" d% o& F0 e( o- C% v4 w1 A 这个玩意儿的本质是在低并发(甚至是单并发)的情况下,高度依 ...
使用道具 举报
签到天数: 1129 天
[LV.10]大乘
沉宝 发表于 2025-2-22 00:10 1 H; X2 D- V3 x, F欢迎讨论。 : B8 G3 {! j0 ^. j- E 2 Y8 X" P/ J* c2 r- N首先,个人以为KTransformers的最核心最精华的是抓住了DeepSeek模型参数的稀疏性。DeepSeek ...
签到天数: 1851 天
[LV.Master]无
大黑蚊子 发表于 2025-3-10 22:25 1 w( L& x/ {- n& {# N# Z刚刚看到一个案例,有个朋友用2686V4 x2 加256GDDR3跑起了671B的Q2.51版本; z( W* ], H+ [ 显卡用的是3070M 16G,环境是U ...
大黑蚊子 发表于 2025-3-10 22:25 4 f4 i ~6 Z `刚刚看到一个案例,有个朋友用2686V4 x2 加256GDDR3跑起了671B的Q2.51版本$ d* A& o) z9 v7 G 显卡用的是3070M 16G,环境是U ...
数值分析 发表于 2025-3-10 23:42 ( g' v- V* T3 e6 v% N这里有篇文章是谈万元以下服务器部署DeepSeek-R1 671B + KTransforme的* ]6 X, U# M; e4 m: d S, V https://www.pmtemple.com/academy/ ...
手机版|小黑屋|Archiver|网站错误报告|爱吱声
GMT+8, 2025-4-2 16:18 , Processed in 0.031637 second(s), 16 queries , Gzip On.
Powered by Discuz! X3.2
© 2001-2013 Comsenz Inc.