|
如果是为了跑本地大模型,显卡没有必要搞顶级的家用卡。相比速度,更重要的是显卡的显存有多少。1 `. `; T7 J6 B5 ~) |
$ A& Q8 M) r/ {1 E% }8 @0 R) b从性价比来说,两块3090比一块4090要好,这是因为3090仍然支持 NVLink。连接后显存会显示为 48 GB。这就可以容纳很多模型了。: Q) f: S3 P5 x; F, F2 [/ ^! z
& R7 s8 W, L8 H, o) K7 V3 b但3090的问题是功耗, 350W 起步,两个就是700W,对电源要求高了。而且还得找有足够空间的主板和机箱。而且价格也不便宜。4090 现在给炒到 3650 美刀左右,3090 则是 2000 美刀。加起来就不是小数字了。3 J, L# B: R! g/ k" s
/ _. s, {7 L; }9 ?对于显卡,我倒是推荐这个:PNY RTX 4000 Ada VCNRTX4000ADA-PB 20GB, 市价1500 美刀左右,有20GB。虽然不能串联,但这是个 Single Slot card。一般好的主板能塞三四个。功耗单卡才130瓦,三个加起来也就才相当于一个3090。而三个卡加起来 60 GB,Ollama 可以跑很多 LLM 了。
& v7 V5 {3 h! o% U+ b7 H
2 c. F5 Q! N! V; g s9 G* F2 L否则也可以弄个 PNY NVIDIA RTX 4500 Ada Generation 24GB GDDR6,这也就2300美刀左右,但显存和4090 一样。两个加起来相当于一个 4090 但显存要多一倍。
6 V- b( {3 Q, j+ K( q( ?; N/ E9 [5 |1 o/ s
当然,俺的理想卡是公布但还没有正式开售的 RTX PRO 6000 Max-Q https://www.pny.com/nvidia-rtx-pro-6000-blackwell-max-q。这玩意儿有 96GB 显存,还可以用 NVLink 串联。最大可到四张卡384GB,而单卡功耗不过 300W。
! X0 ^9 G; D! ]' M. s& z6 [1 }
7 N2 l8 [- g, h0 I* R7 F当然价格据说也挺感人,要 $8,565 单张。 |
|