图文并茂版在这里：http://www.aswetalk.net/bbs/forum.php?mod=viewthread&tid=161700&page=1&extra=#pid1457932

上回说到《AI 本地部署》曾经提到英伟达的 Project Digits。当时皮衣黄只是官宣 Blackwell 构架的时候顺便提了一句。

最近实物终于出来了。名称也正式改为 DGX Spark 。

价格据说是$3,999，比老黄当初官宣的三千美刀多了999。当然，这是老黄的一贯策略，3999也是三千，对吧。

不过由于产能不足，现在还只能预定。估计由于 DS 出来后中国开始疯抢 H20，连带其他的英伟达企业级显卡在国外大卖，这小东西的生产日程就不知道要排到哪里去了。

老黄同时还推出了DGX Station。

这个工作站才是真正老黄想卖的东西。不但 GPU 是英伟达的，CPU 和 OS 也是英伟达的。而 DGX Spark 的价格虽高，实际上 ASUS Ascent GX10 和 Dell Pro Max with GB10 是一模一样的东西，只不过换了个壳。而且价格比英伟达低很多。

上次说过，单独的 DGX Spark 只有 Unified Memory。要至少四个串联起来才能达到 大黑蚊子 同学想要的512GB，才能跑DS 671B的压缩版。而四个 DGX Spark 加起来可就要一万二了。而且现在川总加了那么多关税，到有货的时候说不定价格就又翻倍，甚至翻好几倍了。

那有没有现在就可以上手的本地部署的机器？上回说到的新出的 Mac Studio 512GB 可以算一个。但上次俺说：

[quote]如果不想自己攒机，我觉得 Project Digits 还是比 Mac Studio 的性价比高点。无他，Mac Studio 即使有 512GB 但已经无法继续扩展，而 Project Digits 可以用 NVLink，理论上是可以组成群的。[/quote]

但是现在看来俺还是低估了群众们发明创造的热情。有人用 Mac Mini 搭建了一个 Cluster。

https://www.youtube.com/watch?v=GBR6pHZ68Ho

在这位放出视频后，又有一位用 Mac Studio 搭建了一个 Cluster。当然，这位用的 Mac Studio 是 64 GB 的旧版。

https://www.youtube.com/watch?v=Ju0ndy2kwlw

这两位成功搭建 Cluster 的关键是他们用了一款软件 Exo labs project。这款软件号称可以用任何硬件混搭组成 Cluster。从最高档的 Mac Studio 到旧手机到几十刀一个的 Raspberry Pi 400 with 4GB of RAM 都可以组成 Cluster 里的Node。

网上还有不少人尝试了。下面是其中一位的视频：https://www.youtube.com/watch?v=k25XkHpJfoI

从视频看，这位用了一堆旧PC电脑+手机+平板+旧Mac 搞出来一个缝合怪。

这就让俺非常心动了。不过算算价钱，用上面那位的一堆破烂搭出来的缝合怪还是达不到跑 DS 671B的 512 GB内存要求的。如果采用 Mac Mini 或者 旧版 Mac Studio，价格也不便宜。 Mac Mini 32GB 的版本要1200刀。要达到512GB，得买16个，这就是12000刀了，还不如直接买个 512GB 的新版 Mac Studio。

Raspberry Pi 倒是便宜，而且Raspberry Pi 5 有 16GB 版本的。价格网上才120 。

问题是要攒到 512GB 得买32个。这就得3840了，再加上其他乱七八糟的配件，也得奔着大五千甚至六千去了。再加上三四千，俺买个Mac Studio 512GB 它不香吗？

所以，不管怎么弄都得花至少五千到六千。

那还有啥解决方法不？

下面这位老兄的视频里说他可以在本地跑全尺寸非压缩版的 DS。

https://www.youtube.com/watch?v=yFKOOK6qqT8

价钱还特便宜，只要两千刀。秘诀是这位买了人家退役的Dell R930 Server 。这东西在 ebay 上特别便宜。例如ebay上有些才$1,627.05，还可以还价。

不过，即使是这位播主也不建议大家走这条路。主要是除了主机，你还得弄一堆辅助的东西。如果你不是像播主那样家里有个实验室，最终的价格可能还是要超过买两三个 Mac Studio的。而且真跑起来了，速度也是极慢，每秒 0.6 token，基本上就是慢慢往外蹦字。加上 DS 还得先 Deep Think 一番，于是问个简单的问题可能要几十分钟甚至几小时才能得到答案。

这位播主还有其他的硬件方案。不过那些方案就贵的多了。

那么是不是没有省钱的方案了呢？

看看 DGX Spark, Mac Mini 和 Mac Studio，俺突然想到，这些东西其实就是个 Mini PC 的尺寸。而 Intel 和 AMD 带 AI NPU 的CPU，最早都是针对笔记本市场的。

于是找了一下，发现市面上的 Mini PC 官方最多支持 96 GB DDR5。但是且慢，在搜索中俺发现这个 ACEMAGIC F3A AMD Ryzen AI 9 HX 370 Mini PC

虽然这东西官宣规格也只有96GB，但有不少人宣称能将其升级到128GB。于是就买了个 Barebone 的。买回来后加了128 GB 的 DDR5 5600，花了三百，再加50的 1TB M.2 PCIe 4x4 SSD，一共花了一千左右，搞到了一个理论上不比 Mac Studio 差的 AI NPU Mini PC。

然后就开始装机。OS 用Linux。主要是由于 EXO 最新的版本不支持 Windows。装上之后，Cluster 开启。果然出了各种错误。俺费了一天功夫调试，终于撞了南墙，有个 Bug 是暂时没有解决答案的。当然，这只是针对俺买的这款硬件。如果退回去搞旧机器缝合怪还是可以的。但这不就又回到原地了？

于是想还是等等吧，看过一两个月，开发团队是否能解决问题再说。

在等待解决方案时，也不能让机器闲着不是，于是就随手装了 Ollama 看单机跑起来如何。结果发现，Ollama 对于 AMD 的 NPU 还是没啥支持。虽然基本上所有能放进内存的模型都能跑起来，但速度就不敢恭维了。一旦上了50 GB以上的模型，基本就是慢慢往外蹦字，和Dell R930差不多的水平了。当然，如果用 AMD 专用的 ONNX, 还是能跑的。但设置太复杂了。基本不是一般用户能掌握的。

那么能不能跑 DS 671B 呢？结果在搜索中发现了 unsloth 的压缩版本：Run DeepSeek R1 Dynamic 1.58-bit

这家搞了个极致压缩版，可以看到，最低的 IQ1_S 只要 131 GB 就行。最高的也只要 212 GB。

于是就把 IQ1_S（131 GB）， IQ1_M （158GB），IQ2_XXS （183GB）和 Q2_K_XL（212 GB）都扒到俺三年旧的机器上作实验。上回说过，这个机器的硬件是：

实验结果发现，除了  Q2_K_XL（212 GB）以外，其他三个都可以跑。当然速度实在不咋样，也是慢慢往外蹦字， IQ1_S（131 GB）跑的最快。

让它们写同样模仿李斯的《谏逐客疏》写一篇《谏美国逐移民疏》，最快的也花了半多个小时。

那么能不能在那个 MiniPC 上跑呢？理论上内存不够。虽说 128 GB 已经很多了。但对资源要求最低的 IQ1_S版本也要 131 GB内存。考虑到OS本身要用掉 12GB 左右，实际内存需要 143 GB。有15GB的缺口。

一个办法是把内存扩展到 256 GB。是的，你没看错。虽然官方规格只支持 96 GB，但实际可用的内存是取决于 CPU 到底支持多少的。而根据 AMD 官网，Ryzen AI 9 HX 370 支持 256 GB。这就是为啥现在可以扩展到 128 GB。问题在于Mini PC 用的是笔记本的 SO-DIMM 而不是台式机的 DIMM。SO-DIMM 现在没有 128 GB一条的。

这看上去貌似就没办法了。但是且慢。不能扩展内存，还可以扩展 GPU。

Mini PC 本身只带个 AMD Radeon™ 890M 核显。但是这个 Mini PC 有 USB4 接口，可以直接上外接 GPU。于是拿来当初GPU换代时搞的eGPU。大致是这样的：

[attachimg]117090[/attachimg]

eGPU 有24GB。插上后终于可以跑  IQ1_S（131 GB）了。

下一步的方向：

1. 等 EXO 的开发团队解决问题后就再装一个 Mini PC。这样组成一个 Cluster 后就有总计 256 GB，基本可以跑Q2_K_XL（212 GB）。

2. 等 128 GB 的 DD5 SO-DIMM 出来后把两个机器都扩容到256GB。这样一个 Clutser 就有总计 512 GB。可以跑很多压缩版本的 DS-R1 671B 了。

3. 如果 256 GB扩容和组成 Cluster 成功，可以考虑再入手 6 个 256 GB 的 Mini PC。这样总计 8 个节点，共有 2 TB 的，按照现在的市场价格计算，总计在 $9000 美刀就能得到一个跑全尺寸 DS 671b 的群，而且理论上可以不断扩容。最妙的是非常环保。这些 Mini PC 每个最高功耗才 100 瓦不到。10个 也就 1000 瓦，之相当于俺三年旧机器的水平。