爱吱声
标题:
DeepSeek用PTX编程，隐忧乎？无忧乎？
[打印本页]
作者:
晨枫
时间:
昨天 22:14
标题:
DeepSeek用PTX编程，隐忧乎？无忧乎？
DeepSeek用英伟达H20卡训练V3和R1大模型，但据说没有用英伟达的CUDA语言，而是用了更加底层的PTX。
' D1 B) |- U1 q
1 [ ^: P* |9 F: D+ Q% A/ E
CUDA是英伟达的护城河。搞人工智能就要用英伟达的图形卡，跑英伟达的卡就需要CUDA。一旦形成生态就反过来了，搞人工智能就用CUDA写软件，跑CUDA就只有用英伟达的卡。
. s+ s! Y. ? E- X7 [3 t, z2 V
2 j+ @1 I/ z {, O: l- |' Z
但DeepSeek用接近汇编语言的PTX编写软件，绕过了CUDA护城河，也因为PTX更加接近机器语言而更快。据说这是DeepSeek里老人马当年搞量化交易的“后遗症”，需要计算机和通信上达到极限性能，只有用接近汇编语言的“低级语言”来编写程序，比如PTX。
5 g0 @8 G4 y7 C5 U! q$ v
6 A0 j( w( m L$ {+ k
汇编接近机器指令，速度快，但远离自然语言，语句功能专一、琐碎，编写麻烦，可移植性很差，换一个GPU就需要重写。高级语言的发明就是为了解决接近自然语言和软件在不同平台之间的可移植性的问题的，但执行效率不及汇编。
% q0 S/ d* X( C4 O
7 }6 V& W+ X% t" V7 V- _* d9 b
接近自然语言很重要，这样更人类思维，编程和阅读容易，纠错也容易。跨计算机平台的可移植性也很重要，不仅更新更快的芯片出来了，重新编译一下又可以执行，换上完全“不同路子”的计算机也能执行，比如WinTel换到Unix或者iOS环境下。但编译出来的执行时效率不及汇编。
6 N/ a% Q, ?& w
" K1 w! v) _" G6 Y
DeepSeek绕过了CUDA，但通用大模型要是“绑定”在H20卡上，那就亏了，换卡就要重新编写和测试一遍。
: l4 k3 m/ C+ Y
6 P% }6 d: j; ]2 I
好在大模型的一大神迹就是按照自然语言的要求写程序。换到这里，只是直接写到PTX一级。这个问题解决了，可移植性比CUDA还好，直接用更加接近自然语言的伪码了。
! r% h B- t+ u0 A
) r. m# @& g; x1 O3 o, P" C
即使以后不用PTX了，也就是重新训练大模型改用新语言的事。换句话说，大模型代替高级语言的工作了。
! n( w6 U8 R4 P& L
3 m- l6 ~' v/ ?: w' }) X
看来，没有隐忧。
; \6 @4 X# y5 F: Z( z+ s$ j
欢迎光临 爱吱声 (http://129.226.69.186/bbs/)
Powered by Discuz! X3.2