继续请教问题:关于 Pytorch 的 Autograd

雷达

2 f* {- ]1 ~/ S
为预防老年痴呆，时不时学点新东东玩一玩。
, `$ i6 V5 P: I1 T) _. `9 |! B/ I. k. GPytorch 下面的代码做最简单的一元线性回归：
----------------------------------------------
import torch
import numpy as np
" v; f2 A1 f& [) @( J1 `. Pimport matplotlib.pyplot as plt
import random

x = torch.tensor(np.arange(1,100,1))
: M# h$ M5 s! S  h' z2 ^y = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15
5 i! }' _8 i! K/ ?# u
w = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
: B" F$ g# w  Z1 @. Ub = torch.tensor(0.,requires_grad=True)

8 P) R5 f; w' x- P+ N3 q9 hepochs = 100
  O& t2 A4 C& \+ j* L1 w2 J
losses = []
& }/ T8 k2 {# q6 \for i in range(epochs):
; o( Z& v0 |2 {1 s+ E  y_pred = (x*w+b)    # 预测
1 o: I6 ^) R- u0 K! ?  y_pred.reshape(-1)
* N& k$ V; v: n0 I0 _8 E
  loss = torch.square(y_pred - y).mean()   #计算 loss
  losses.append(loss)
& V+ R/ |; P% f( @0 [6 ^  
3 L: z$ E" L, Q1 }. C5 B  loss.backward() # autograd
' j8 ]( h, L4 ?% t% d0 D/ v* {" @9 m  with torch.no_grad():
+ |) h3 L3 S7 ?3 J: r* N$ O    w  -= w.grad*0.0001   # 回归 w
) V2 f: [: l$ Z. }3 o    b  -= b.grad*0.0001    # 回归 b
  w.grad.zero_()  
5 c( @& R8 U3 x  b.grad.zero_()

print(w.item(),b.item()) #结果

3 k0 P$ i+ B8 e; ROutput： 27.26387596130371  0.4974517822265625
- m! A: F# ~, Q  W" G" D- N----------------------------------------------
最后的结果，w可以回到 w0 = 27 附近，b却回不去 b0=15。两处红字，损失函数是矢量计算后的均值，感觉 b 的回归表达有问题。
高手们帮看看是神马原因？
& h0 L* l6 S$ M( v

老福

# r4 S) H- f: m1 h2 g6 N6 `4 f
没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
* f$ l1 F* V! l6 e2 F-------
$ v5 \8 v: j0 B7 M5 n' O不好意思，再看一遍，好像你在自算回归而不是用现成的工具直接出结果，上面的评论只有一点用，就是确认是不是算法有问题。
: C6 F  }$ }; ?; ~-------
算法诊断部分，建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够，因为你起点是0, 步长很小。只是直观建议。

雷达

老福 发表于 2023-2-14 19:23
没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
-------
不好意思， ...

谢谢，算法应该没问题，就是最简单的线性回归。
6 g- L# G7 {' I# Y( t, t3 p% P" ]我特意没有用现成的工具，就是想从最基本的地方深入理解一下。

老福

: @7 C# A4 |" K: m; W! {3 H

雷达 发表于 2023-2-14 21:52
谢谢，算法应该没问题，就是最简单的线性回归。
我特意没有用现成的工具，就是想从最基本的地方深入理解 ...

2 h) r1 b5 K. s- C
* G/ D9 F' x2 x0 B刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。
) f) E% N3 z8 S" K, c4 [! p
& l0 i9 q8 l; }9 o0 s1 W& n或者把b但的起点改为1试试。

雷达

2 f" _( H* ?% W9 l( @( n, Q

老福 发表于 2023-2-14 22:00
+ Q% Y8 u% Q! H9 h. X. h; _) {7 g刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。
+ W& D' q2 o  V! z8 m! r
5 d! ?- t9 w! |" l" Z2 Z! x或者把b但的起点改为1试试。 ...

你是对的。
$ v/ }% w$ R; o5 @& V( H$ Q去掉了随机部分
#y = (x*27+15+random.randint(-2,3)).reshape(-1)
y = (x*27+15).reshape(-1)
. a+ ]2 d* K$ D: z6 f4 @8 B( K9 O* \
循环次数加成10倍，就看到 b 收敛了
: c- o; d0 b9 S$ v. aw , b
27.002620697021484 14.826167106628418

* W$ G% J. B* p* J) ?: s5 ?+ Q和 b 的起始位置无关，但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ，收敛就很慢。