继续请教问题:关于 Pytorch 的 Autograd

雷达

$ D5 u) ?4 }( t$ v/ O; e为预防老年痴呆，时不时学点新东东玩一玩。
5 \. P5 c% a7 Z' t, J" |& K9 h3 PPytorch 下面的代码做最简单的一元线性回归：
6 z$ K( {& ^' j( z----------------------------------------------
6 V# @  N; {9 J- d. z( p7 aimport torch
% l# P* ~0 ^3 s$ D* r8 Gimport numpy as np
import matplotlib.pyplot as plt
import random
( D3 p; \+ a1 X6 ^- K
x = torch.tensor(np.arange(1,100,1))
y = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15
8 j: Z" k, u/ b% `7 f/ p; f6 [
w = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
b = torch.tensor(0.,requires_grad=True)
! O( L: P. }" p
6 x9 H; _) r: [) L8 {( oepochs = 100
5 D, `3 F+ g* U& ]# ?5 ^
losses = []
% ?* B6 E# E+ b. i# r4 X6 t: I6 q$ y  Nfor i in range(epochs):
  y_pred = (x*w+b)    # 预测
$ k% q) i8 y; x# ~/ a3 _- v! @: e  y_pred.reshape(-1)

# _/ L$ G3 V4 @) r" ]3 Q% w  loss = torch.square(y_pred - y).mean()   #计算 loss
  losses.append(loss)
  
0 i3 I/ U: h9 w- b  Q5 R5 J+ [+ q. z  loss.backward() # autograd
: U1 ]2 I$ |3 y8 G, I  N' M+ z  with torch.no_grad():
    w  -= w.grad*0.0001   # 回归 w
6 ~4 k" m; u% e; T, E* Q    b  -= b.grad*0.0001    # 回归 b
  w.grad.zero_()  
9 H) g$ L8 ~3 ^+ k" z  b.grad.zero_()

/ n* c, O: v- b3 i! _( b4 @print(w.item(),b.item()) #结果
) `% O! m" P2 {- Z; _. A
Output： 27.26387596130371  0.4974517822265625
----------------------------------------------
8 ~; C4 Q0 E7 J: k最后的结果，w可以回到 w0 = 27 附近，b却回不去 b0=15。两处红字，损失函数是矢量计算后的均值，感觉 b 的回归表达有问题。
3 _2 |2 K1 q4 D& X  R" r: a高手们帮看看是神马原因？
$ J' W9 l9 l/ x0 Q

老福

没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
-------
- A" b9 z2 o6 m* b# j不好意思，再看一遍，好像你在自算回归而不是用现成的工具直接出结果，上面的评论只有一点用，就是确认是不是算法有问题。
-------
算法诊断部分，建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够，因为你起点是0, 步长很小。只是直观建议。

雷达

老福 发表于 2023-2-14 19:23
( f" [- B# ^) x. E$ j; u5 w/ j! d没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
-------
& c8 |. _0 A3 R& E9 ?不好意思， ...

谢谢，算法应该没问题，就是最简单的线性回归。
我特意没有用现成的工具，就是想从最基本的地方深入理解一下。

老福

2 S% x& i* V- N3 E/ S

雷达 发表于 2023-2-14 21:52
谢谢，算法应该没问题，就是最简单的线性回归。
5 L$ l" Q8 O! V! W) F我特意没有用现成的工具，就是想从最基本的地方深入理解 ...

+ d' M3 i2 d5 g8 {/ P
刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。
2 _! _2 ~9 y2 n, i2 o) C$ A8 b
或者把b但的起点改为1试试。

雷达

老福 发表于 2023-2-14 22:00
' r( Z5 j/ z- N- w0 Q刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。
; z- L5 e! I& l
6 B: o+ [$ i$ `6 T& y* H或者把b但的起点改为1试试。 ...

+ Z* Q% g# ^* T
" ]" @; p0 g. m7 o- U2 a你是对的。
& t& N4 F1 }3 `6 P! v去掉了随机部分
( d; r$ z7 t% B, N& l6 t; K. S9 [#y = (x*27+15+random.randint(-2,3)).reshape(-1)
+ H1 A5 r# J7 N: b6 vy = (x*27+15).reshape(-1)
) H' O! E% [) R7 _8 z
循环次数加成10倍，就看到 b 收敛了
8 p6 D% P/ v- P1 ~5 o, _w , b
27.002620697021484 14.826167106628418

# ?- W8 H% ~3 x3 e) N$ r和 b 的起始位置无关，但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ，收敛就很慢。