继续请教问题:关于 Pytorch 的 Autograd

雷达

! |5 x% D9 W4 Y为预防老年痴呆，时不时学点新东东玩一玩。
Pytorch 下面的代码做最简单的一元线性回归：
. f( a7 v! A( i/ t/ j6 u, }! K----------------------------------------------
import torch
import numpy as np
' ^8 J- B4 `$ @' T' T# pimport matplotlib.pyplot as plt
import random

! ^. U" B2 G4 T9 B: \0 E; a& jx = torch.tensor(np.arange(1,100,1))
, |2 z9 M0 J' p9 f: N3 M6 ]y = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15

6 f, D" ^6 c$ F3 a7 V, d$ Xw = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
  u8 Y) v  t! j4 Hb = torch.tensor(0.,requires_grad=True)

2 A3 C, j* w/ i8 o' V7 G3 ]" k3 Gepochs = 100
* |: C( e# W- M) C" R  ~
0 \9 H2 [9 k* R! I9 L2 f- glosses = []
6 }3 \: r: k9 J3 kfor i in range(epochs):
4 y- X: c; \! C. L  y_pred = (x*w+b)    # 预测
  y_pred.reshape(-1)

  loss = torch.square(y_pred - y).mean()   #计算 loss
( E6 h8 V" C+ @& A& I6 f4 k  losses.append(loss)
  
8 I) b2 W$ ^7 P7 o6 @" w  loss.backward() # autograd
  with torch.no_grad():
5 W* `8 C9 v$ ^4 C9 o: n    w  -= w.grad*0.0001   # 回归 w
    b  -= b.grad*0.0001    # 回归 b
* B9 z- U3 ?4 ]. d3 |  w.grad.zero_()  
  r, F% o) }- ~) {* f7 ?8 o  b.grad.zero_()

print(w.item(),b.item()) #结果

Output： 27.26387596130371  0.4974517822265625
# T0 k' N& J" K7 S$ n& l----------------------------------------------
7 A+ M, v& j7 M7 _& \最后的结果，w可以回到 w0 = 27 附近，b却回不去 b0=15。两处红字，损失函数是矢量计算后的均值，感觉 b 的回归表达有问题。
" _: e/ b+ c6 V2 Z2 j0 I高手们帮看看是神马原因？

老福

! N9 w+ l" R/ I. d, l1 ~9 \没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
-------
- x- E: T& q$ }1 t不好意思，再看一遍，好像你在自算回归而不是用现成的工具直接出结果，上面的评论只有一点用，就是确认是不是算法有问题。
+ _- f2 |5 d6 N) ^-------
( n% Y5 h9 O, ?1 S! R0 n: P, }9 v0 Q算法诊断部分，建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够，因为你起点是0, 步长很小。只是直观建议。

雷达

老福 发表于 2023-2-14 19:23
没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
-------
不好意思， ...

0 K- X7 r- l8 A3 \9 t' d; s7 T谢谢，算法应该没问题，就是最简单的线性回归。
0 M2 ]5 J$ t4 E, w我特意没有用现成的工具，就是想从最基本的地方深入理解一下。

老福

雷达 发表于 2023-2-14 21:52
谢谢，算法应该没问题，就是最简单的线性回归。
, C/ C; ]( Q: d1 Z8 y' c我特意没有用现成的工具，就是想从最基本的地方深入理解 ...

% E2 e1 B' [' ^
刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。

或者把b但的起点改为1试试。

雷达

; u; A! D1 s( ^3 R2 y% q6 N

老福 发表于 2023-2-14 22:00
) Z* p8 V3 G4 w* k2 g刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。
/ z% Y1 e6 X2 K- u0 b
或者把b但的起点改为1试试。 ...

7 i: H' T7 y; I' ~
7 w7 I! M* F7 u( `, [你是对的。
1 {9 f3 k) u" v2 X1 k去掉了随机部分
#y = (x*27+15+random.randint(-2,3)).reshape(-1)
y = (x*27+15).reshape(-1)
" A% T0 E9 _( J2 X) D
循环次数加成10倍，就看到 b 收敛了
3 `4 ?$ G( M! Z: zw , b
) h' C8 b5 E' ], C27.002620697021484 14.826167106628418
4 |/ s! T7 J% u$ `) ~' z
和 b 的起始位置无关，但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ，收敛就很慢。