继续请教问题:关于 Pytorch 的 Autograd

雷达

- T! P: ?8 j: j# s
为预防老年痴呆，时不时学点新东东玩一玩。
Pytorch 下面的代码做最简单的一元线性回归：
/ c" E7 Z  K( K. k& S# d+ J  n----------------------------------------------
7 c% k8 b7 F. Y) I7 Wimport torch
9 X7 n) x2 H6 U; @" mimport numpy as np
7 M, J' p: d% N' \; Limport matplotlib.pyplot as plt
import random
7 m6 S! _, F1 I: G; Q& o" u
+ |! O  y8 h- d' Cx = torch.tensor(np.arange(1,100,1))
% F  U1 N5 q$ o0 ]# n6 ny = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15

7 K3 R9 E" X- ]0 m0 Q! ?w = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
b = torch.tensor(0.,requires_grad=True)
# ~- u1 Q' r8 d& r) |
epochs = 100

losses = []
for i in range(epochs):
  y_pred = (x*w+b)    # 预测
  y_pred.reshape(-1)
9 i$ Z+ h7 U7 T* Y# X
" G' ]/ T7 u6 y, H5 P/ ]  loss = torch.square(y_pred - y).mean()   #计算 loss
  losses.append(loss)
  
4 H; G4 j; `2 g1 T6 g  loss.backward() # autograd
  with torch.no_grad():
- @3 q8 i5 @8 H5 S    w  -= w.grad*0.0001   # 回归 w
    b  -= b.grad*0.0001    # 回归 b
  w.grad.zero_()  
  b.grad.zero_()

print(w.item(),b.item()) #结果

3 \! t- V/ z, }; W9 c( TOutput： 27.26387596130371  0.4974517822265625
: ~) N$ ^9 V: u) v$ i+ F+ _----------------------------------------------
最后的结果，w可以回到 w0 = 27 附近，b却回不去 b0=15。两处红字，损失函数是矢量计算后的均值，感觉 b 的回归表达有问题。
高手们帮看看是神马原因？

老福

6 @) \: U: Y0 ^$ F8 g8 \6 [没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
  R3 c! x- y7 [$ O5 I$ i6 v  S-------
1 r* T  r3 ?  K不好意思，再看一遍，好像你在自算回归而不是用现成的工具直接出结果，上面的评论只有一点用，就是确认是不是算法有问题。
-------
算法诊断部分，建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够，因为你起点是0, 步长很小。只是直观建议。

雷达

老福 发表于 2023-2-14 19:23
3 K4 m! ?6 E+ B0 y2 h没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
-------
+ r3 s! G2 G8 w- M% n3 {不好意思， ...

谢谢，算法应该没问题，就是最简单的线性回归。
+ ~2 k! H5 T* e我特意没有用现成的工具，就是想从最基本的地方深入理解一下。

老福

' J! B2 F- y. P( m, s( O

雷达 发表于 2023-2-14 21:52
6 U; h- Y0 B. H, l6 K# S" E2 ~2 B谢谢，算法应该没问题，就是最简单的线性回归。
7 i. |4 O# s( e& y我特意没有用现成的工具，就是想从最基本的地方深入理解 ...

+ j) H. e* n: }刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。

  g. n3 M  p9 M# E3 n) m- i* Y- U$ d或者把b但的起点改为1试试。

雷达

老福 发表于 2023-2-14 22:00
* Q! l. G0 u" I2 P* N& r  p4 m9 _- m9 C刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。

' \6 |% W4 r3 i- I+ G9 E& Q0 ]或者把b但的起点改为1试试。 ...

你是对的。
2 y" q1 ~  k0 x: P, A去掉了随机部分
#y = (x*27+15+random.randint(-2,3)).reshape(-1)
9 a5 c+ f, r) U& p: g. Py = (x*27+15).reshape(-1)

循环次数加成10倍，就看到 b 收敛了
6 @& a6 D* v4 Z" z& A; Gw , b
0 I" t3 F9 c2 g0 P4 g6 F1 g27.002620697021484 14.826167106628418
/ }. }( V6 |; O6 n8 |
3 C% r9 j  P/ b# {和 b 的起始位置无关，但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ，收敛就很慢。