继续请教问题:关于 Pytorch 的 Autograd

雷达

; H1 d* J( G' r" B* S为预防老年痴呆，时不时学点新东东玩一玩。
Pytorch 下面的代码做最简单的一元线性回归：
' O, I8 n- c2 v4 F% t- T0 P5 N' [----------------------------------------------
import torch
import numpy as np
import matplotlib.pyplot as plt
import random

2 V7 z+ d# z( J- e, M. Ex = torch.tensor(np.arange(1,100,1))
! Z8 l: q. z1 u8 m6 R+ fy = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15

& y& g4 Z) F0 R$ t4 Ew = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
b = torch.tensor(0.,requires_grad=True)
/ y* T. D  |2 P7 F$ f& R+ @$ `
epochs = 100
% \$ B! A8 S% V2 m# y6 N
losses = []
for i in range(epochs):
( r+ q. k, l% I$ C$ M  y_pred = (x*w+b)    # 预测
& q8 T5 ]0 W. i, P% m9 l: l% {  s% D  y_pred.reshape(-1)
- |! R: d9 @7 Z
  loss = torch.square(y_pred - y).mean()   #计算 loss
  losses.append(loss)
( j% _9 N% w5 @2 P8 p% [6 W/ |  
5 c6 C4 Q6 F9 z; U4 c/ N  loss.backward() # autograd
  with torch.no_grad():
    w  -= w.grad*0.0001   # 回归 w
/ d. X2 t: i3 r- P    b  -= b.grad*0.0001    # 回归 b
) r3 j! J7 \/ V, A8 l( n' O  w.grad.zero_()  
- Q6 v* G5 O% @& x; |) F% o  b.grad.zero_()

print(w.item(),b.item()) #结果
! E# E0 P% ~0 F9 S
6 E& v" y) x  @6 T1 uOutput： 27.26387596130371  0.4974517822265625
& N& T/ Q4 j0 |5 F" C$ E----------------------------------------------
最后的结果，w可以回到 w0 = 27 附近，b却回不去 b0=15。两处红字，损失函数是矢量计算后的均值，感觉 b 的回归表达有问题。
高手们帮看看是神马原因？
/ h- \6 h. M. R1 v

老福

  A6 N1 U7 `: ~4 w没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
3 b' T  b8 {5 L3 C-------
& z' I. i. g! B$ E不好意思，再看一遍，好像你在自算回归而不是用现成的工具直接出结果，上面的评论只有一点用，就是确认是不是算法有问题。
-------
算法诊断部分，建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够，因为你起点是0, 步长很小。只是直观建议。

雷达

老福 发表于 2023-2-14 19:23
% _$ C0 g9 Z6 q* H- k没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
-------
7 C, R* D4 N  b$ B# V不好意思， ...

谢谢，算法应该没问题，就是最简单的线性回归。
- R; p) }. ^" Q9 v我特意没有用现成的工具，就是想从最基本的地方深入理解一下。

老福

5 `; Z% U5 a6 w7 ?" H/ c

雷达 发表于 2023-2-14 21:52
5 a- l! G! X9 {. E" t谢谢，算法应该没问题，就是最简单的线性回归。
5 ^7 q4 ~+ H) t. P- i- S我特意没有用现成的工具，就是想从最基本的地方深入理解 ...

7 O, X2 B! O, ]. v" u5 _4 d# c刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。

9 v+ s& I$ m7 u+ V* }& `' x或者把b但的起点改为1试试。

雷达

8 C% `, F- v5 ]  U( L

老福 发表于 2023-2-14 22:00
刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。
4 W' V  \! N5 I/ H. c
或者把b但的起点改为1试试。 ...

' I, E% O6 E) Q$ b: e
# k3 U5 H, }+ ?) F7 u; u1 C你是对的。
去掉了随机部分
* j) V! L& I* m" ^% n, ?#y = (x*27+15+random.randint(-2,3)).reshape(-1)
y = (x*27+15).reshape(-1)

循环次数加成10倍，就看到 b 收敛了
w , b
27.002620697021484 14.826167106628418
( P# C% p4 R! F9 \( w" r2 b# \3 G
/ `+ `( ]; d& C* x; h( B7 b和 b 的起始位置无关，但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ，收敛就很慢。