继续请教问题:关于 Pytorch 的 Autograd

雷达

' b* k7 D% v# N% |  f" g为预防老年痴呆，时不时学点新东东玩一玩。
9 n  T7 u! y0 _  n4 W* fPytorch 下面的代码做最简单的一元线性回归：
' m3 A! i5 I) ]3 \- {2 d4 [, X$ i----------------------------------------------
- V0 _3 }. X) ]4 a  }4 \import torch
2 m! }" V" u1 Z% R/ Dimport numpy as np
  q/ i( h# k0 s5 e$ o) b8 uimport matplotlib.pyplot as plt
5 ~' \; J9 ^# M5 w1 aimport random
# h! o, u, O8 i+ L! S  k) S
; s4 }8 t5 _8 t  T0 x/ Mx = torch.tensor(np.arange(1,100,1))
- L) v/ y. {9 Xy = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15
/ g/ b4 Y- s# T
/ k6 L8 w/ Q2 t7 _" X$ ?0 D% Vw = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
" `+ m' v% m0 Q8 t" z& ob = torch.tensor(0.,requires_grad=True)

epochs = 100
0 G( \2 F: k; S5 y: U  f
' k( B6 E5 `5 r( C( tlosses = []
; c6 i1 m+ D4 P2 Y5 x( Qfor i in range(epochs):
) [- k: i6 L& ^: u3 z" @7 G# ?: u  y_pred = (x*w+b)    # 预测
0 i4 _$ b4 [4 N1 N* q% }  y_pred.reshape(-1)
/ q1 I# v9 K+ s$ R2 p/ [
& Z1 _3 A9 }& G: u6 N# [* r" o  loss = torch.square(y_pred - y).mean()   #计算 loss
9 D6 M+ \/ O2 b% D  losses.append(loss)
  
2 \) E# |# W, b  loss.backward() # autograd
4 q: R, F; M" V) d7 t# t5 u  with torch.no_grad():
: h) R" u0 C" A6 G5 T$ j6 ?3 L    w  -= w.grad*0.0001   # 回归 w
    b  -= b.grad*0.0001    # 回归 b
  w.grad.zero_()  
3 s/ n) n8 q. k' B  b.grad.zero_()

) P$ t) y9 h" X$ {print(w.item(),b.item()) #结果
7 j; b, Z' @5 h# l2 U+ o
, a8 ^- U& D' b6 DOutput： 27.26387596130371  0.4974517822265625
7 H1 n9 o/ [5 _% x- `" v& o----------------------------------------------
最后的结果，w可以回到 w0 = 27 附近，b却回不去 b0=15。两处红字，损失函数是矢量计算后的均值，感觉 b 的回归表达有问题。
4 r: n1 n& W$ c+ t$ [1 `4 C; Q: E* y高手们帮看看是神马原因？

老福

3 Q4 y5 \- a! ]4 M1 }. \没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
-------
不好意思，再看一遍，好像你在自算回归而不是用现成的工具直接出结果，上面的评论只有一点用，就是确认是不是算法有问题。
-------
算法诊断部分，建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够，因为你起点是0, 步长很小。只是直观建议。

雷达

老福 发表于 2023-2-14 19:23
# U5 @6 m% o, H* [. q( F  c0 n没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
-------
不好意思， ...

) D7 ^! z5 Y- r* k% [- U3 q% j: L谢谢，算法应该没问题，就是最简单的线性回归。
我特意没有用现成的工具，就是想从最基本的地方深入理解一下。

老福

雷达 发表于 2023-2-14 21:52
谢谢，算法应该没问题，就是最简单的线性回归。
我特意没有用现成的工具，就是想从最基本的地方深入理解 ...

刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。
) S% ^( ]: f/ `" h6 m3 \( X3 X
6 o+ l, Y2 e) g. w7 o5 o或者把b但的起点改为1试试。

雷达

老福 发表于 2023-2-14 22:00
2 l" a9 ~* R4 h# e9 `# v" y刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。

9 O& C! v+ s7 k- z/ c& a& {/ J# g! A或者把b但的起点改为1试试。 ...

你是对的。
去掉了随机部分
: G, ]7 t) @7 x#y = (x*27+15+random.randint(-2,3)).reshape(-1)
y = (x*27+15).reshape(-1)

循环次数加成10倍，就看到 b 收敛了
4 L3 l# k0 g) ]) F8 ~w , b
2 R. ~; l. n+ b& q27.002620697021484 14.826167106628418
* B. J/ ^1 E& H" Z1 j
和 b 的起始位置无关，但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ，收敛就很慢。