继续请教问题:关于 Pytorch 的 Autograd

雷达

: E& o" i: E$ S, y8 \7 Z为预防老年痴呆，时不时学点新东东玩一玩。
Pytorch 下面的代码做最简单的一元线性回归：
& n% m7 B9 F: d----------------------------------------------
( k. U' ~) r7 l2 W# o# ^8 {- {$ w6 ~import torch
% M6 G4 Y5 K, T8 r; C3 L# mimport numpy as np
import matplotlib.pyplot as plt
import random

x = torch.tensor(np.arange(1,100,1))
0 y* `& v- j+ |y = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15
  f! b6 D) t+ V/ {1 S2 ]8 Z) u1 z
) p1 K% u7 V  A3 B5 ~w = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
' _# a; }# g  I; v* v9 g* ~b = torch.tensor(0.,requires_grad=True)

/ j( f  a; b0 R0 t3 T/ s: repochs = 100

losses = []
- z: F' u" A# w+ S0 v8 Efor i in range(epochs):
& {" W  F7 ~  x# p2 B8 U  y_pred = (x*w+b)    # 预测
4 f" z: p1 X# ~# y8 B; r6 K  y_pred.reshape(-1)
9 i* Z6 ?; e- Z! r1 M' h6 a$ t
  loss = torch.square(y_pred - y).mean()   #计算 loss
  losses.append(loss)
+ |2 Q& r2 G3 z( c! g9 {+ }  
  loss.backward() # autograd
! x% ~7 ^& C0 ]5 o3 ?  with torch.no_grad():
0 j! f) x1 y* x$ i0 @    w  -= w.grad*0.0001   # 回归 w
    b  -= b.grad*0.0001    # 回归 b
  w.grad.zero_()  
9 ?& g: y, R. |3 o/ T: a  b.grad.zero_()
) E* u! w/ ^$ M% b; f
print(w.item(),b.item()) #结果

: {  `% q" w1 ~5 R/ @& _7 TOutput： 27.26387596130371  0.4974517822265625
----------------------------------------------
$ g8 T5 C$ E8 f- l9 G% s最后的结果，w可以回到 w0 = 27 附近，b却回不去 b0=15。两处红字，损失函数是矢量计算后的均值，感觉 b 的回归表达有问题。
( i6 q" u/ y7 v! o# m3 s/ f) o高手们帮看看是神马原因？
0 s0 X! Z# ~. d' i7 S6 q

老福

% r. \, t- Q5 ^8 ^/ G
没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
-------
不好意思，再看一遍，好像你在自算回归而不是用现成的工具直接出结果，上面的评论只有一点用，就是确认是不是算法有问题。
: _* G! T. @, w-------
算法诊断部分，建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够，因为你起点是0, 步长很小。只是直观建议。

雷达

老福 发表于 2023-2-14 19:23
没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
-------
不好意思， ...

3 z" f1 O( p. I, _: K8 m9 o谢谢，算法应该没问题，就是最简单的线性回归。
我特意没有用现成的工具，就是想从最基本的地方深入理解一下。

老福

雷达 发表于 2023-2-14 21:52
谢谢，算法应该没问题，就是最简单的线性回归。
/ j4 a( Z3 L8 Z9 X! I% {  ]5 r  ?我特意没有用现成的工具，就是想从最基本的地方深入理解 ...

# H( p& W7 }" ?" O, n
  y. x. f" Y" B+ z! u+ t/ g$ }3 q刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。

& J/ ^% y& ]  O或者把b但的起点改为1试试。

雷达

老福 发表于 2023-2-14 22:00
5 b. [  R8 Z9 B( I& D刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。
+ B, w+ u( M6 s2 g
' b9 u! R4 ~2 u$ L* [或者把b但的起点改为1试试。 ...

  Y& ~6 a6 H2 ~- T0 H, E你是对的。
( t2 L6 O- L# a5 x9 g去掉了随机部分
& O& e- w. r  j* O0 |#y = (x*27+15+random.randint(-2,3)).reshape(-1)
9 k6 e* s! L$ E% Ny = (x*27+15).reshape(-1)

循环次数加成10倍，就看到 b 收敛了
w , b
9 I, e! G1 E( R' U4 Y27.002620697021484 14.826167106628418

: y; Z3 E* N( T2 |和 b 的起始位置无关，但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ，收敛就很慢。