继续请教问题:关于 Pytorch 的 Autograd

雷达

为预防老年痴呆，时不时学点新东东玩一玩。
( j! w; P8 w4 ?" B9 B# z6 MPytorch 下面的代码做最简单的一元线性回归：
----------------------------------------------
import torch
import numpy as np
3 N% e) g) q0 F6 h2 u# Cimport matplotlib.pyplot as plt
6 i; `" O# o# P* w, ^import random
& }. A. r6 S" b2 q+ h- a
x = torch.tensor(np.arange(1,100,1))
y = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15
" i6 ^6 f  U2 k4 t  F& b
w = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
, N2 n& E* C. `- |b = torch.tensor(0.,requires_grad=True)
* B% _0 P. ~/ N! D, }+ O4 ?
epochs = 100
0 J( O8 s0 E8 Z1 U: |4 H$ U' o
losses = []
for i in range(epochs):
2 J- i  ~3 I/ v7 d! n# D& u  y_pred = (x*w+b)    # 预测
  y_pred.reshape(-1)
9 o- q! S) C" o% I+ S4 B: ?
  loss = torch.square(y_pred - y).mean()   #计算 loss
  losses.append(loss)
  
  loss.backward() # autograd
  with torch.no_grad():
2 b- S& a5 r5 M( ^+ t* n    w  -= w.grad*0.0001   # 回归 w
/ }$ Y6 x4 q7 n/ b0 M7 j    b  -= b.grad*0.0001    # 回归 b
  w.grad.zero_()  
! h' M  b, y% z; {# B  b.grad.zero_()

8 Q; |) z6 j9 |0 E% h' `( aprint(w.item(),b.item()) #结果

: U% X5 ^3 F( o7 _' z: ]Output： 27.26387596130371  0.4974517822265625
----------------------------------------------
最后的结果，w可以回到 w0 = 27 附近，b却回不去 b0=15。两处红字，损失函数是矢量计算后的均值，感觉 b 的回归表达有问题。
) I- u8 I( j# V! `5 V高手们帮看看是神马原因？

老福

0 G2 l6 H9 n0 A! i' ]5 I" ?9 ~
3 L3 o5 U1 X( h- H/ k  n没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
-------
, x. ^' C) n+ @' k& b不好意思，再看一遍，好像你在自算回归而不是用现成的工具直接出结果，上面的评论只有一点用，就是确认是不是算法有问题。
-------
+ {& V  c( u8 z2 Q+ \算法诊断部分，建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够，因为你起点是0, 步长很小。只是直观建议。

雷达

老福 发表于 2023-2-14 19:23
没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
-------
不好意思， ...

谢谢，算法应该没问题，就是最简单的线性回归。
我特意没有用现成的工具，就是想从最基本的地方深入理解一下。

老福

( x7 y3 M, a3 w

雷达 发表于 2023-2-14 21:52
- c" n( X  ^* Y3 S3 S9 J; o谢谢，算法应该没问题，就是最简单的线性回归。
/ n- m& ^9 y. v! H我特意没有用现成的工具，就是想从最基本的地方深入理解 ...

刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。
) [9 r8 X6 J3 x5 [. T
或者把b但的起点改为1试试。

雷达

4 e0 a7 |0 J# V& V. ]

老福 发表于 2023-2-14 22:00
刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。

2 l  i2 `# h1 s或者把b但的起点改为1试试。 ...

你是对的。
2 E& L, K/ D* C; d& r$ s去掉了随机部分
6 m, F7 _8 w" b: T  n3 W1 b#y = (x*27+15+random.randint(-2,3)).reshape(-1)
" o1 d9 h  C6 `& Fy = (x*27+15).reshape(-1)
# v" G" R& U+ U8 j7 x% `& K! U
循环次数加成10倍，就看到 b 收敛了
, U* }3 X( ]& U" j, X( D. Iw , b
; a8 a) A$ @) N# y27.002620697021484 14.826167106628418
: k  Q; l! l2 ^- J) ^
和 b 的起始位置无关，但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ，收敛就很慢。