继续请教问题:关于 Pytorch 的 Autograd

雷达

( W9 A: S, I9 Z+ w/ h4 _2 [4 z2 Q
为预防老年痴呆，时不时学点新东东玩一玩。
Pytorch 下面的代码做最简单的一元线性回归：
6 f) U, @$ ]: \! S% K1 |----------------------------------------------
import torch
import numpy as np
( d+ Z4 M" O- x0 m! |+ u( ^9 [; Dimport matplotlib.pyplot as plt
import random
7 @* Q' p! X5 c% _- c$ Z: O
x = torch.tensor(np.arange(1,100,1))
y = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15

w = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
2 U: c$ ?/ h# }b = torch.tensor(0.,requires_grad=True)
; B, u4 G; Z% P+ a0 }7 v# t
9 W% P  \% h8 I4 i  kepochs = 100
) _7 R0 \1 y6 v/ m
losses = []
for i in range(epochs):
6 \; f9 L$ U' c  y_pred = (x*w+b)    # 预测
9 X/ y% E  Z+ w% d6 \  y_pred.reshape(-1)
( @$ U. ~  Z$ y- @$ i6 O
  loss = torch.square(y_pred - y).mean()   #计算 loss
  losses.append(loss)
  
# s2 B; s. p3 }' N- K. b1 S  loss.backward() # autograd
  with torch.no_grad():
0 f# a- h+ q  p9 ~% `( b    w  -= w.grad*0.0001   # 回归 w
    b  -= b.grad*0.0001    # 回归 b
  w.grad.zero_()  
  b.grad.zero_()
$ W9 ^1 ?$ W* H+ j/ p7 m( q
2 W* i$ s) W3 ?' zprint(w.item(),b.item()) #结果
- ^4 m+ N  \4 R$ K
Output： 27.26387596130371  0.4974517822265625
----------------------------------------------
# Z/ q5 J. c. O1 ~0 ?# f最后的结果，w可以回到 w0 = 27 附近，b却回不去 b0=15。两处红字，损失函数是矢量计算后的均值，感觉 b 的回归表达有问题。
高手们帮看看是神马原因？

老福

' R  P" g9 N4 m
8 {' n+ z9 \$ {) |% ]# s没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
( b; ]0 N" ~7 O  j3 }. A- q2 k-------
不好意思，再看一遍，好像你在自算回归而不是用现成的工具直接出结果，上面的评论只有一点用，就是确认是不是算法有问题。
; @+ d  b" d% i1 T6 D4 ^-------
. }8 u( \: o) M# P4 |9 v3 V# O/ W算法诊断部分，建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够，因为你起点是0, 步长很小。只是直观建议。

雷达

老福 发表于 2023-2-14 19:23
没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
-------
不好意思， ...

  v  l' o) v' R0 w8 E, B; v谢谢，算法应该没问题，就是最简单的线性回归。
我特意没有用现成的工具，就是想从最基本的地方深入理解一下。

老福

, j2 e7 O! t" X/ ?

雷达 发表于 2023-2-14 21:52
2 `- f; |1 e. H7 ]4 g谢谢，算法应该没问题，就是最简单的线性回归。
+ s1 ]) m) p) g1 j我特意没有用现成的工具，就是想从最基本的地方深入理解 ...

# G; i* c% u1 X! x. p( H; H$ Z) ^' {
刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。
$ F6 O# E" B' C* z! s
或者把b但的起点改为1试试。

雷达

老福 发表于 2023-2-14 22:00
# G$ k: R, e/ G+ r( {刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。
9 c0 Z- }  Q4 m1 [$ [
' y5 S4 }1 W. m/ R4 R# {或者把b但的起点改为1试试。 ...

% d/ c( W1 p. I4 _. s
你是对的。
去掉了随机部分
#y = (x*27+15+random.randint(-2,3)).reshape(-1)
. ^6 i' v- {9 d) A" Ky = (x*27+15).reshape(-1)
! @4 I: ]' I; I0 ?
循环次数加成10倍，就看到 b 收敛了
. T6 {+ \4 m1 w! ]  m4 s' R6 c. Rw , b
27.002620697021484 14.826167106628418
) P8 z" F  D( E# h+ I' r/ E
: y0 s# m! ?5 q. J5 X: g4 {' g和 b 的起始位置无关，但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ，收敛就很慢。