继续请教问题:关于 Pytorch 的 Autograd

雷达

/ `& w; {- Q* q+ g5 V, N) h为预防老年痴呆，时不时学点新东东玩一玩。
Pytorch 下面的代码做最简单的一元线性回归：
----------------------------------------------
import torch
" k+ X/ c6 F7 f2 j, E% z4 r  mimport numpy as np
import matplotlib.pyplot as plt
import random

x = torch.tensor(np.arange(1,100,1))
  x0 h$ N5 d% L  w7 d3 my = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15
7 a! n6 |" y3 {/ S1 Q0 R
6 U( F6 E% |/ S3 [; L6 `& qw = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
# Y9 f/ F1 [% ]! V  |& |! y* \1 M+ ab = torch.tensor(0.,requires_grad=True)
' A! N7 @. t3 }/ E
' n) P7 Q1 B$ m' W% L0 ?epochs = 100

losses = []
for i in range(epochs):
3 }* s) I  g8 R: y" o  y_pred = (x*w+b)    # 预测
  y_pred.reshape(-1)

  loss = torch.square(y_pred - y).mean()   #计算 loss
  t6 d! m- L% `0 d  losses.append(loss)
3 Q! B0 C7 u8 b5 h  
  loss.backward() # autograd
  with torch.no_grad():
    w  -= w.grad*0.0001   # 回归 w
    b  -= b.grad*0.0001    # 回归 b
  w.grad.zero_()  
  b.grad.zero_()

# D" r3 z# O5 i' Z, z5 _1 nprint(w.item(),b.item()) #结果

Output： 27.26387596130371  0.4974517822265625
6 \/ n, p$ b+ h6 g----------------------------------------------
最后的结果，w可以回到 w0 = 27 附近，b却回不去 b0=15。两处红字，损失函数是矢量计算后的均值，感觉 b 的回归表达有问题。
高手们帮看看是神马原因？
4 X0 n7 i1 n' n. {! g/ F

老福

* S) X  y2 j9 T5 N8 ?9 S
/ f# t; ^. G& b没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
-------
不好意思，再看一遍，好像你在自算回归而不是用现成的工具直接出结果，上面的评论只有一点用，就是确认是不是算法有问题。
0 ^' E7 V5 a* @' f  D-------
算法诊断部分，建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够，因为你起点是0, 步长很小。只是直观建议。

雷达

老福 发表于 2023-2-14 19:23
没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
( ?% |( O9 Y% @- c$ l7 A7 R-------
) m. i$ d" e0 P0 T不好意思， ...

, F) M2 h  V. V3 }4 t谢谢，算法应该没问题，就是最简单的线性回归。
# l, ]; W5 g: o我特意没有用现成的工具，就是想从最基本的地方深入理解一下。

老福

3 x! `( I- |) b" P" a- J; _) m

雷达 发表于 2023-2-14 21:52
5 A) N0 s, u9 J% i谢谢，算法应该没问题，就是最简单的线性回归。
我特意没有用现成的工具，就是想从最基本的地方深入理解 ...

+ c' {1 C4 s/ \/ ?! d; @
刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。

或者把b但的起点改为1试试。

雷达

老福 发表于 2023-2-14 22:00
# E' O& }2 w2 M刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。

或者把b但的起点改为1试试。 ...

你是对的。
去掉了随机部分
* O+ @2 u; K  \! |3 Z#y = (x*27+15+random.randint(-2,3)).reshape(-1)
" A3 T# R  _8 `2 ly = (x*27+15).reshape(-1)
3 E4 n# x  r3 M0 `, `7 V- w
5 ^' o$ _& g( o& D循环次数加成10倍，就看到 b 收敛了
$ y1 t" S0 {0 s( X; a* [9 z4 Hw , b
$ w2 G- v0 o8 y0 Q) D: y) J27.002620697021484 14.826167106628418
, `" [4 P' d$ _% ]7 l  M
% Y; d- ~9 w0 V0 A) N和 b 的起始位置无关，但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ，收敛就很慢。