继续请教问题:关于 Pytorch 的 Autograd

雷达

( q- _% I, }8 n5 n: x3 {; W为预防老年痴呆，时不时学点新东东玩一玩。
Pytorch 下面的代码做最简单的一元线性回归：
----------------------------------------------
import torch
import numpy as np
import matplotlib.pyplot as plt
; X( E/ u4 I( S- X: U( Aimport random

x = torch.tensor(np.arange(1,100,1))
; m. u* [7 |  \, M% V- ^y = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15

w = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
- k' K: O7 j0 h3 J. s) b0 mb = torch.tensor(0.,requires_grad=True)

8 ^( o6 G$ E/ c$ M8 M2 j) _0 nepochs = 100

losses = []
for i in range(epochs):
6 l- W0 r* L2 c  y_pred = (x*w+b)    # 预测
  y_pred.reshape(-1)

  loss = torch.square(y_pred - y).mean()   #计算 loss
  losses.append(loss)
  
0 A" J- L5 g4 H1 u+ ~  loss.backward() # autograd
/ m( z# P0 X" c" S6 x  with torch.no_grad():
& A+ a7 }7 N  P+ T# u    w  -= w.grad*0.0001   # 回归 w
    b  -= b.grad*0.0001    # 回归 b
  w.grad.zero_()  
  b.grad.zero_()

print(w.item(),b.item()) #结果

Output： 27.26387596130371  0.4974517822265625
----------------------------------------------
最后的结果，w可以回到 w0 = 27 附近，b却回不去 b0=15。两处红字，损失函数是矢量计算后的均值，感觉 b 的回归表达有问题。
- W: {0 g5 x, l# Z6 M1 g高手们帮看看是神马原因？

老福

没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
- {+ f+ B- B& t0 J-------
% ]' q( A! D( U: v( s不好意思，再看一遍，好像你在自算回归而不是用现成的工具直接出结果，上面的评论只有一点用，就是确认是不是算法有问题。
-------
8 T$ K1 ]) Y/ I4 a! A' O& ~算法诊断部分，建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够，因为你起点是0, 步长很小。只是直观建议。

雷达

老福 发表于 2023-2-14 19:23
没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
+ X: ?5 c8 E1 e' ~3 b-------
6 e) o/ Y6 r+ A; d/ Z不好意思， ...

% J& L% _) k, F) j谢谢，算法应该没问题，就是最简单的线性回归。
7 _5 l- j* ]8 ?2 n我特意没有用现成的工具，就是想从最基本的地方深入理解一下。

老福

雷达 发表于 2023-2-14 21:52
谢谢，算法应该没问题，就是最简单的线性回归。
" u6 ~$ r/ j  S+ s# n" h6 [" P我特意没有用现成的工具，就是想从最基本的地方深入理解 ...

, D1 ~- p. t1 e& D( C2 ^
刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。
5 A+ S$ J4 `% R3 y# q; t
或者把b但的起点改为1试试。

雷达

, d$ q8 O( a! W

老福 发表于 2023-2-14 22:00
# E3 t2 w: Q% S. s刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。
  v& h8 |- C1 F7 F, C+ H
或者把b但的起点改为1试试。 ...

+ }6 {! g$ Y# K" M- y( D
你是对的。
去掉了随机部分
/ V' G8 o5 t4 V7 N' n7 R' a#y = (x*27+15+random.randint(-2,3)).reshape(-1)
y = (x*27+15).reshape(-1)

, c0 Z! j  g) e1 d- L% X% i' N循环次数加成10倍，就看到 b 收敛了
7 U8 i* ]0 i$ l+ F) T1 Dw , b
27.002620697021484 14.826167106628418

% O4 [% K  f3 j+ o+ H6 i) J和 b 的起始位置无关，但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ，收敛就很慢。