继续请教问题:关于 Pytorch 的 Autograd

雷达

5 h9 h3 g$ T$ R4 W6 W& S% Q, |
为预防老年痴呆，时不时学点新东东玩一玩。
! {9 k1 g8 R7 u) q; R$ |! T& }Pytorch 下面的代码做最简单的一元线性回归：
----------------------------------------------
import torch
import numpy as np
& _$ d- S  [# a3 C/ Cimport matplotlib.pyplot as plt
import random

( P- D* ^% w: ^3 O& P1 C' tx = torch.tensor(np.arange(1,100,1))
# g9 \: g8 f2 a( C8 C5 Yy = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15
+ g& K% S" i1 e4 M9 \4 ], \2 D
; ]: Z  h# `4 D4 h0 U$ u) |- U) lw = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
# R$ a' }4 L5 ^* g8 Qb = torch.tensor(0.,requires_grad=True)
! N9 {( ~+ z3 w/ e7 v
4 O4 G1 y$ T, `  x1 |epochs = 100

5 ]$ r1 g# w% M4 |3 blosses = []
2 ^. p$ ?) Q8 I! b  Qfor i in range(epochs):
  y_pred = (x*w+b)    # 预测
  y_pred.reshape(-1)

  loss = torch.square(y_pred - y).mean()   #计算 loss
  losses.append(loss)
  
  loss.backward() # autograd
* o0 }# m9 L- f, Z* f- l, o8 _  with torch.no_grad():
    w  -= w.grad*0.0001   # 回归 w
& F# s& n  X( o    b  -= b.grad*0.0001    # 回归 b
! a7 [$ B, w- M* Z  w.grad.zero_()  
, K9 F( ~; ?) r0 g) s  b.grad.zero_()
8 _3 f; k! d5 z* F* Z
print(w.item(),b.item()) #结果
0 h& |+ ^! v2 W) ^2 Q/ k
* A6 p2 }+ O& L9 Z6 iOutput： 27.26387596130371  0.4974517822265625
2 F$ y( o: n: w  {----------------------------------------------
最后的结果，w可以回到 w0 = 27 附近，b却回不去 b0=15。两处红字，损失函数是矢量计算后的均值，感觉 b 的回归表达有问题。
3 l: o7 J" o6 V3 T* |高手们帮看看是神马原因？

老福

; I3 y7 m3 R  u3 R. N
没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
  A5 c9 _4 l+ c& d7 |* t; Q-------
) [2 }( r8 k# d9 |/ P! U* f  p* N不好意思，再看一遍，好像你在自算回归而不是用现成的工具直接出结果，上面的评论只有一点用，就是确认是不是算法有问题。
* G6 R2 P6 S( ^, S) [/ M& N7 `1 _% q$ @-------
算法诊断部分，建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够，因为你起点是0, 步长很小。只是直观建议。

雷达

老福 发表于 2023-2-14 19:23
; h1 j$ s/ J+ R" c9 J没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
-------
/ P: U: A* `& v: A  S不好意思， ...

+ b0 @. U( l! I) N4 B" W; u( v谢谢，算法应该没问题，就是最简单的线性回归。
6 K" W% F" L* p# T( j! z6 P6 N我特意没有用现成的工具，就是想从最基本的地方深入理解一下。

老福

雷达 发表于 2023-2-14 21:52
4 h2 l5 g, I! n% |  o! r' ~谢谢，算法应该没问题，就是最简单的线性回归。
0 S- `6 F, E; v9 E我特意没有用现成的工具，就是想从最基本的地方深入理解 ...

刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。

或者把b但的起点改为1试试。

雷达

老福 发表于 2023-2-14 22:00
; u. U/ u( x1 ^6 t2 G1 G" z) N% j$ G刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。
- s6 V  d+ R  v
  y" I; ~, `: ]  B7 J或者把b但的起点改为1试试。 ...

* q+ D+ O% _8 q/ L- I
+ N5 N  q/ f# v$ {3 ~% e$ Q* g你是对的。
去掉了随机部分
! m; u0 k, b6 Z; P: C#y = (x*27+15+random.randint(-2,3)).reshape(-1)
3 |* m1 j0 P. d  Y) \9 l( Z2 |. J) ly = (x*27+15).reshape(-1)

循环次数加成10倍，就看到 b 收敛了
w , b
27.002620697021484 14.826167106628418

) x7 `7 W' n( t. W" Q* C和 b 的起始位置无关，但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ，收敛就很慢。