继续请教问题:关于 Pytorch 的 Autograd

雷达

2 @/ O* @) l$ Y- o
为预防老年痴呆，时不时学点新东东玩一玩。
) h7 {( a0 K! o9 D6 r: y+ @% DPytorch 下面的代码做最简单的一元线性回归：
0 L& m$ ^) c" \2 y4 w6 Y( q$ P----------------------------------------------
! _0 ^; p  V; u- r$ O3 Cimport torch
import numpy as np
import matplotlib.pyplot as plt
import random

& e) Z* g4 ?" k5 f1 C# Ix = torch.tensor(np.arange(1,100,1))
y = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15

! w8 s3 M' g/ C6 |w = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
b = torch.tensor(0.,requires_grad=True)

7 O- F2 i6 V, T9 O3 X* ?, o  ]: depochs = 100
" a. T  k! _+ Y5 P' K5 M6 H
losses = []
& ?( H! C0 t, V# P$ A2 e$ h" i4 Tfor i in range(epochs):
: F; r' F2 O* W/ V/ @  y_pred = (x*w+b)    # 预测
5 ]  v9 r3 `1 Z1 m/ K- G7 M  y_pred.reshape(-1)
8 C) p( P$ w  @1 f/ l  z: [
2 ?! f+ ^# J; V4 Q; W+ ]  loss = torch.square(y_pred - y).mean()   #计算 loss
9 \- X1 ^  l6 m" }  losses.append(loss)
# h3 m5 Z) x9 Y% n  e0 O  
: z) D6 n% r# x- x( v# n& K, U9 h  loss.backward() # autograd
, T* ^7 V  W3 u' A# j' C/ F  with torch.no_grad():
    w  -= w.grad*0.0001   # 回归 w
    b  -= b.grad*0.0001    # 回归 b
- U$ T+ f7 q9 A+ \  N  w.grad.zero_()  
$ [3 u+ ^2 r0 t3 B6 Z  b.grad.zero_()

% m' ~- `; u* `/ m; D6 _! {- c9 fprint(w.item(),b.item()) #结果

3 z+ ?4 k% f& kOutput： 27.26387596130371  0.4974517822265625
----------------------------------------------
2 Q3 P* x( ], u7 |最后的结果，w可以回到 w0 = 27 附近，b却回不去 b0=15。两处红字，损失函数是矢量计算后的均值，感觉 b 的回归表达有问题。
* @) P: D( h& n高手们帮看看是神马原因？

老福

5 A2 y; e4 l1 W5 N没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
2 x6 ^, _0 S/ u-------
不好意思，再看一遍，好像你在自算回归而不是用现成的工具直接出结果，上面的评论只有一点用，就是确认是不是算法有问题。
-------
算法诊断部分，建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够，因为你起点是0, 步长很小。只是直观建议。

雷达

老福 发表于 2023-2-14 19:23
6 L! }$ I; n0 X7 ]没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
" Q8 _1 U% |! `3 b- g-------
不好意思， ...

0 X8 A$ l/ f+ d1 {9 B1 J- T5 y谢谢，算法应该没问题，就是最简单的线性回归。
我特意没有用现成的工具，就是想从最基本的地方深入理解一下。

老福

( k( S( a$ p- r: T. `$ R

雷达 发表于 2023-2-14 21:52
% k' z: ]2 [; z% O* O  ~" z谢谢，算法应该没问题，就是最简单的线性回归。
我特意没有用现成的工具，就是想从最基本的地方深入理解 ...

/ h6 j% a9 D& C/ {! i8 b7 N- `5 i刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。
: \& C; K5 j( f) R( ]8 x, n, i
" o) l1 U6 @% Z  A或者把b但的起点改为1试试。

雷达

老福 发表于 2023-2-14 22:00
刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。
/ C# `& f2 m  s7 a( K& {0 ]% d5 ]8 A
或者把b但的起点改为1试试。 ...

2 N. ]4 y! H1 Z3 d* c
7 n/ c; l% M  |3 @& y5 S( ~8 F你是对的。
去掉了随机部分
  @5 f8 n, }( V5 q' U6 Y# y#y = (x*27+15+random.randint(-2,3)).reshape(-1)
1 k7 x: `5 s# m; [y = (x*27+15).reshape(-1)
3 L0 b9 Z! n) j3 P; E
循环次数加成10倍，就看到 b 收敛了
8 ]4 B) w0 y! e9 C  e0 Nw , b
% @, l- W; {# t( U* e  j" e27.002620697021484 14.826167106628418

和 b 的起始位置无关，但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ，收敛就很慢。