继续请教问题:关于 Pytorch 的 Autograd

雷达

+ P% U% n7 D( [! k3 O9 C( F0 n" ]9 E为预防老年痴呆，时不时学点新东东玩一玩。
Pytorch 下面的代码做最简单的一元线性回归：
9 L& J& V) W4 I& u2 y8 m----------------------------------------------
6 t! C( K7 Y2 ?4 B* mimport torch
import numpy as np
+ H7 p& w" T2 Cimport matplotlib.pyplot as plt
import random

x = torch.tensor(np.arange(1,100,1))
y = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15
! k! V6 x9 }; s" E2 @6 r
w = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
b = torch.tensor(0.,requires_grad=True)
" C+ e/ e1 Y) h6 c. t5 o& j' ?( ~8 ~
epochs = 100

7 g0 Z- v7 S6 |5 T) N8 o" olosses = []
/ ?" W5 _+ K0 K7 Z0 w& }) Mfor i in range(epochs):
/ o) ~3 N) c; J) U  y_pred = (x*w+b)    # 预测
. W* C. l! ?, l+ _$ `) _9 Q* P  y_pred.reshape(-1)

  loss = torch.square(y_pred - y).mean()   #计算 loss
/ P3 K# G7 [' V. K! E5 c3 w  losses.append(loss)
  
  loss.backward() # autograd
  with torch.no_grad():
& G  J6 O8 x3 w6 x' N    w  -= w.grad*0.0001   # 回归 w
    b  -= b.grad*0.0001    # 回归 b
9 c" H$ b  }3 Z2 m+ g: L  w.grad.zero_()  
  b.grad.zero_()
- K. v5 r  b7 ]. g* J/ O8 s
/ `. D3 }+ b" O2 F3 r8 I! bprint(w.item(),b.item()) #结果

Output： 27.26387596130371  0.4974517822265625
----------------------------------------------
& h5 ]* A6 Z8 y$ n( m& H9 I最后的结果，w可以回到 w0 = 27 附近，b却回不去 b0=15。两处红字，损失函数是矢量计算后的均值，感觉 b 的回归表达有问题。
高手们帮看看是神马原因？
: A, f# m9 |$ B+ k5 ^  A( D

老福

没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
-------
( d. t  H: Z' @1 P8 B/ K% D0 I. X8 ?不好意思，再看一遍，好像你在自算回归而不是用现成的工具直接出结果，上面的评论只有一点用，就是确认是不是算法有问题。
: ]2 u3 E$ c9 G2 r4 i4 I6 g-------
算法诊断部分，建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够，因为你起点是0, 步长很小。只是直观建议。

雷达

老福 发表于 2023-2-14 19:23
没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
8 Y8 S. n! ?, ~5 Z" O5 ~-------
3 ^  l5 @6 W9 f1 g不好意思， ...

4 C+ w0 ~. \3 S: t8 v谢谢，算法应该没问题，就是最简单的线性回归。
我特意没有用现成的工具，就是想从最基本的地方深入理解一下。

老福

雷达 发表于 2023-2-14 21:52
# W1 g; p# s( D5 v' V5 m8 r1 J谢谢，算法应该没问题，就是最简单的线性回归。
我特意没有用现成的工具，就是想从最基本的地方深入理解 ...

0 d8 K# `, F( `) M3 x5 p0 S% K, C6 N刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。
  c+ `3 G: ~4 t9 @6 \: ^5 E
% a9 @( L% Z; b3 T: [) l或者把b但的起点改为1试试。

雷达

3 w) V0 T& g) b+ G6 T+ d% v( }

老福 发表于 2023-2-14 22:00
9 j+ K0 i& h" ]- B$ @% D! L" e刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。
4 x- `- H! A" ?3 h
" K2 y/ v4 \* @2 |* d或者把b但的起点改为1试试。 ...

( d1 r' `7 y# B1 x8 s- n, ?你是对的。
3 q% H3 X% n. T去掉了随机部分
#y = (x*27+15+random.randint(-2,3)).reshape(-1)
y = (x*27+15).reshape(-1)

* M- j* {6 B# o) i$ D$ |+ I8 K* ]循环次数加成10倍，就看到 b 收敛了
w , b
27.002620697021484 14.826167106628418

6 |5 s- _1 f" X3 S: s和 b 的起始位置无关，但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ，收敛就很慢。