继续请教问题:关于 Pytorch 的 Autograd

雷达

: B0 F5 g  y$ E1 m5 s
为预防老年痴呆，时不时学点新东东玩一玩。
Pytorch 下面的代码做最简单的一元线性回归：
----------------------------------------------
import torch
; x7 |# a" J' M) j; \) a' H2 F, Himport numpy as np
import matplotlib.pyplot as plt
import random
/ n8 I. M: |) S% F
x = torch.tensor(np.arange(1,100,1))
y = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15
: Y2 _) u9 j+ G* I+ x& y, L; L
6 J  g$ Z$ F' \) L$ d  uw = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
b = torch.tensor(0.,requires_grad=True)
8 |3 p# w, V) _" S( _% h
6 o- ~3 c, O5 ^1 K; Hepochs = 100

) @7 ~$ D4 c' A9 ?losses = []
4 R3 I( f0 M, K% V9 T9 K; yfor i in range(epochs):
  y_pred = (x*w+b)    # 预测
  y_pred.reshape(-1)

: c: T% ~- z; j7 W+ L' }  loss = torch.square(y_pred - y).mean()   #计算 loss
  losses.append(loss)
! A! p) r& D- Z2 j  
% G- R0 p5 b. D: r) y3 X7 H  loss.backward() # autograd
  with torch.no_grad():
( w1 W* C1 s$ `6 B& [& P4 ~, L  ]    w  -= w.grad*0.0001   # 回归 w
    b  -= b.grad*0.0001    # 回归 b
  w.grad.zero_()  
  b.grad.zero_()
( x7 f+ C- ^, c1 C" g
/ i: z2 n) E% J4 D5 g: H. [print(w.item(),b.item()) #结果
) T# L8 \  l+ I$ w* _4 B0 N' {
1 Y! ?' [( h1 L9 y; S/ \) KOutput： 27.26387596130371  0.4974517822265625
5 Z4 b1 N( M( F/ `----------------------------------------------
最后的结果，w可以回到 w0 = 27 附近，b却回不去 b0=15。两处红字，损失函数是矢量计算后的均值，感觉 b 的回归表达有问题。
: P: q- T9 b& S高手们帮看看是神马原因？

老福

# \4 N) U" w' q( u& y) z5 o, b
6 ?" X+ |, P: O9 l5 c# M! z没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
-------
, f$ k5 m7 R) ^+ c不好意思，再看一遍，好像你在自算回归而不是用现成的工具直接出结果，上面的评论只有一点用，就是确认是不是算法有问题。
+ C2 K4 [% o0 P9 v$ @-------
9 d: A: m! i+ x7 f算法诊断部分，建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够，因为你起点是0, 步长很小。只是直观建议。

雷达

老福 发表于 2023-2-14 19:23
/ B) e3 z$ y. e( o$ o* w没有用过pytorch，但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期？
# [) @3 o; n0 K( m, C-------
) r% Z. A) @: v) W! _. h不好意思， ...

+ h- }- b  K3 J; x3 T谢谢，算法应该没问题，就是最简单的线性回归。
, T: \& n" z7 S& N我特意没有用现成的工具，就是想从最基本的地方深入理解一下。

老福

2 q# m! C6 S2 X

雷达 发表于 2023-2-14 21:52
9 K+ m, v  |0 w谢谢，算法应该没问题，就是最简单的线性回归。
我特意没有用现成的工具，就是想从最基本的地方深入理解 ...

! q, B( [4 H' U( J" @; O
刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。
: g: _# A; v' Y! \
或者把b但的起点改为1试试。

雷达

( K- r; p6 j! A9 c/ W

老福 发表于 2023-2-14 22:00
0 E# _7 b* [% L" L刚才更新了一下，建议增加循环次数或调一下步长，查一下loss曲线。
+ D8 `( B5 T. o* [4 _9 J
5 Q; F/ v5 o1 k. M* Y9 }8 ]或者把b但的起点改为1试试。 ...

6 k, ~  V/ O% d4 l: {你是对的。
! l4 N! T  L. X8 }. N: i% M0 i去掉了随机部分
#y = (x*27+15+random.randint(-2,3)).reshape(-1)
0 [" V6 l3 {- ?) P6 Ey = (x*27+15).reshape(-1)
3 ?8 V' C7 p! ~7 L3 W; B% _! x4 c
循环次数加成10倍，就看到 b 收敛了
1 t5 `$ l) s9 C5 @. E4 B  s' uw , b
( C. x, K, Y. R3 R# }9 D27.002620697021484 14.826167106628418
2 k& P% G8 U$ O! S
/ a6 K" m) q2 s5 S: Z和 b 的起始位置无关，但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ，收敛就很慢。