设为首页收藏本站

爱吱声

 找回密码
 注册
搜索
查看: 1690|回复: 4
打印 上一主题 下一主题

[信息技术] 继续请教问题:关于 Pytorch 的 Autograd

[复制链接]
  • TA的每日心情
    擦汗
    2024-12-25 23:22
  • 签到天数: 1182 天

    [LV.10]大乘

    跳转到指定楼层
    楼主
     楼主| 发表于 2023-2-14 13:09:28 | 只看该作者 回帖奖励 |倒序浏览 |阅读模式
    本帖最后由 雷达 于 2023-2-14 13:12 编辑
    , B/ o1 r9 B( [; J% D
    ' b! @4 w: t4 J- X& e+ G: D为预防老年痴呆,时不时学点新东东玩一玩。3 f. C4 [. H: ]. \3 Z
    Pytorch 下面的代码做最简单的一元线性回归:/ |: P) X! c' h2 `) Q& c
    ----------------------------------------------
    # B/ h( V/ w, q- o( f) V; L4 Fimport torch
    ; V% x6 g- X4 G$ r, f$ C5 jimport numpy as np) `: M5 S& p& H/ _7 H( v6 E1 J
    import matplotlib.pyplot as plt
    6 B8 d, C5 J/ C& c9 x1 o. uimport random) J7 W# a  a% c" L  ~

    / Y# C# v$ J7 h$ j; ~; s; Cx = torch.tensor(np.arange(1,100,1))& g0 [+ [9 }8 S
    y = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15
    ; c4 S% g  k# P( u6 g2 Z8 p8 A, }& Z/ V7 G+ b
    w = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b: I; f* k4 N, u4 m5 ?
    b = torch.tensor(0.,requires_grad=True)' z: `# p" _$ \2 x" x: F) l

    " l4 o% ]* v3 C5 u3 G9 Q4 Zepochs = 100
    . \. E$ p( r. S+ @$ t* a6 x- R. ]3 j6 Q& B" V' x: Z- C9 d
    losses = []# f, Q* G0 }. `7 x6 h
    for i in range(epochs):: j/ m, [7 c5 c8 |' |' w
      y_pred = (x*w+b)    # 预测
    . Y8 g7 ?/ e6 P! e% G. t" k  y_pred.reshape(-1)  L" y5 V7 W% [# Q% ?6 O5 o
    % a6 k3 v3 z& ^, \* S* W
      loss = torch.square(y_pred - y).mean()   #计算 loss
    ( a% }3 e6 H( _4 {, e% W* s  losses.append(loss)4 g3 E9 o* D. ~, G% T6 Y
      0 x; F& k7 F" \+ i4 u' [$ d# R
      loss.backward() # autograd( O, G/ x& Y* [: S/ Q& p
      with torch.no_grad():2 |+ T+ S9 k, f$ M1 j% o
        w  -= w.grad*0.0001   # 回归 w
    , v* S2 y7 X% \& W4 j  y    b  -= b.grad*0.0001    # 回归 b 5 C, w6 j0 r( t. M" v2 n
      w.grad.zero_()    P  v" W( A1 K4 F& Y9 W' S
      b.grad.zero_(), N" u2 A, p' l0 V! c/ P
    / u: i6 u) G- k8 N
    print(w.item(),b.item()) #结果
    % m$ ~( f: R1 O( O4 t, b3 n% W
    0 ~8 D. y% }+ q4 p/ N0 ?$ hOutput: 27.26387596130371  0.4974517822265625/ F" z$ v2 |0 @* I5 q, C
    ----------------------------------------------4 m' |. t) @7 X8 ]5 H$ c! g
    最后的结果,w可以回到 w0 = 27 附近,b却回不去 b0=15。两处红字,损失函数是矢量计算后的均值,感觉 b 的回归表达有问题。
    + J8 D) {1 h0 l1 m3 |+ L( l$ @高手们帮看看是神马原因?
    * ~' P9 ~* W+ Z$ W# r7 ?! H

    评分

    参与人数 1爱元 +10 收起 理由
    老票 + 10 不明觉厉

    查看全部评分

    该用户从未签到

    沙发
    发表于 2023-2-14 19:23:02 | 只看该作者
    本帖最后由 老福 于 2023-2-14 21:58 编辑
    8 V/ ?+ D9 C+ d- X5 [) x
    + O% o  L$ v& P没有用过pytorch,但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期?
    $ }9 Q% U% F7 A5 I  M' k9 y  S7 i-------
    ) {/ [7 Q+ e5 |+ D不好意思,再看一遍,好像你在自算回归而不是用现成的工具直接出结果,上面的评论只有一点用,就是确认是不是算法有问题。
    ; e# Z  p$ E. S! Z' p) t. L-------
    - T/ U2 G7 C! }# ~6 e/ y- {1 r8 |7 ?- S) S2 P算法诊断部分,建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够,因为你起点是0, 步长很小。只是直观建议。

    评分

    参与人数 1爱元 +10 收起 理由
    雷达 + 10 谢谢建议

    查看全部评分

    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    擦汗
    2024-12-25 23:22
  • 签到天数: 1182 天

    [LV.10]大乘

    板凳
     楼主| 发表于 2023-2-14 21:52:57 | 只看该作者
    老福 发表于 2023-2-14 19:23
    + y. L& Q0 j7 x) _( ~! ]& C没有用过pytorch,但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期?
    4 Z3 C$ a& e# W6 C" U" f-------3 Z. d" o8 x$ M3 I% Z" k+ }9 [
    不好意思, ...
    2 K4 b; d- P5 _' T9 U
    谢谢,算法应该没问题,就是最简单的线性回归。; d/ g* s( I* R8 @1 ^
    我特意没有用现成的工具,就是想从最基本的地方深入理解一下。
    回复 支持 反对

    使用道具 举报

    该用户从未签到

    地板
    发表于 2023-2-14 22:00:48 | 只看该作者
    本帖最后由 老福 于 2023-2-14 22:02 编辑 4 n/ n* x, M5 d8 w. b' a% R% t+ ]
    雷达 发表于 2023-2-14 21:52
    1 J& e8 P4 `: \; j% \4 j谢谢,算法应该没问题,就是最简单的线性回归。/ o! W6 w- y1 M% N
    我特意没有用现成的工具,就是想从最基本的地方深入理解 ...

    : K6 H1 ]8 F3 i3 @- V
    7 @8 ]( b, R, ]8 C刚才更新了一下,建议增加循环次数或调一下步长,查一下loss曲线。/ Y6 V; O9 T6 \9 G
    / {  A: {5 g) [
    或者把b但的起点改为1试试。
    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    擦汗
    2024-12-25 23:22
  • 签到天数: 1182 天

    [LV.10]大乘

    5#
     楼主| 发表于 2023-2-15 00:25:26 | 只看该作者
    本帖最后由 雷达 于 2023-2-15 00:31 编辑
    . A% Q0 G, R, a$ P2 |5 W( K4 i
    老福 发表于 2023-2-14 22:00
    " ^. B: u7 _7 o刚才更新了一下,建议增加循环次数或调一下步长,查一下loss曲线。
    ) h$ b. T4 q' l5 h. O6 l! K( q
    ( t4 V" Z( p& G+ p" M5 P8 `$ Q8 F或者把b但的起点改为1试试。 ...

    5 r3 J/ @- i; W) G3 [8 t2 ]4 p* @. i  e4 v5 Y+ M5 ^
    你是对的。
    ( d8 @  v" c7 a- f去掉了随机部分
    : s7 J# f, y6 ?! V1 I#y = (x*27+15+random.randint(-2,3)).reshape(-1)
    4 G4 ~' }* A+ X$ J( p! ^9 C# K$ ly = (x*27+15).reshape(-1)
    7 Q5 x+ k" a  ~" @% E
    3 u# E6 _8 f" C8 b5 }循环次数加成10倍,就看到 b 收敛了
    6 f- Z1 f% t0 s: Kw , b
    ( }4 _# |6 k) W# [27.002620697021484 14.826167106628418
    / ]  |% ?8 t0 I0 O; S+ @; D  Y3 Q/ d% J& |0 x0 K
    和 b 的起始位置无关,但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ,收敛就很慢。
    回复 支持 反对

    使用道具 举报

    手机版|小黑屋|Archiver|网站错误报告|爱吱声   

    GMT+8, 2025-6-15 16:08 , Processed in 0.041903 second(s), 21 queries , Gzip On.

    Powered by Discuz! X3.2

    © 2001-2013 Comsenz Inc.

    快速回复 返回顶部 返回列表