设为首页收藏本站

爱吱声

 找回密码
 注册
搜索
查看: 3388|回复: 4
打印 上一主题 下一主题

[信息技术] 继续请教问题:关于 Pytorch 的 Autograd

[复制链接]
  • TA的每日心情

    2025-9-22 22:19
  • 签到天数: 1183 天

    [LV.10]大乘

    跳转到指定楼层
    楼主
     楼主| 发表于 2023-2-14 13:09:28 | 只看该作者 回帖奖励 |倒序浏览 |阅读模式
    本帖最后由 雷达 于 2023-2-14 13:12 编辑 - s& s0 E8 s5 a* f1 ]/ Q3 b

    8 v/ a7 D; v! ?7 r2 R0 I为预防老年痴呆,时不时学点新东东玩一玩。2 G7 X% V- V: r7 c3 C
    Pytorch 下面的代码做最简单的一元线性回归:
    % j; H; v# ~  _9 g* r* y----------------------------------------------
    6 a$ h- ?5 }1 P! U: qimport torch, D4 q6 }; N8 \* q& Z& Z7 O7 a
    import numpy as np+ t# e6 I, g6 z5 i- @4 j
    import matplotlib.pyplot as plt
    ! d# g' e- S: ~5 c; Gimport random$ G* r$ w2 X5 F. X! o
    . X9 ?. o% c! ]- V3 j6 s& r
    x = torch.tensor(np.arange(1,100,1))6 B! N( Q( H4 N0 \1 Y
    y = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15
    ( o# g1 {. u8 ~; p( M
    : B$ r3 ^% h0 R! y3 Q. H/ x- m, ow = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
    ) k$ l: X+ u% K2 K; e9 ?+ hb = torch.tensor(0.,requires_grad=True)1 @  R% D" T4 h. Y

    , @9 |9 C5 T  G* w# ]epochs = 100
    7 _$ B1 _, e% G0 N  `
    5 R% j9 K  e& xlosses = []  p. c4 h5 b& I6 ^3 d
    for i in range(epochs):
    9 ?; X) G6 i" ~) B+ [# |7 ?  y_pred = (x*w+b)    # 预测  k' w, Q- p& z, x
      y_pred.reshape(-1), F4 S4 t. v5 B0 O2 N
    3 k% J+ C: \, o
      loss = torch.square(y_pred - y).mean()   #计算 loss
    5 P5 Y& [7 ~/ |2 j* p3 U" N  losses.append(loss)
    5 L% W; c, i: F( a  
    4 \2 H/ l- O* {+ L0 o+ Z. \  loss.backward() # autograd3 u3 q2 I/ t5 Y+ O* t
      with torch.no_grad():
    2 }' M6 X- f. V; C, i, N2 M9 L    w  -= w.grad*0.0001   # 回归 w
      ?; C' {4 T# k7 C3 C  h8 Z    b  -= b.grad*0.0001    # 回归 b 8 [/ E  }. i3 @! ^
      w.grad.zero_()  
    ! @' n- V. S9 I  b.grad.zero_()
    - [2 O' m  k' M5 W) }( D( r: k( _3 r% g0 i
    print(w.item(),b.item()) #结果8 c2 O& L7 O, {6 s! g
    1 ~) s9 ~( V& T/ u/ B$ \7 H
    Output: 27.26387596130371  0.49745178222656256 t% y3 X* n5 p5 g) j' N
    ----------------------------------------------. k; m5 S( j9 ?/ e
    最后的结果,w可以回到 w0 = 27 附近,b却回不去 b0=15。两处红字,损失函数是矢量计算后的均值,感觉 b 的回归表达有问题。% c5 y" W& F8 z/ ]8 i
    高手们帮看看是神马原因?! a. ^$ n+ Q0 A- F0 C) f

    评分

    参与人数 1爱元 +10 收起 理由
    老票 + 10 不明觉厉

    查看全部评分

    该用户从未签到

    沙发
    发表于 2023-2-14 19:23:02 | 只看该作者
    本帖最后由 老福 于 2023-2-14 21:58 编辑 ) N  ?6 w: _+ l  B: o! c( K$ g

    7 ?- h: c  _( m% q* s1 Z没有用过pytorch,但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期?, m  |; \4 R# C& i8 B% l
    -------; Z* S1 a' v4 r( P2 m9 r$ N2 O
    不好意思,再看一遍,好像你在自算回归而不是用现成的工具直接出结果,上面的评论只有一点用,就是确认是不是算法有问题。
    ; f9 @/ P8 H) Y( @3 c6 P-------7 e! q5 A/ f2 |' Q" K# |; c8 o
    算法诊断部分,建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够,因为你起点是0, 步长很小。只是直观建议。

    评分

    参与人数 1爱元 +10 收起 理由
    雷达 + 10 谢谢建议

    查看全部评分

    回复 支持 反对

    使用道具 举报

  • TA的每日心情

    2025-9-22 22:19
  • 签到天数: 1183 天

    [LV.10]大乘

    板凳
     楼主| 发表于 2023-2-14 21:52:57 | 只看该作者
    老福 发表于 2023-2-14 19:23
    + O/ o2 R0 ~- ?) m8 n没有用过pytorch,但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期?8 W% W% m. u- d+ n* O0 X
    -------! Z) {) ~9 O# W* m7 m* o
    不好意思, ...

    0 c- f; [6 z0 m4 M. j谢谢,算法应该没问题,就是最简单的线性回归。* V6 P8 L/ p) m; g
    我特意没有用现成的工具,就是想从最基本的地方深入理解一下。
    回复 支持 反对

    使用道具 举报

    该用户从未签到

    地板
    发表于 2023-2-14 22:00:48 | 只看该作者
    本帖最后由 老福 于 2023-2-14 22:02 编辑
    9 W* u  z5 _# d) P) f5 r' l* @
    雷达 发表于 2023-2-14 21:522 q, S4 b3 ^- T/ R9 m5 f6 N# c1 x
    谢谢,算法应该没问题,就是最简单的线性回归。
    7 V/ T0 M4 Y/ D我特意没有用现成的工具,就是想从最基本的地方深入理解 ...
    9 ^& Z5 s% K2 l. j) j# ]+ F8 I

    $ ]; ?! D9 U1 c. a刚才更新了一下,建议增加循环次数或调一下步长,查一下loss曲线。6 A2 W* e% a  Q
    5 O4 b8 p# n8 ]$ A6 ]' o$ j+ t$ u
    或者把b但的起点改为1试试。
    回复 支持 反对

    使用道具 举报

  • TA的每日心情

    2025-9-22 22:19
  • 签到天数: 1183 天

    [LV.10]大乘

    5#
     楼主| 发表于 2023-2-15 00:25:26 | 只看该作者
    本帖最后由 雷达 于 2023-2-15 00:31 编辑
    0 O. d4 e" l. @; z0 }
    老福 发表于 2023-2-14 22:00! q( r  v, ~  e# a3 F! L
    刚才更新了一下,建议增加循环次数或调一下步长,查一下loss曲线。* k& t0 {4 D4 Y; N! j/ ?. B
    9 k! b8 o1 c: x8 R
    或者把b但的起点改为1试试。 ...

    ; t/ _- `. U9 G; |& P9 u" a1 c; J3 \/ q3 h4 _
    你是对的。5 E) {0 t5 Y4 s7 O* i" X: w" I& s
    去掉了随机部分
    ; X% T. m% f# v$ r) C+ ]& Q0 y#y = (x*27+15+random.randint(-2,3)).reshape(-1)
    + s8 f, o+ E& u  I+ Py = (x*27+15).reshape(-1)
    ! L; D6 w; s) s, g9 e; k/ G1 |5 m% D
    循环次数加成10倍,就看到 b 收敛了
    ' Q6 h+ P0 E  d! y6 sw , b
    ! m; y7 H+ a0 E1 b4 n* ]27.002620697021484 14.8261671066284186 m" Z0 ^" C4 D7 j8 k

    1 }" ^1 W6 L/ p. K" A& J% t% f9 g4 G和 b 的起始位置无关,但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ,收敛就很慢。
    回复 支持 反对

    使用道具 举报

    手机版|小黑屋|Archiver|网站错误报告|爱吱声   

    GMT+8, 2026-8-11 23:25 , Processed in 0.062143 second(s), 18 queries , Gzip On.

    Powered by Discuz! X3.2

    © 2001-2013 Comsenz Inc.

    快速回复 返回顶部 返回列表