设为首页收藏本站

爱吱声

 找回密码
 注册
搜索
查看: 2577|回复: 4
打印 上一主题 下一主题

[信息技术] 继续请教问题:关于 Pytorch 的 Autograd

[复制链接]
  • TA的每日心情

    2025-9-22 22:19
  • 签到天数: 1183 天

    [LV.10]大乘

    跳转到指定楼层
    楼主
     楼主| 发表于 2023-2-14 13:09:28 | 只看该作者 回帖奖励 |倒序浏览 |阅读模式
    本帖最后由 雷达 于 2023-2-14 13:12 编辑 . h8 z! V! Z! N2 Q% u: I

    : c( [' z2 N3 e' h3 y. J为预防老年痴呆,时不时学点新东东玩一玩。- ?4 a- n, b( `5 r6 X' Z( f
    Pytorch 下面的代码做最简单的一元线性回归:" z' P) m+ ]( L1 P' A+ W# S2 j
    ----------------------------------------------
    9 v( o) r2 i6 n! G; b2 fimport torch
    6 D8 `6 Z9 O: g( t& }! o$ cimport numpy as np- w) l' ]3 n2 I8 e; V
    import matplotlib.pyplot as plt
      h" B  \$ b. ?" P1 _* kimport random' N2 R& g2 R" I3 m6 ^% d
    ( C. w$ G" k& N/ h0 x( a; S0 O* k
    x = torch.tensor(np.arange(1,100,1)): h: N* i. Q; D2 X, w% _
    y = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15
    " L+ w: ?% l9 p- |4 Y) O# ]
    ' y9 L6 O) R8 w" E" C; a- lw = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b7 F* b2 m( t( v, Z9 P% B
    b = torch.tensor(0.,requires_grad=True)6 S. W- K  q' Y6 i7 C; x
    3 R0 \! W2 U# h3 H
    epochs = 100$ a: r3 l& K/ H0 [6 }8 @/ [2 k; k
    % @6 S& _8 i% N" Z
    losses = []% u! ?9 `" K: U' X
    for i in range(epochs):6 X3 Q- @2 y5 b  M8 O. G/ p
      y_pred = (x*w+b)    # 预测
    ! `9 Z  [# o/ j3 r# H  y_pred.reshape(-1)& @) `- a1 k' P* m/ L) O

    " e, c* [0 v4 i3 |  loss = torch.square(y_pred - y).mean()   #计算 loss
    : t2 w+ A! S& }; ?* `$ G  losses.append(loss)* u9 G7 u$ F0 s- t% s# [
      - v8 n$ |& }1 q* j8 `1 C
      loss.backward() # autograd
    4 {& @7 l) Z9 E8 Q: r! e6 m& s  with torch.no_grad():
    . p- t( Q' V# ^* ]5 c8 q/ q3 ]    w  -= w.grad*0.0001   # 回归 w
    $ s, [( d+ u5 d    b  -= b.grad*0.0001    # 回归 b
    1 f$ Q( u8 {, m2 j9 j  w.grad.zero_()  
    0 b2 x. o3 b& y. N. Y  b.grad.zero_()
    / g) H& x8 ^4 f2 q# r$ B8 _) B: {9 h5 c& ?  N
    print(w.item(),b.item()) #结果  y9 u- d8 ^+ t% M) {" M
    , M8 l( `9 E4 K/ ?/ @0 ]
    Output: 27.26387596130371  0.4974517822265625
    4 x) F: h- `* \4 H  t1 Y9 _----------------------------------------------
    ) A8 @% T  X  P) ~" o2 x最后的结果,w可以回到 w0 = 27 附近,b却回不去 b0=15。两处红字,损失函数是矢量计算后的均值,感觉 b 的回归表达有问题。
    1 Q. C  ~4 V* b7 S/ d( j# O高手们帮看看是神马原因?- q. S; s' m9 K3 z" H0 H

    评分

    参与人数 1爱元 +10 收起 理由
    老票 + 10 不明觉厉

    查看全部评分

    该用户从未签到

    沙发
    发表于 2023-2-14 19:23:02 | 只看该作者
    本帖最后由 老福 于 2023-2-14 21:58 编辑 $ Y1 w# U2 o- u% W& R9 Q
    " B* Y: E+ W6 d
    没有用过pytorch,但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期?& C- K8 k/ J# l1 z0 K( M8 t$ @
    -------
    ; h+ }7 Z$ ?% F/ g7 H, V4 V7 ]; w不好意思,再看一遍,好像你在自算回归而不是用现成的工具直接出结果,上面的评论只有一点用,就是确认是不是算法有问题。
    % Q  \6 L$ `! H# Z1 k; C. T-------
    $ l% |# ]  K2 h+ v; L0 z算法诊断部分,建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够,因为你起点是0, 步长很小。只是直观建议。

    评分

    参与人数 1爱元 +10 收起 理由
    雷达 + 10 谢谢建议

    查看全部评分

    回复 支持 反对

    使用道具 举报

  • TA的每日心情

    2025-9-22 22:19
  • 签到天数: 1183 天

    [LV.10]大乘

    板凳
     楼主| 发表于 2023-2-14 21:52:57 | 只看该作者
    老福 发表于 2023-2-14 19:23
    $ r3 r0 m0 _' P/ N( ?" C没有用过pytorch,但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期?
    : a: X1 n/ X$ r) I-------' F2 Y! d5 b: [5 x, ?
    不好意思, ...
    * q6 x/ L. G, i( p4 L- S
    谢谢,算法应该没问题,就是最简单的线性回归。) ^; y" O. c/ S
    我特意没有用现成的工具,就是想从最基本的地方深入理解一下。
    回复 支持 反对

    使用道具 举报

    该用户从未签到

    地板
    发表于 2023-2-14 22:00:48 | 只看该作者
    本帖最后由 老福 于 2023-2-14 22:02 编辑 # K3 Q" @( j# T/ t: {( m
    雷达 发表于 2023-2-14 21:52+ c- I! m, B9 |
    谢谢,算法应该没问题,就是最简单的线性回归。
    . u) J1 `+ z' R& W我特意没有用现成的工具,就是想从最基本的地方深入理解 ...

    : k) c% P/ C! ?6 E. L; I0 P- m+ y% b
    刚才更新了一下,建议增加循环次数或调一下步长,查一下loss曲线。
    ! `0 k0 A! U& F
    7 y1 t. b& S/ m# e或者把b但的起点改为1试试。
    回复 支持 反对

    使用道具 举报

  • TA的每日心情

    2025-9-22 22:19
  • 签到天数: 1183 天

    [LV.10]大乘

    5#
     楼主| 发表于 2023-2-15 00:25:26 | 只看该作者
    本帖最后由 雷达 于 2023-2-15 00:31 编辑
    9 W. V  ]% k: N, V1 Q2 ?
    老福 发表于 2023-2-14 22:00
    ) E# M. g! x- [: v9 _5 ], F刚才更新了一下,建议增加循环次数或调一下步长,查一下loss曲线。) e; {- O2 a: `$ e  E3 C# }9 I
    . h0 I$ ^% y3 `
    或者把b但的起点改为1试试。 ...
    - O5 A- N: j: x* t

    2 b4 d8 }. D. a7 y7 p你是对的。' A+ N# O+ A; V5 a# d) v- i
    去掉了随机部分: a$ W1 J1 P, }2 r' z
    #y = (x*27+15+random.randint(-2,3)).reshape(-1)
    3 n" Q2 l$ a( ?( D, p1 jy = (x*27+15).reshape(-1)$ Y1 ^+ `8 \! Y7 e3 H
    0 X- V$ t6 o, ~, M: K3 m2 J& r
    循环次数加成10倍,就看到 b 收敛了. c! p& k6 o3 b
    w , b
    ' Y0 T* `8 g0 _: w2 }27.002620697021484 14.826167106628418" s* m% J6 b; h9 M

    4 G1 X, M$ T+ F9 t" d: Z4 a1 q和 b 的起始位置无关,但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ,收敛就很慢。
    回复 支持 反对

    使用道具 举报

    手机版|小黑屋|Archiver|网站错误报告|爱吱声   

    GMT+8, 2026-3-11 05:15 , Processed in 0.054502 second(s), 18 queries , Gzip On.

    Powered by Discuz! X3.2

    © 2001-2013 Comsenz Inc.

    快速回复 返回顶部 返回列表