设为首页收藏本站

爱吱声

 找回密码
 注册
搜索
查看: 2012|回复: 4
打印 上一主题 下一主题

[信息技术] 继续请教问题:关于 Pytorch 的 Autograd

[复制链接]
  • TA的每日心情

    2025-9-22 22:19
  • 签到天数: 1183 天

    [LV.10]大乘

    跳转到指定楼层
    楼主
     楼主| 发表于 2023-2-14 13:09:28 | 只看该作者 回帖奖励 |倒序浏览 |阅读模式
    本帖最后由 雷达 于 2023-2-14 13:12 编辑
    8 a. R& A1 Q) v+ w# A1 i+ X0 Q+ r
    + J* d- r2 ~/ s1 ^4 u为预防老年痴呆,时不时学点新东东玩一玩。
    # E/ B- b3 c8 F& X! A: h' jPytorch 下面的代码做最简单的一元线性回归:: X( x- e, M+ {3 b) i- \
    ----------------------------------------------; C4 I# U1 J: Q# ]" x/ j6 O7 `
    import torch
    ; b; X9 r. e, y6 w# t$ S# Mimport numpy as np
    6 N4 f% W6 `( G8 @: _import matplotlib.pyplot as plt
    6 L2 C: Q# V0 \9 z7 Dimport random
      h9 L/ k7 ?7 S8 _+ Q- X
    / }5 `/ [) {. y# n7 Mx = torch.tensor(np.arange(1,100,1))
    $ [. i! w) C# A# n) {! |y = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15
    ) \6 J, q4 V0 p5 V, q# s& H- j, m4 t- Q' T, t4 J; t' v0 }. F
    w = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b. ~4 n! z' Q3 |: d  N' P4 K" X
    b = torch.tensor(0.,requires_grad=True)
    1 j: J# z6 s' A2 T, L' [
    " \; c& V' H" `. B) @8 Sepochs = 100) ~; z8 A2 W" E. D' r
    ; T: H+ H* p5 G
    losses = []" d: b  q2 D, B0 `
    for i in range(epochs):, d9 @& J5 Q6 w- Q
      y_pred = (x*w+b)    # 预测2 M2 U3 j+ F% @$ j
      y_pred.reshape(-1)
    4 S# p) f0 E6 V+ r( C0 J1 L 8 @/ w: a# Q. b/ e
      loss = torch.square(y_pred - y).mean()   #计算 loss; X3 g" V9 P# ]2 ]5 _# M2 C
      losses.append(loss)& \) Z2 t6 D% y5 a# U
      4 Z& F- Q3 @5 `
      loss.backward() # autograd: Y: z6 {1 Z$ ^1 b' R
      with torch.no_grad():/ [5 L- M" F8 |3 r
        w  -= w.grad*0.0001   # 回归 w! T8 t7 q/ N) k+ E+ p! I
        b  -= b.grad*0.0001    # 回归 b   W- W, d$ c4 u: W6 ]. x
      w.grad.zero_()    ~4 V( @) k' o8 Z0 l3 z: G1 P
      b.grad.zero_()
    - A0 m8 x0 a+ v% h6 n8 z# O# Z+ l2 ?8 {$ l
    print(w.item(),b.item()) #结果
    0 X* g! ^+ ?9 k) {$ n' k
    ( Y' V% @: B' O# B+ `Output: 27.26387596130371  0.4974517822265625/ ?' D9 v- \' g7 m. n7 s
    ----------------------------------------------! z9 z7 Q: T+ c( d* G
    最后的结果,w可以回到 w0 = 27 附近,b却回不去 b0=15。两处红字,损失函数是矢量计算后的均值,感觉 b 的回归表达有问题。
    / C( e4 n) u/ L+ O/ K4 h  {, u" U  g1 y高手们帮看看是神马原因?1 y: A( y# [5 f) P# V: [

    评分

    参与人数 1爱元 +10 收起 理由
    老票 + 10 不明觉厉

    查看全部评分

    该用户从未签到

    沙发
    发表于 2023-2-14 19:23:02 | 只看该作者
    本帖最后由 老福 于 2023-2-14 21:58 编辑 $ O/ A" N4 m+ R/ K

    2 V& h4 v3 B3 s" ?0 G5 o没有用过pytorch,但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期?- Y! H1 d1 v) M
    -------
    - E4 i7 h8 \8 V, C不好意思,再看一遍,好像你在自算回归而不是用现成的工具直接出结果,上面的评论只有一点用,就是确认是不是算法有问题。" `- [2 S7 k  A, g( E4 e  w
    -------: j3 A0 K$ z2 N3 l( y
    算法诊断部分,建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够,因为你起点是0, 步长很小。只是直观建议。

    评分

    参与人数 1爱元 +10 收起 理由
    雷达 + 10 谢谢建议

    查看全部评分

    回复 支持 反对

    使用道具 举报

  • TA的每日心情

    2025-9-22 22:19
  • 签到天数: 1183 天

    [LV.10]大乘

    板凳
     楼主| 发表于 2023-2-14 21:52:57 | 只看该作者
    老福 发表于 2023-2-14 19:23
    2 C  n0 M$ k( `( e% S  e+ r没有用过pytorch,但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期?
    - N/ Y' o4 ]- s  ]5 V# k-------# g/ O7 N0 r9 }9 m0 L) z
    不好意思, ...

    ; B! }6 }  I' p# W$ z谢谢,算法应该没问题,就是最简单的线性回归。
    . ]/ ?- ?8 a5 _" I我特意没有用现成的工具,就是想从最基本的地方深入理解一下。
    回复 支持 反对

    使用道具 举报

    该用户从未签到

    地板
    发表于 2023-2-14 22:00:48 | 只看该作者
    本帖最后由 老福 于 2023-2-14 22:02 编辑 / O9 z: m  e* k# j0 w( u  h
    雷达 发表于 2023-2-14 21:52
    & e/ O( A) y5 z3 Y; j谢谢,算法应该没问题,就是最简单的线性回归。4 t- s) r0 Q& z
    我特意没有用现成的工具,就是想从最基本的地方深入理解 ...
    5 c/ W7 [, ]$ g5 o1 f& ^" N4 j
    ) X; i# `- F  e. Y  D; I8 C
    刚才更新了一下,建议增加循环次数或调一下步长,查一下loss曲线。
    9 w3 d  F2 z; o( N( [+ n' d* H' y
    或者把b但的起点改为1试试。
    回复 支持 反对

    使用道具 举报

  • TA的每日心情

    2025-9-22 22:19
  • 签到天数: 1183 天

    [LV.10]大乘

    5#
     楼主| 发表于 2023-2-15 00:25:26 | 只看该作者
    本帖最后由 雷达 于 2023-2-15 00:31 编辑 ; z3 K% G$ |1 u! s+ o
    老福 发表于 2023-2-14 22:00- m- ^0 d. ]  U1 b5 g6 L! V
    刚才更新了一下,建议增加循环次数或调一下步长,查一下loss曲线。2 \6 e6 A+ b$ J4 F1 d1 l
    # j9 {2 k1 `, J) |* X
    或者把b但的起点改为1试试。 ...
    # t/ L- Q* A$ j

    1 A( u+ S! d/ P你是对的。# D4 |7 N0 k3 S! z3 d
    去掉了随机部分
    ; Y1 N. j& }2 U) a#y = (x*27+15+random.randint(-2,3)).reshape(-1)* l$ _  p* k& Q8 ^/ K" g3 z
    y = (x*27+15).reshape(-1)
    4 \0 |- k1 H2 C6 ~1 @+ M
    . j, o& u; W! T" ?3 t9 ~: b循环次数加成10倍,就看到 b 收敛了: l& O. V, \, U& r' p& |; X
    w , b* G! N" l- w$ ~, e3 Y
    27.002620697021484 14.8261671066284186 Q+ B" c# l% R+ _9 r
    ( i0 o. Q5 O. e, i- V
    和 b 的起始位置无关,但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ,收敛就很慢。
    回复 支持 反对

    使用道具 举报

    手机版|小黑屋|Archiver|网站错误报告|爱吱声   

    GMT+8, 2025-10-13 06:37 , Processed in 0.034419 second(s), 22 queries , Gzip On.

    Powered by Discuz! X3.2

    © 2001-2013 Comsenz Inc.

    快速回复 返回顶部 返回列表