设为首页收藏本站

爱吱声

 找回密码
 注册
搜索
查看: 2725|回复: 4
打印 上一主题 下一主题

[信息技术] 继续请教问题:关于 Pytorch 的 Autograd

[复制链接]
  • TA的每日心情

    2025-9-22 22:19
  • 签到天数: 1183 天

    [LV.10]大乘

    跳转到指定楼层
    楼主
     楼主| 发表于 2023-2-14 13:09:28 | 只看该作者 回帖奖励 |倒序浏览 |阅读模式
    本帖最后由 雷达 于 2023-2-14 13:12 编辑
    $ `& z( ^; Z1 F  j3 e7 |3 T; Q* I* t4 Y; r
    ; F- n% y3 E: a% w! h) N为预防老年痴呆,时不时学点新东东玩一玩。
    ' y( }$ D0 F8 b" dPytorch 下面的代码做最简单的一元线性回归:
    , N6 K: E# {! w% w+ i----------------------------------------------
    , f, k  l1 e, F) w6 Y5 n* ]# h0 k8 O" ^import torch
    9 |; U/ d/ v# x& p& n3 Aimport numpy as np
    2 \, u6 b6 L" B4 t4 fimport matplotlib.pyplot as plt
    9 d# v/ t6 S4 q. U1 y' _import random3 K; J/ t; i( D2 h  a# y4 `. v/ i
    . i5 T! C* t4 X
    x = torch.tensor(np.arange(1,100,1))
    # M+ ~+ p* x7 ]$ ~. Q5 e( m" {, @" i5 O: oy = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15
    6 U2 u* J1 f& M2 ?% k% u; Y% X  s# m( r) ]( K- n0 H% K! \
    w = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
    $ G+ f) l8 T/ {2 v, y" X+ ^b = torch.tensor(0.,requires_grad=True)
    4 f  o4 ?0 t4 V, K6 ^( C# {# U6 t6 F  r8 a
    epochs = 100. X' r% O0 p5 G9 M

    7 X+ N1 E% F9 v' `' Tlosses = []
    % H  P% J6 T5 E# U2 Gfor i in range(epochs):) I7 l7 [5 u' ]
      y_pred = (x*w+b)    # 预测
    1 `4 r4 I6 {% B7 ], ]: D* [  y_pred.reshape(-1); C  h5 i" X" q7 j' s% L
    * I' [( o2 t  u: k  u+ M
      loss = torch.square(y_pred - y).mean()   #计算 loss
    " Y" u) P2 T' @+ A  losses.append(loss)! d8 m" T7 e" F/ U* {# U  E
      4 R3 v3 y2 m8 L$ N, i
      loss.backward() # autograd4 h4 F6 G& m. h9 u0 N7 V$ R
      with torch.no_grad():
    ; ]( w- H/ W# G" k- I9 {3 _; X, {    w  -= w.grad*0.0001   # 回归 w
    4 P) S$ u* F4 |3 V    b  -= b.grad*0.0001    # 回归 b
    5 E8 s, R& `/ k1 o4 `2 j0 F  w.grad.zero_()  " q7 N0 r9 @9 H$ ~, O
      b.grad.zero_(), y8 Z) }& j- Q  p# a2 v. O) B

    # s  L1 \% \+ u! C; Q* b2 m. Eprint(w.item(),b.item()) #结果2 r5 O- p, {+ G' L3 U

      S" T3 a& Q0 Q: f8 {0 WOutput: 27.26387596130371  0.4974517822265625
    + _; K4 f* m: q/ G----------------------------------------------
    ; N, d9 m% |5 k& q: |, d最后的结果,w可以回到 w0 = 27 附近,b却回不去 b0=15。两处红字,损失函数是矢量计算后的均值,感觉 b 的回归表达有问题。8 Z. b) {( F' B
    高手们帮看看是神马原因?
    ' X' i- ~+ ^8 x; }

    评分

    参与人数 1爱元 +10 收起 理由
    老票 + 10 不明觉厉

    查看全部评分

    该用户从未签到

    沙发
    发表于 2023-2-14 19:23:02 | 只看该作者
    本帖最后由 老福 于 2023-2-14 21:58 编辑 ( \: ~$ ^4 M6 Y" z0 ?5 T

    ' k  t9 _, Q( e$ E没有用过pytorch,但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期?) d1 y1 Q) ~5 D' s; u
    -------8 [% w  o3 [, B( A- B, X* R: k( W( B$ ?
    不好意思,再看一遍,好像你在自算回归而不是用现成的工具直接出结果,上面的评论只有一点用,就是确认是不是算法有问题。' t. S- U* E3 ?, L0 I* B8 ]
    -------
    : m1 g% I. b) p) w2 O+ I* W算法诊断部分,建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够,因为你起点是0, 步长很小。只是直观建议。

    评分

    参与人数 1爱元 +10 收起 理由
    雷达 + 10 谢谢建议

    查看全部评分

    回复 支持 反对

    使用道具 举报

  • TA的每日心情

    2025-9-22 22:19
  • 签到天数: 1183 天

    [LV.10]大乘

    板凳
     楼主| 发表于 2023-2-14 21:52:57 | 只看该作者
    老福 发表于 2023-2-14 19:239 C& V9 d) X1 w6 F
    没有用过pytorch,但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期?
    ) u( I4 g, Z1 t) n; d-------0 ?, D# n; o* y+ T
    不好意思, ...
    + I- T0 d" I; G. s1 Z
    谢谢,算法应该没问题,就是最简单的线性回归。
    4 q: W$ P) P* j) y8 s4 G+ J2 n我特意没有用现成的工具,就是想从最基本的地方深入理解一下。
    回复 支持 反对

    使用道具 举报

    该用户从未签到

    地板
    发表于 2023-2-14 22:00:48 | 只看该作者
    本帖最后由 老福 于 2023-2-14 22:02 编辑
    ; n9 n" l( A- Q, Z; {" A/ C
    雷达 发表于 2023-2-14 21:52
    0 ^0 |+ `: y/ W) o1 q* g/ J, `' L谢谢,算法应该没问题,就是最简单的线性回归。
    - O# v. A/ ?7 [* _/ x3 |0 a我特意没有用现成的工具,就是想从最基本的地方深入理解 ...

    * H  i" g6 ^. B$ e: g' _
    ! E1 t% y4 Q% e刚才更新了一下,建议增加循环次数或调一下步长,查一下loss曲线。
    , f$ h) T# m$ G- v  ?( M6 s# k2 g' g+ }, \5 e8 `
    或者把b但的起点改为1试试。
    回复 支持 反对

    使用道具 举报

  • TA的每日心情

    2025-9-22 22:19
  • 签到天数: 1183 天

    [LV.10]大乘

    5#
     楼主| 发表于 2023-2-15 00:25:26 | 只看该作者
    本帖最后由 雷达 于 2023-2-15 00:31 编辑 - H8 }( o+ R$ F9 o! T4 [( n# }
    老福 发表于 2023-2-14 22:00
    : [0 j0 a: o* f, M0 i  ?刚才更新了一下,建议增加循环次数或调一下步长,查一下loss曲线。. I1 |  D6 @- X( ]& {  T

    / w+ ^+ t( M0 [8 {或者把b但的起点改为1试试。 ...
    , U" @9 @" Y0 ]" k6 k. K1 N' I, m
    - g6 B2 ^+ a4 \) J8 h: Q6 ?
    你是对的。# U* T6 Y" y8 c4 G1 G
    去掉了随机部分. K2 O  j8 r& o: l
    #y = (x*27+15+random.randint(-2,3)).reshape(-1)7 [) g+ d% @% `6 q) p9 Q
    y = (x*27+15).reshape(-1)/ l7 V' Q2 ^  i5 ?: x8 v* U- q- n
    4 I: r+ r$ K9 ^# X- g
    循环次数加成10倍,就看到 b 收敛了
    * s! e$ z1 a. \w , b
    3 |1 [/ J4 \% e27.002620697021484 14.8261671066284184 }, ]9 U- W2 x- [2 n7 n
    : x  F( A/ J/ y; ^$ B8 o
    和 b 的起始位置无关,但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ,收敛就很慢。
    回复 支持 反对

    使用道具 举报

    手机版|小黑屋|Archiver|网站错误报告|爱吱声   

    GMT+8, 2026-4-9 15:48 , Processed in 0.055700 second(s), 18 queries , Gzip On.

    Powered by Discuz! X3.2

    © 2001-2013 Comsenz Inc.

    快速回复 返回顶部 返回列表