设为首页收藏本站

爱吱声

 找回密码
 注册
搜索
查看: 1825|回复: 4
打印 上一主题 下一主题

[信息技术] 继续请教问题:关于 Pytorch 的 Autograd

[复制链接]
  • TA的每日心情
    擦汗
    2024-12-25 23:22
  • 签到天数: 1182 天

    [LV.10]大乘

    跳转到指定楼层
    楼主
     楼主| 发表于 2023-2-14 13:09:28 | 只看该作者 回帖奖励 |倒序浏览 |阅读模式
    本帖最后由 雷达 于 2023-2-14 13:12 编辑
    / e, w, N! S5 c3 A+ T
    + j% a5 j. }: l+ ?# @为预防老年痴呆,时不时学点新东东玩一玩。" U" r! z" W# \
    Pytorch 下面的代码做最简单的一元线性回归:
    3 S# _! M6 A; z7 b8 {+ U, t. C# g----------------------------------------------, H! i0 t; Z* C( a( C
    import torch4 o3 N4 T2 ^0 M, K7 O% p( T* x; Q" o
    import numpy as np
    & X' E$ v; L# B. wimport matplotlib.pyplot as plt
    " W' v9 X) }1 ?8 d; {% Ximport random
    0 p: G! ^  K3 U* f5 Y$ E& o# M! v9 F+ r  b1 K( D6 L7 S
    x = torch.tensor(np.arange(1,100,1))
    ) k" \7 ]! X& s5 \( T3 \2 ?y = (x*27+15+random.randint(-2,3)).reshape(-1)  # y=wx+b, 真实的w0 =27, b0=15' B' S; _4 ~& @5 Y, v

    9 ^* O1 j+ B8 N. c9 u% tw = torch.tensor(0.,requires_grad=True)  #设置随机初始 w,b
    ( d+ }' z+ c! V( \b = torch.tensor(0.,requires_grad=True)  n' r, F0 x" B/ C( J6 Q; W, }8 V
    & `, Q7 C! ?( m* Z4 ^3 H
    epochs = 100* X! x5 F# Z' x, _- \" f
    1 t3 M) ~2 {% f; e# E- o/ ~
    losses = []
    & u, \3 y5 T4 Y. ^- o. _! Wfor i in range(epochs):
    . `4 u: H% J/ `# L, e/ k  ?  y_pred = (x*w+b)    # 预测# R$ j, M+ G+ L7 E
      y_pred.reshape(-1)* U' a6 J, n! x# B  u7 {
    % h( @: O2 b0 X7 H
      loss = torch.square(y_pred - y).mean()   #计算 loss. V8 u8 ~+ V$ w
      losses.append(loss)! g# t! @! P+ _" _
      $ o$ V1 S4 i+ U& K+ ~5 B7 `
      loss.backward() # autograd
    8 q/ |6 R2 z: y& v  with torch.no_grad():
    3 L0 }/ \  x* E' y    w  -= w.grad*0.0001   # 回归 w/ V/ X, V& F' ~3 Y( @
        b  -= b.grad*0.0001    # 回归 b ; B/ R2 U+ v9 X, |' M2 F' w# O
      w.grad.zero_()  
    5 ^. Z& W* T/ C+ B  b.grad.zero_()/ C8 E" Z  y* i7 D3 x
    : t' ^: ~. x  u! g
    print(w.item(),b.item()) #结果- z: l1 e. n  T( h

    7 z8 ^1 c; Y% |5 Y0 R, l# AOutput: 27.26387596130371  0.4974517822265625- O' `/ i7 ~) @+ I. Q4 g9 Y% p' o
    ----------------------------------------------
    , _% M; U6 A. F4 C2 [0 f% k/ R: J最后的结果,w可以回到 w0 = 27 附近,b却回不去 b0=15。两处红字,损失函数是矢量计算后的均值,感觉 b 的回归表达有问题。
    5 i% q8 G0 M2 u高手们帮看看是神马原因?
    , k, [0 x4 d+ D

    评分

    参与人数 1爱元 +10 收起 理由
    老票 + 10 不明觉厉

    查看全部评分

    该用户从未签到

    沙发
    发表于 2023-2-14 19:23:02 | 只看该作者
    本帖最后由 老福 于 2023-2-14 21:58 编辑 8 m, p# E- i* k: l2 G4 r

    3 }  u$ u; d9 W" Z没有用过pytorch,但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期?4 ]% b( C  Y( f7 a  m
    -------. y9 E8 \8 d6 j( ?2 k
    不好意思,再看一遍,好像你在自算回归而不是用现成的工具直接出结果,上面的评论只有一点用,就是确认是不是算法有问题。
    4 I9 g& g* x$ p1 W2 j-------
    : v! a6 U/ j8 u8 d* }7 ?% L9 r算法诊断部分,建议把循环次数改为1000, 再看看loss是不是收敛。有点怀疑你循环次数不够,因为你起点是0, 步长很小。只是直观建议。

    评分

    参与人数 1爱元 +10 收起 理由
    雷达 + 10 谢谢建议

    查看全部评分

    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    擦汗
    2024-12-25 23:22
  • 签到天数: 1182 天

    [LV.10]大乘

    板凳
     楼主| 发表于 2023-2-14 21:52:57 | 只看该作者
    老福 发表于 2023-2-14 19:23, t/ E: L, h# f/ s  D3 b) I
    没有用过pytorch,但你把随机噪音部分改成均值为0的正态分布再试试看是不是符合预期?4 a2 x; P( y" z9 H
    -------
    $ U7 [7 ]8 c) c( o" y3 F. f不好意思, ...

    : [: D1 v- B2 a谢谢,算法应该没问题,就是最简单的线性回归。
    + n5 n1 D) U0 k. L1 o3 h* S( D: {% ?我特意没有用现成的工具,就是想从最基本的地方深入理解一下。
    回复 支持 反对

    使用道具 举报

    该用户从未签到

    地板
    发表于 2023-2-14 22:00:48 | 只看该作者
    本帖最后由 老福 于 2023-2-14 22:02 编辑
    . o9 ?- M+ f  X% Y. `
    雷达 发表于 2023-2-14 21:52; I) ~( s" ^$ u% U9 }! R6 I
    谢谢,算法应该没问题,就是最简单的线性回归。
    ' R0 ^) `  t/ p$ o5 V我特意没有用现成的工具,就是想从最基本的地方深入理解 ...
    ) x# N9 J% x4 G2 ]

    , [5 T$ M  @/ [0 v) z- ?刚才更新了一下,建议增加循环次数或调一下步长,查一下loss曲线。
    ; V2 |! l9 a6 u8 x
    ) G! c. ?" L( m9 _8 z) y$ _或者把b但的起点改为1试试。
    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    擦汗
    2024-12-25 23:22
  • 签到天数: 1182 天

    [LV.10]大乘

    5#
     楼主| 发表于 2023-2-15 00:25:26 | 只看该作者
    本帖最后由 雷达 于 2023-2-15 00:31 编辑 % ^, ^' j' ~% o& }
    老福 发表于 2023-2-14 22:00
    % H$ F) K9 w" V+ s- t刚才更新了一下,建议增加循环次数或调一下步长,查一下loss曲线。+ J7 t! q0 N2 `/ {

    - C: |9 P- n+ R& e0 y或者把b但的起点改为1试试。 ...

    $ |6 i# i; Y  Q' k/ C1 ^4 W$ A* l4 J2 F$ Y8 o) F% T( Y
    你是对的。% `! \: I0 e+ e  B% m- a1 g
    去掉了随机部分# K6 R+ E' e9 A+ D+ K
    #y = (x*27+15+random.randint(-2,3)).reshape(-1)8 a, b7 a( W2 e3 r; P" |9 ?
    y = (x*27+15).reshape(-1)
    0 L% R5 x+ }# n  c
    3 t, ^1 {& B5 a% N1 {循环次数加成10倍,就看到 b 收敛了: S1 F& \/ {; g% a( ^+ H( s
    w , b
    1 A. G+ t# M/ Y! Q0 Q/ c0 R- @27.002620697021484 14.826167106628418
    % U0 \9 c" Q# F( n5 {8 f% J9 O4 `+ ]9 h9 F. L) |% t+ j
    和 b 的起始位置无关,但 labeled data 用 y = (x*27+15+random.randint(-2,3)).reshape(-1) ,收敛就很慢。
    回复 支持 反对

    使用道具 举报

    手机版|小黑屋|Archiver|网站错误报告|爱吱声   

    GMT+8, 2025-7-26 18:55 , Processed in 0.038978 second(s), 22 queries , Gzip On.

    Powered by Discuz! X3.2

    © 2001-2013 Comsenz Inc.

    快速回复 返回顶部 返回列表