设为首页收藏本站

爱吱声

 找回密码
 注册
搜索
楼主: 晨枫
打印 上一主题 下一主题

[科研心得] 问题:如何从数据里估算普瓦松分布的均值?

[复制链接]
  • TA的每日心情
    慵懒
    2020-7-26 05:11
  • 签到天数: 1017 天

    [LV.10]大乘

    41#
    发表于 2019-2-4 14:40:54 | 只看该作者
    本帖最后由 Dracula 于 2019-2-4 14:45 编辑
    # q% ?6 Y$ p9 Z- T% B7 c. J
    晨枫 发表于 2019-2-4 14:348 u7 ?6 `# X4 X+ h1 S" g% G# T
    有了 μ和 σ想计算峰值就容易了,我的问题是如何从histogram计算log normal的 μ和 σ。看来这也是个办 ...
    : O! y5 y& G! n4 ^0 n: P: F9 F! |

    ! q8 a0 e% w7 u怎么计算分布参数的问题,你的题目我没看明白,不好说,但是正态分布你会做,log-normal 没有任何本质区别,一样的办法,就是数学公式不一样就是的了。应该不难。
    1 }& u# H0 k! f" j: h2 |
    " ^1 K, j" y  a* R0 ~, V6 L3 K0 [/ t' C- x2 F9 z
    (标准的统计学问题,估计log-normal分布参数也是有公式的,你到网上去查个公式就是的了。)
    $ a8 T; x7 E0 J1 y, s
    8 o' R, K6 J, q9 q8 I# o4 V2 e0 e
    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    开心
    15 小时前
  • 签到天数: 1751 天

    [LV.Master]无

    42#
    发表于 2019-2-4 14:56:30 | 只看该作者
    本帖最后由 数值分析 于 2019-2-4 15:05 编辑 4 c% v. S" _, ~
    ; A) _  A! Q- Y: ~$ L8 @
    你应该不用拟合分布函数吧?你只想知道峰值的位置,然后你又知道(或者说你假设)是泊松分布,所以峰值的位置一定是 x=lambda,(这里lambda不一定是整数),那么剩下的就是从样本里推断lambda了,这是个典型的估计啊. 对于泊松分布,lambda正好是期望,所以一般来用样本均值估计期望。! f6 U; }6 f8 B% U( N  G1 W
    你给每一个板子从最左边顺序编个号,i=0,1,2,3。。。,然后设每块板子i的对应温度样本值xi,,然后计算sum(i*xi)/n [即累加所有的(板号乘以对应温度)然后除以板数】 (因为你的分布曲线可能和泊松分布差一个常数,所以最后结果得scale一下)不就可以了么?当然,这得假设你的histogram真的得长得像泊松分布分布。/ s; F" Y+ I( h& E6 p

    点评

    给力: 5.0
    给力: 5
      发表于 2019-2-4 22:28
    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    开心
    2018-4-14 22:10
  • 签到天数: 354 天

    [LV.8]合体

    43#
    发表于 2019-2-4 17:40:34 | 只看该作者
    石化行业的DCS应该Honeywell多吧,这年头不支持OPC的很少了。
    - R% N  ?- H" j& e0 u. Q) V4 ~数据送到电脑上算,算了以后在送回去。
    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    开心
    2018-4-14 22:10
  • 签到天数: 354 天

    [LV.8]合体

    44#
    发表于 2019-2-4 18:02:11 | 只看该作者
    晨枫 发表于 2019-2-4 13:33: M" U& i2 D( m8 ]8 \, S% q
    唉,MATLAB里有histfit命令,干的正是我要的,可惜没法“偷”过来用啊
    * C; c2 X, ^8 F" w
    我记得MATLAB支持OPC
    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    开心
    15 小时前
  • 签到天数: 1751 天

    [LV.Master]无

    45#
    发表于 2019-2-4 18:34:42 | 只看该作者
    数值分析 发表于 2019-2-4 14:56
    + i; X! g1 u3 k( d7 W& D' I6 F8 V你应该不用拟合分布函数吧?你只想知道峰值的位置,然后你又知道(或者说你假设)是泊松分布,所以峰值的位 ...
    ; A6 |: D3 W6 J  [+ K' l2 s/ O
    多解释一句scale那块儿。因为泊松分布曲线下面的面积是1,而你的histogram显然不是,所以你的histogram和泊松分布差一个常数。你求出来的lambda的估计要用你histogram的面积归一一下。
    回复 支持 反对

    使用道具 举报

    该用户从未签到

    46#
    发表于 2019-2-4 20:39:47 | 只看该作者
    可以试试GMM Guassian Mixed Model去拟合统计分布7 [9 {' ^- ?2 y, U& i9 e, ^
    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    慵懒
    2019-10-12 04:17
  • 签到天数: 1014 天

    [LV.10]大乘

    47#
    发表于 2019-2-4 21:47:53 | 只看该作者
    晨枫 发表于 2019-2-4 12:305 U6 G) _5 ^+ F" f. s* S
    没人理我?都在忙着吃年夜饭?* o% t  c4 q7 H; P# ~
    ! |, I4 d6 n6 \: M( m& W- g+ W8 q4 P
    @煮酒正熟 @holycow @tanis @关中农民 @老马丁 @Dracula  ...
    " H. n5 r2 @; f1 C+ D0 c
    晨大,这得数学博士才中啊,额完全外行了,看见这个只能联想到面条
    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    慵懒
    2020-7-26 05:11
  • 签到天数: 1017 天

    [LV.10]大乘

    48#
    发表于 2019-2-4 22:07:12 | 只看该作者
    我又看了一下你这个题,终于看明白了。你的问题是一条曲线类似于统计学上Poisson或者log-normal的density function的形状,在这条曲线上你已知坐标是x=1,x=2,... x=20,这20个点的值,你想要知道的是曲线的最大值是在那个点上。不知道我这个理解对不对。
    ' J  ~7 N1 |: f( F' Y3 ^+ b4 B  o) A
    如果我的理解是对的话,这不是个统计学问题。你画的那个也不是histogram,因为histogram的纵坐标是在每个值观测到的sample size,而你的图的纵坐标是温度,不是一回事。因此统计学的书你不用查,查了也没用。解决这个问题最显而易见的办法就是最小二乘法,但应该是没有分析解,你不能用。我好奇的是如果假设假设曲线的形状类似于正态分布的density function,你们是怎么解的,使用最小二乘法应该是一样没有分析解。如果解正态分布有特别的巧妙的办法的话,或许稍微修改一下就可以用到log-normal的情况。2 V: S* r5 V; Y; l4 t8 Q% J$ d

    " v  m# I  h5 U8 f
    1 b) O9 C3 ], Q2 M( ]6 @+ {% N+ r$ U/ {+ k- v; w

    3 ^2 s7 j8 N: ]! `' o# I
    回复 支持 反对

    使用道具 举报

    该用户从未签到

    49#
     楼主| 发表于 2019-2-4 22:17:54 | 只看该作者
    数值分析 发表于 2019-2-4 00:56
    ) r3 G' m$ u8 J% l; X! G你应该不用拟合分布函数吧?你只想知道峰值的位置,然后你又知道(或者说你假设)是泊松分布,所以峰值的位 ...
    ! F5 l$ M/ C# i+ M% [; H
    这个办法好!回头试一下!我是打算用这个办法当正态分布处理的,没想到也可以相当直接地套到泊松分布。可能这就解决我的问题了!多谢!
    回复 支持 反对

    使用道具 举报

    该用户从未签到

    50#
     楼主| 发表于 2019-2-4 22:20:16 | 只看该作者
    Dracula 发表于 2019-2-4 08:07
    + p* _& J4 T" t) L# K3 U我又看了一下你这个题,终于看明白了。你的问题是一条曲线类似于统计学上Poisson或者log-normal的density f ...

    # [2 z* u/ k- G& }2 h7 u& ~" ]对,就是这个意思。我也提到了,不是统计问题,只是“形似”,想看看统计里有没有现成的办法。楼上42楼就是我一开始想到的办法,但只想到那能用于正态分布,正想改造为对数正态,没想到可以直接套泊松。这就好了。
    回复 支持 反对

    使用道具 举报

    该用户从未签到

    51#
     楼主| 发表于 2019-2-4 22:21:02 | 只看该作者
    小刀 发表于 2019-2-4 06:39
    : A  i( A" a* b' H9 d可以试试GMM Guassian Mixed Model去拟合统计分布
    9 L3 O8 D( X4 I8 I1 H# l  v& F
    这个还是太复杂了。用在控制回路里,必须KISS。但还是要谢一个!
    回复 支持 反对

    使用道具 举报

    该用户从未签到

    52#
     楼主| 发表于 2019-2-4 22:23:42 | 只看该作者
    视觉错误 发表于 2019-2-4 03:40
    6 W1 Q1 p" ?7 U4 ~( P9 F+ Q+ [石化行业的DCS应该Honeywell多吧,这年头不支持OPC的很少了。, s: D  x7 x2 P6 t( }1 V) t( \
    数据送到电脑上算,算了以后在送回去。 ...
    ' T) P* j* ^2 m' h3 u
    我们有OPC,问题是可靠性。用以下层基本的回路控制一般不用OPC,当机或者“交通堵塞”的后果太大。这是惯例。只有上层的APC可以用OPC,当了就自动shed到基本控制。
    回复 支持 反对

    使用道具 举报

    该用户从未签到

    53#
     楼主| 发表于 2019-2-4 22:25:29 | 只看该作者
    视觉错误 发表于 2019-2-4 04:02
    - ]1 D4 ~$ H8 V$ D# Y我记得MATLAB支持OPC
    4 M! `! c2 y9 H1 c( T( M. d
    是的,我以前还试过用MATLAB C通过OPC与DCS相连,在技术上这是做得到的,但可靠性达不到要求。OPC是不作为可靠的控制信息通道使用的,只能传送点监视数据或者一般数据采集。
    回复 支持 反对

    使用道具 举报

    该用户从未签到

    54#
     楼主| 发表于 2019-2-4 22:26:25 | 只看该作者
    gnomegordon 发表于 2019-2-4 00:39- a. Q! v+ {6 u2 b: F
    apologize. 网上搜code太麻烦,还得验证。最好有本书可以翻翻 或者搜library

    ! I# ^) i, I! b+ N1 U再次感谢。楼下45楼有好办法,我先试试那个办法,比kernel density简单多了。
    回复 支持 反对

    使用道具 举报

    该用户从未签到

    55#
     楼主| 发表于 2019-2-4 22:26:58 | 只看该作者
    松叶牡丹 发表于 2019-2-4 00:36
    ; h8 z  K+ |* j1 j* b晨大辛苦,您太客气了。祝新年快乐!
    ( C5 |& j9 k+ @9 u
    松叶MM新年快乐!
    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    慵懒
    2020-1-3 00:51
  • 签到天数: 71 天

    [LV.6]出窍

    56#
    发表于 2019-2-4 22:31:30 | 只看该作者
    晨枫 发表于 2019-2-3 23:46
    ( [3 e1 D; _! @" Q" s# D是我描述得不好。再来一遍。
    ' Y& _$ d; ~: D/ ^2 L$ d7 L
    7 j" L) V6 ^0 o# z0 A  b9 s0 Q2 T我有一条样子像泊松分布的温度分布曲线,但只有几个稀疏的点,想用类似泊松 ...
    & ]! O. q% u; M; p
    就是正态分布然后在x轴上平移么? 类似Y=(X-a)^2.
    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    慵懒
    2020-7-26 05:11
  • 签到天数: 1017 天

    [LV.10]大乘

    57#
    发表于 2019-2-4 22:33:46 | 只看该作者
    晨枫 发表于 2019-2-4 22:20
    2 e2 L  j5 R" o3 {! ?$ C) S% `4 C对,就是这个意思。我也提到了,不是统计问题,只是“形似”,想看看统计里有没有现成的办法。楼上42楼就 ...
    4 H* u0 S2 w3 k. }
    42楼那个办法不对。那是把这当成个统计学的问题来处理,但这不是个统计学问题。你的纵坐标是温度,不是sample size,不能这么用。最明显的是,那个办法解出来的量纲是温度,而你想要的应该是具体是那块板,因此那个解和你想要的没什么关系。
    ) b! y8 O5 y# X: p+ L5 x
    , g  d% s4 \/ w& W0 i' c9 y
    回复 支持 反对

    使用道具 举报

    该用户从未签到

    58#
     楼主| 发表于 2019-2-4 22:35:21 | 只看该作者
    数值分析 发表于 2019-2-4 04:34
    5 H( r2 o/ k4 j* q, Q7 m# q多解释一句scale那块儿。因为泊松分布曲线下面的面积是1,而你的histogram显然不是,所以你的histogram和 ...
    * J0 U: m8 F; F5 g7 z+ g
    多谢!记住了!5 e4 i7 G  ]* O4 h" ?9 B1 |
    1 I2 M! b# b" L- o5 v9 d" `
    其实你说的办法我已经试过。我把正态分布一边的尾巴砍掉,至少外观上接近泊松或者对数正态。只要有峰在,估计出来均值就还不错,越对称越准确,就有点窃喜。但对道理不摸底,不敢放手用。除非在数学上站得住脚,否则在线的时候没人看着,给我乱估一个就完蛋了。现在看来,道理就是你说的,这个办法不只适用于正态分布。曲线只有只有半边的话,就有点悬,这个可以理解。一般到不了这个情况,程序里简单判别一下也不难,另作处理。
    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    慵懒
    2020-1-3 00:51
  • 签到天数: 71 天

    [LV.6]出窍

    59#
    发表于 2019-2-4 22:37:37 | 只看该作者
    晨枫 发表于 2019-2-4 00:03
    ( \4 u2 J/ g" n' o5 N& x咳咳,这个其实不是统计问题,是从有限的温度测量估计温度分布曲线的问题。吸收塔一共20块塔板,每块塔板 ...

    : n8 l1 q, z% S5 f* w1 E: o( l% \1. 20个数据点在分布上有没有规律。比如两头低中间高。
    0 R& s' H0 m! _- \6 R3 [& U5 E2。规律稳定么?% G' r8 A0 a4 p/ A
    3。可不可以简化成20个点里找最大值。: e: n" {: `; X7 J5 J
    4。峰值如果不在采样点(塔板),而在塔板之间,只能按相邻塔板的问题计算温度曲线斜率,然后插值,而其要比较峰值塔板两侧的斜率,取较大的。
    回复 支持 反对

    使用道具 举报

    该用户从未签到

    60#
     楼主| 发表于 2019-2-4 22:38:00 | 只看该作者
    雨楼 发表于 2019-2-4 08:31' ]  s9 M+ G! L6 l
    就是正态分布然后在x轴上平移么? 类似Y=(X-a)^2.

    2 I- [: s( H0 _# c% }* t' j( R差不多。我开始也想过用抛物线然后平移,但平移量本身也要最小二乘出来。可能还是可以线性化然后用简单的最小二乘。我来试试看。
    回复 支持 反对

    使用道具 举报

    手机版|小黑屋|Archiver|网站错误报告|爱吱声   

    GMT+8, 2024-12-22 19:47 , Processed in 0.147695 second(s), 18 queries , Gzip On.

    Powered by Discuz! X3.2

    © 2001-2013 Comsenz Inc.

    快速回复 返回顶部 返回列表