爱吱声

标题: 交叉行销的负效应 (The Dark Side of the Cross Selling) [打印本页]
作者: 煮酒正熟    时间: 2013-12-19 12:24
标题: 交叉行销的负效应 (The Dark Side of the Cross Selling)
到年底了，带了快一年的印度团队，和部门大头说了三四次，终于同意我不必直接管理、事必躬亲了，而是在印度那边提拔了一个资深的，他向我负责，印度团队的日常事务由他主管，出问题我只找他。终于可以松口气，也可以花些时间做深度分析(deep dive)了。这一深潜，就发现了一些问题，其中一个问题还很有些颠覆性，那就是cross sell，国内好像是叫交叉行销。8 E( Q2 `* \/ q

' ?! p# J9 Y) B什么是 cross sell 呢？老马丁大家都认识吧？枫叶国叫兽，主营产品包括品牌战略、营销管理、消费行为方面的知识与洞见。大家都原意去他家里花钱买他的文章，天长日久就形成了一批忠实马粉。结果突然有一天老马丁很神秘地对马粉们说：你们猜肿么着，俺不仅品牌营销文章写得妙，更是囤积居奇雪藏了N条大好黄鳝，你们是不是每人也整两条回去？
$ U+ V. ]' _& d0 Q9 x8 n
/ i! V6 T, d- R" B9 B/ T2 J俺们公司的 cross sell 也差不多是这样。俺们是保险公司，主打产品是医疗保险(medical insurance)，但还有一堆零七八碎的小险种，比如牙齿、视力、生命、残废、事故等等，其中相对金额较高利润也比较丰厚的是牙齿保险(dental insurance).  于是从2012年一月份开始，公司就针对大约八万个只买了医疗保险却没买牙齿保险的公司做营销，也就是给他们发电邮，宣传俺们滴牙齿保险肿么肿么好，赶快来买吧。
3 C% B3 A3 ~9 n8 ]! T/ h! X7 d- c/ I1 N! e( p
cross sell 在银行界和保险界里非常普遍。银行会向储户兜售自己的信用卡和money market，也会向自己的信用卡客户兜售debit card等等。保险公司里，除了上面提到的想医疗保险客户兜售牙齿保险，还有向住宅保险客户推销汽车保险等等。8 J6 X: T4 ^. Q

2 K5 d$ k4 z" c$ F) m" m业界的主流思维 (conventional wisdom) 是：cross sell 不仅能进一步开发客户的消费潜力、为公司带来额外收入和利润，而且能增加客户粘度，提高客户switch的“成本”，减少客户流失 (churning or attrition).  9 z/ W* @2 w3 g( v8 ]

: B3 D! ~3 l( v' A# Y. i可惜，主流思维总有不灵的时候。而且在飞速变化发展的今日商界，主流思维不灵的时候越来越多。我花了两天的时间，研究我们的 dental cross sell 战役 与客户保持之间的关系。 (客户保持 = customer retention，其反面就是是客户流失/attrition) 最终结果颇出吾之所料：我们的 dental cross sell 战役不仅对客户保持没有正面作用，反而有负面作用！
" D# i" ?% f8 t/ Y0 @
. I: X% K+ D, }: k简述一下我的分析方法：从2012年10月到2013年4月 (所对应的续约月份是2013年1月-7月，促销一般在续约之前的三个月发出)，在这7个月当中，我们一共给14000客户发了 dental cross sell 的促销电邮，这些客户是我们的实验组；与之对应的，是一个3500客户的对照组。这两个组在所有方面都相似，唯一区别是，我们给实验组发了促销电邮，却没有给对照组发。然后我就分析这两个组的 retention rate，比如2012年10月，我们的实验组有2000个客户，对照组有500个客户，我们在2012年10月给实验组发出促销电邮，三个月后到了他们的续约月 (renewal month)，实验组那2000个客户有1560个留下来了，则 retention rate = 78%；而对照组那500个客户里却有405个客户留了下来，因此这个组的 retention rate = 81%。对其他六个月做同样计算，最后把七个月做加权平均。最后的结果是，实验组 retention rate = 79%，而对照组却达到了 80.2%.% G& P9 k1 Z8 Y) f
5 M+ ^6 A0 @' m+ E. l. P% w
也就是说，我们花了钱，费了许多人力，忙活七八个月，最终却反而气跑了一些客户！这是肿么回事啊？$ f. p% X6 S) z4 f+ o! ^
( {" ^* f/ a2 M" S# _6 w: n
(待续)$ q; J. c6 D2 y) ^- U2 {9 t& |1 B

% C$ w7 e" F  {7 R: k% r@老马丁 @混天球 @holycow
6 Y0 y8 O; c% g% `$ R6 ]; R1 U/ }2 t
- L3 b* E) w  j' t! y- {/ }
  m' E& n% r7 [
作者: 一无所之    时间: 2013-12-19 12:30
恩，跟着胡说两句。
( L  K  H5 h4 r9 `) |7 @) G单一的行销我感觉是药铺，只管卖药。而交叉的行销我感觉是大夫坐诊，不仅仅是开药方卖药，如果客户认可了你的思维模式（被洗脑了）你就是卖马桶给他也没问题。
作者: 煮酒正熟    时间: 2013-12-19 12:33
一无所之 发表于 2013-12-18 23:30 * W, z8 f( @2 m4 k
恩，跟着胡说两句。& y  B8 ~$ C' Q+ ]$ G3 X
单一的行销我感觉是药铺，只管卖药。而交叉的行销我感觉是大夫坐诊，不仅仅是开药方卖 ...

  h% |% N$ P6 ?7 A好嘛，你敢侮蔑老马丁卖马桶！
2 F5 J! l+ p& K/ d2 x0 \+ c7 x* J* r! y
作者: 一无所之    时间: 2013-12-19 12:35
煮酒正熟 发表于 2013-12-19 12:33 & K( S$ e; F# W6 t) h
好嘛，你敢侮蔑老马丁卖马桶！
- b8 ~5 j1 v" d
他要卖也得是高端智能桶
作者: MacArthur    时间: 2013-12-19 12:45
一无所之 发表于 2013-12-18 23:30 $ X1 ]4 r1 H$ {0 e& A# x  t
恩，跟着胡说两句。
; x* F4 A" }0 J单一的行销我感觉是药铺，只管卖药。而交叉的行销我感觉是大夫坐诊，不仅仅是开药方卖 ...

1 n9 S" a3 Z/ ]苹果公司都开始卖篮球了。。。1 l, z4 D$ q+ [$ E. ]
- h9 m- I: P) L2 L6 `& b7 @
. J: O& k4 p. a- d( ]* q
作者: 然后203    时间: 2013-12-19 12:51
是不是电邮太直接粗暴了？
1 B$ Y2 P: z- b% @2 b0 N, }  p5 Z
7 ^6 p4 y6 w8 N- X$ r2 t* |% X有时候一些暗示性的语句可能效果好些，和安全、健康、快乐、活力、无忧……挂钩。
作者: 老马丁    时间: 2013-12-19 13:35
感谢老酒分享重磅一手案例。3 H! t: J- q+ y, L; L. A
3 B1 x. Y/ x" i! i2 r
我觉得这个组间差别统计不显著吧，如果field experiment 步骤正确，只能说cross sale 促销对retention rate 无影响
作者: 煮酒正熟    时间: 2013-12-19 13:42
老马丁 发表于 2013-12-19 00:35
: e+ T% v- P  D+ s感谢老酒分享重磅一手案例。9 Y$ ?# X) `, ?4 H: _4 _- g5 k
; q% S5 X7 P9 m; S# ^
我觉得这个组间差别统计不显著吧，如果field experiment 步骤正确，只能说cro ...

: [& U: g& \( _6 S- k教授说的是内行话，只不过... 主流思维一直是：假如对照组的业绩优于实验组，那么就推在样板太小、噪音过大... 因而差别 statistically not significant.! L0 c% K1 B, D$ ^: p

0 P" k. P9 _* n# R- Y- r- [不过这一次俺确实 run 了 statistical testing 了，那个negative impact is significant at 91% confidence level. 明天上图吧。另，我这里做 stat testing 有个挺好用的软件，在Excel 里。马丁平时怎么做stat testing?6 p2 e+ n3 u3 D$ @# t( A
) c3 _9 v) Z! t1 @" J& \
作者: 煮酒正熟    时间: 2013-12-19 13:43
老马丁 发表于 2013-12-19 00:35 ! d5 C4 C) V$ o# G0 x
感谢老酒分享重磅一手案例。1 y) W/ ?# X5 }. ~
# F( s: ~) F! r
我觉得这个组间差别统计不显著吧，如果field experiment 步骤正确，只能说cro ...

( q; l; B% ?; o3 E其实这个案例中有两个关键因素，其中第一个因素是有悖于我从前经验的
作者: 大黑蚊子    时间: 2013-12-19 13:53
本帖最后由 大黑蚊子 于 2013-12-19 14:00 编辑
9 A+ R3 i- A* p! \: I& |' K, O' a8 p& P6 V* m- n! k
Cross sell在国内更多的被称为“交叉销售”，实话实说，我个人其实挺反感这个提法。8 F% Z; R% c, Z; [
$ m" |" F3 V" g4 _
原因无他，“尺有所短，寸有所长”，以同质化较高的银行服务为例，有些银行在网银方面就是不如别人好用，不想着如何提升受众满意度搞口碑营销，而是强令要求销售人员硬推这破玩意儿给客户，这不是找打么？客户不是傻子，产品替代所需要的成本是很高的。
0 l! L: X; J3 Q! m1 n6 `
作者: 老马丁    时间: 2013-12-19 13:54
煮酒正熟 发表于 2013-12-19 13:42
: i8 E0 u/ _- A. m' U1 A教授说的是内行话，只不过... 主流思维一直是：假如对照组的业绩优于实验组，那么就推在样板太小、噪音过 ...

' a+ C( e. @: {3 I6 Y$ g一般用专业软件就行。这种two sample t很多都能做，计算器也行啊。
& }6 u9 j. w. e$ ]" ^
9 O0 m" |  t( N话说回来，忙乎半天没效果也够急人的。是有点意思。等下文
作者: holycow    时间: 2013-12-19 14:17
本帖最后由 holycow 于 2013-12-18 22:20 编辑 5 y4 h: c9 V! H8 O. C( a
  `4 R; @& _' K4 A
哈哈，虽然我一向认为cross sell基本没用，顾客又不是傻子，对每个交易都会单独估值，除非bundle了以后打折。但俺从来也没想到过这cross sell能把人吓走，拭目以待下文
" w) F- M! B# C' L1 T0 G& L0 x9 E
我来猜一下，是不是本来闭着眼睛等续约的客户被这sales effort一刺激，反而开始睁眼进行comparison shopping了？不怕不识货，就怕货比货...
作者: 懒猫猫    时间: 2013-12-19 14:38
在你下一篇出来之前，俺此刻最感兴趣的不是你们的客户为神马气跑了，而是：1 P4 p2 l& J2 `: S  n
老酒现在是不是印度英语说得溜溜儿滴？
作者: nxp    时间: 2013-12-19 14:39
样本分析时，实验组发的促销电邮有区别不？能否排除促销用语不恰当引起的差异？
作者: 北宸    时间: 2013-12-19 15:39
本帖最后由 北宸 于 2013-12-19 15:59 编辑
" i/ b/ r( M& F, Z( Z  h) V* ^+ X+ ?; q+ P9 i7 u
以最近我的消費經驗來看 ， cross sell 在預測分析精準的時候應該還是有用的。
2 I/ u2 o# f) B3 c7 F
% H$ r) u! e0 k8 G前一陣子在PB店裡買了一張coffee table  ，後來接到 PB media set 15% off 的郵件促銷 ， 我很快就買了其中的電視架。一起擺在客廳裡很好看。
, k5 P0 R" e. d& V2 T/ L
" N8 o& I5 X0 \6 Z. Y後來每天都收到一封PB郵件， 每天專門促銷某樣產品，這個我也不嫌煩，沒興趣的產品略過就好了。前幾天又收到一個PB室外椅墊的促銷， 我看了蠻喜歡，但找了一下卻沒有我想要的花色 ，當天在另一家網站上買到了一組八個我想要的室外椅墊，也發現了這家網站的某幾項家用產品比PB的選擇多。* r5 U7 j  |$ Y. V9 S7 m
0 e- T$ M/ g1 l5 m
所以猜一下， cross sell 的產品如果引起了客戶的興趣，但在某項細節方面又達不到客戶的需求， 客戶做主動尋找時剛好給競爭者帶來機會 。保險產品時常又有bundle 的優惠  ，買了其中一項保險產品連帶的買另外一項加起來有更大的優惠， 於是顧客就會和原先的公司解約，等於是被原先公司的cross sell 給推到競爭者那裡去了。
作者: 山远空寒    时间: 2013-12-19 16:04
个人觉得 cross selling 是好工具，但是要用好需要细细思量。就说牙齿保险，不直接说买牙齿保险，而从经常提供的身体保健知识中稍稍多突出一些牙齿保健的内容。对吃货来说，还有什么比有一口好牙更重要的呢！对女性来说，还有什么比灿烂的笑容更美的呢！牙齿保健的重要性提高了，自然牙齿保险需求也多了。
; }1 a$ c9 `. P5 g9 K% B
& I+ c3 X+ P6 @- r5 P2 g: j0 u营销不就是围绕需求做的么！, V: q( E6 y* i6 F) V) h: O$ Z
8 h2 T  r7 |3 Q/ T6 t3 U
再打个不恰当的比方，都说步坦协同，步炮协同威力比单一兵种大，可是一不小心，伤了自己人。这需要训练磨合，用的好才行。所以非洲兄弟还是简单点儿好，我猜问题就出在这里。
作者: 瓦片儿匠    时间: 2013-12-19 16:06
大黑蚊子 发表于 2013-12-19 13:53
+ f1 B4 f( i. ~, _* eCross sell在国内更多的被称为“交叉销售”，实话实说，我个人其实挺反感这个提法。
0 b9 |5 }0 Z# p7 Y6 B
2 W* P+ q3 k3 K原因无他，“尺有所短 ...

: {$ _) m% Y* t0 G4 ~你一定是在说BOC
作者: 瓦片儿匠    时间: 2013-12-19 16:13
前天晚上大学群里在讨论direct bank,问到几个在大英的同学为什么用这个服务，回答是简单直接，没有交叉销售的骚扰，也不会把你电话卖给第三方
% W# L2 B( v; Z* x  }& l, Y可见这都是一群目的非常明确的客户
作者: 河蚌    时间: 2013-12-19 16:33
本帖最后由 河蚌 于 2013-12-19 16:35 编辑 ( g0 n) \# |6 Q, |4 c

/ g: q9 L# ]( g; u6 w( F5 f我觉得你这个不叫交叉行销，应该叫做附加强制推销。交叉行销，我们称为交叉销售或者交叉营销，有一个重要的概念，就是持有某种产品的客户，对另一种产品很大的可能有需求，也即是两种产品具有关联性。
* P3 K- M# N* M. a举一个简单的例子，你卖了一套茶具给客户，然后问他，需不需要一个电水壶，这个电水壶烧开水特别方便，这样冲茶就很方便。这种营销方式，实际上意味着想客户所想，以更专业的方式来给客户提供服务，当然会起到很好的效果。% B7 \, Z: I! p2 J6 r/ r" I
而你举的例子，比如老马丁他主业是卖文章的，却又去卖黄鳝，这个不能叫交叉营销，因为这两种产品之间没有关系，这样的营销，实际上就是利用既有客户信息资源，进行强制的广告营销。这样的无关产品的推销方式，必然会降低客户的信任度，引起客户的反感，不但不能增加客户依存度，反而可以造成客户流失。# G) x; O* x4 B
当然，卖医疗保险的推销别的险种，这个确实是交叉销售，但交叉销售也必须掌握方式方法。最佳方法应该是专家咨询式的，而不是强硬推销式的。我觉得你们可能犯了另一种错误，即在销售策略上过分主动却反而适得其反。! T0 `4 ~3 i' X( s0 D+ ^
记得在商场如何对待顾客的问题上，现在推崇无打扰购物，即当顾客进入商场后，售货员除了开始打个招呼外，并不主动讲解，而是会让顾客自主观看，同时售货员保持在随时可以观察到顾客的位置上，直到顾客招手就能马上应对，此时再对顾客感兴趣的商品进行详细的解答。这样的销售效果要比当顾客一进来就主动的问买什么，或者是客户稍微关注某个商品就介绍要好得多，因为顾客在商场的购物有很大的随意性，营业员主动营销行为很可能促使顾客离开。: _* r/ l3 `- i- v( m
我觉得你们如果想打其它险种，需要有更精细的营销策略，即降低推销的目的性和主动性，不要让客户感觉是你们在做强制推销，而更多是以新产品推介的方式来告知客户，然后当客户有回应时，再针对这些客户做出深度介绍。这样的效果要好的多。
  Q7 R) H6 F  k8 `0 I+ _当然，按酒爷的介绍，你们似乎只是发了电邮，如果没有其它的进一步行为的话，我觉得这两个组的差异，并不能说明这个推销出了问题，样本空间不够大所造成的原因可能占更大的比重。8 L' r* w# w) v
作者: 花似荼蘼    时间: 2013-12-19 18:18
坐等下文
作者: 假如十八    时间: 2013-12-19 21:43
学习！仔细听讲中
作者: pkhelen    时间: 2013-12-20 01:22
有意思！期待下文！$ U+ Z- g% m6 q% e
就像神牛和北宸说的，客户做comparison shopping了，反而找到更好的保险，退出你们公司的plan了？/ u+ p8 i. e7 S' O. u6 Z7 u
针对性销售看来很重要。千篇一律的电邮估计反而促使客户重新考虑了？
作者: 仁    时间: 2013-12-20 02:10
这是常见现象。和客户接触未必只有正面效果。而且如果你看两个组中选择停止接受电邮的人数比例，可能发现公司的损失更大。但是也要看另一面 -- 有多少人买了牙科包险，当然两个组都要看。如果试验组的牙科的incremental gain足以抵消医疗的additional loss, 短期效果还是正面的。
. z% g* w) V7 k. m* p4 q& X
1 d$ O" E: D7 E0 y你如果真要深入研究，还要看那些买了牙科保险的客户在远期的retention rate, 医疗和牙科都要看，两个组都要看。不能只看一次活动。实际上因为牙科和医疗并不捆绑，不存在增加attrition 的成本问题。但是经验告诉我们，当一个人在同一家公司购买的不同产品较多时，他们的黏度确实大些。因为惰性。; U2 E9 {, ]2 F' A$ @7 E8 X$ S

" M* D* f5 k! W( L3 D$ @电子邮件虽然费用低，但是频繁使用会令自己的公司遭到顾客的屏蔽。公司应该制定customer contact strategy. 这本来应该是CRM的一部分。但大多公司在这方面做得不成功，因为他们缺少既懂商业又能通过数据分析制定策略的人才。
作者: 赫然    时间: 2013-12-20 03:19
这是逼着消费者去做研究。+ S, |& R6 A( J
; ]; U, Q. Y7 n3 Q! R
就像住宅和汽车保险捆绑销售，逼着我去货比三家，甚至要求他们拆开来报价。我发现汽车保险便宜的使劲在抬高住宅保险。最后我只有放弃10%优惠从两个保险公司分开拿。中期影响是我这个用户的忠诚度明显下降了。
作者: 橡树村    时间: 2013-12-20 04:03
这个差异足够显著吗？
( l9 n' t# u0 V- @. \( A9 W2 S% n( w7 c& ?+ u% x
我用的医保公司，加入十几年，现在我的信用卡，房贷，房屋保险，车辆保险，养老保险，全是他家的。多忠实的客户啊。
作者: 的名    时间: 2013-12-20 04:33
79% 和 80.2% 的差别只有1.2。很可能standard deviation就超过1.2了，如果那样的话意义就不大了。
作者: 平沙落雁    时间: 2013-12-20 10:26
这个真心看不懂，太深奥了，
- d6 J2 }) \" H7 A9 ~9 z2 P* {: I# d" t* K
有机会去印度玩玩儿吗？争取公费旅游是正经
作者: 得大自在    时间: 2013-12-20 10:55
好帖！
作者: 煮酒正熟    时间: 2013-12-20 11:52
懒猫猫 发表于 2013-12-19 01:38 " F# v- ^' h- x9 v- Z3 Q3 S% a0 a
在你下一篇出来之前，俺此刻最感兴趣的不是你们的客户为神马气跑了，而是：( z! W. A+ k/ s; ^6 L6 `# `
老酒现在是不是印度英语说得溜 ...

# }$ A! V( q0 l% Y, y严肃点儿！这儿谈正事儿呢！
作者: 煮酒正熟    时间: 2013-12-20 12:05
橡树村 发表于 2013-12-19 15:03 & [6 z" c; Z( a; s; ?: ~* S
这个差异足够显著吗？
" ?# n; n* e6 T/ i% l2 F1 u& T, T, P8 ?. e
我用的医保公司，加入十几年，现在我的信用卡，房贷，房屋保险，车辆保险，养老保险 ...
6 f5 P( [! a. V- d. B9 l
基本可以说是显著的。总的来说，在商界做统计学分析，95%信心水平是用得最多的，当95%上不显著时，都会去看看90%的水平上是否显著，如果在这个水平上还不显著，则就会比较放心地下结论说不显著了 (或者暂时不显著)
( F+ |% b& n) Z: y5 `4 A% X7 g( a8 D6 P, _# h7 v! p
我做的这个分析，虽然在95%的水平上不显著，但在91%的水平上是显著的，所以不能忽略，只能继续深入分析，也就是按业内常轨做法进一步细分，在细分板块中再做统计学分析，看是不是显著、有多显著。1 p! g  m6 [% Y8 _$ u9 v: P9 d

, k% w! y/ U0 e( j% u: W. @9 |下面是真实数据 (我主贴里的数据是随手编的)：; o$ v4 {/ ]8 h2 @5 _

+ ?, R: `0 F/ u! `实验组：
* V% m# S& \0 J( d& Z6 ]初始 6841个客户( `3 G# S6 B3 Y8 u
续约时，只有5173个客户续了约9 w) ~4 k- o/ ^& K# p4 Q# W
retention rate = 75.6%
3 M. D1 H( e" o* S' r6 ?" c) @! v, f+ ?5 [, q( m- O) |" C& Z- V
对照组：. S9 W* g6 C8 ?$ L! _) H0 M' v( M
12172 P, x- ~" P5 j7 o  o
930* u+ B$ T; Z4 }/ M
76.4%
3 w1 X$ p. w' W/ ?6 s- @
& W3 h4 s5 p8 K% z不要小看只有0.8%的差距，因为样板比较大，而且比较的是 retention rate (数值比较高)，而不是数值很低的 sales rate (通常都在1%以下)，所以在91%信心水平上是显著的。大家手里有工具的，不妨用工具算一下。@老马丁 2 [2 K* Z0 j& I* r! f0 ]; x
作者: 煮酒正熟    时间: 2013-12-20 12:10
平沙落雁 发表于 2013-12-19 21:26 $ @& a) N" z; ]* z  ~7 f
这个真心看不懂，太深奥了，
8 \5 C, R; b0 d6 h5 T$ z( |8 M. z- i5 ]( B8 b; O3 V+ @- V0 v
有机会去印度玩玩儿吗？争取公费旅游是正经 ...

2 U) W5 t) m5 F馁狐怖揩蹄馁狐... 今天加班四小时，就是在填去印度的签证申请表
9 i* i. C/ o9 `' O. p+ d1 |9 r( I8 Q6 D+ m
NND明天还要去挨一堆shots!
2 b; Y2 L$ ?1 S2 A% w+ G+ [$ d: Z* \% ^$ u  v
这下好，春节要在身毒过了，我特么着谁惹谁了我！
8 I# P. P, y0 _* T. O
作者: 煮酒正熟    时间: 2013-12-20 12:14
北宸 发表于 2013-12-19 02:39
0 n- Z3 C+ Q9 r& a- C以最近我的消費經驗來看 ， cross sell 在預測分析精準的時候應該還是有用的。
2 ^: f. {' n% D( P  @* j+ A4 C) {7 z2 M3 ?$ Y# ^. K
前一陣子在PB店裡買了一張c ...
: x. g+ t  k; {2 h
宸妹聪明啊 --- 大方向很靠谱儿，只是具体原因没猜对 1 U. m) b  _  I6 t  R
毕竟你们不是这个行业的，所以俺让大家猜，有点儿耍无赖的意思# Z' I7 a4 E* {4 S& P6 S2 @
作者: 平沙落雁    时间: 2013-12-20 12:19
本帖最后由 平沙落雁 于 2013-12-20 12:22 编辑 ' m; S0 g0 @3 A. Z* _" X
煮酒正熟 发表于 2013-12-20 12:10
- S% g) G/ t3 {$ G, v! m馁狐怖揩蹄馁狐... 今天加班四小时，就是在填去印度的签证申请表 ) D5 T& r8 h3 M" l4 Y, S

6 [0 k8 A& C* @( }NND明天还要去挨一堆shots!
: ]; s1 g7 _  [- \. O. U& N* h0 y9 q
. s# T: ?# x# |% F. ]
公费旅游还不高兴？老中一般很少有机会去印度的，能有这样的经历太难得了，多拍照片多写日志，回来好好吹一吹哈~~3 ]$ p5 ?7 p) N/ y$ T
, d  K" N. |5 m
印度也是个很好的减肥圣地，注意回来的时候别搞得跟甘地一样瘦- N- L) m* C0 k' s$ M. v; ~* d

! F, D% N( z- Z+ q9 V4 Z最最重要的，我们大家会想念你的！！！！！！！！！！
作者: 煮酒正熟    时间: 2013-12-20 12:28
河蚌 发表于 2013-12-19 03:33 + s! z2 A& A( v. y+ U5 t! Z
我觉得你这个不叫交叉行销，应该叫做附加强制推销。交叉行销，我们称为交叉销售或者交叉营销，有一个重要的 ...

0 P: V) Z- R' l9 ]2 _马丁买黄鳝的，纯属开玩笑。cross sell 当然是推销和主打产品相近或互补的副产品。$ S  _, `; J1 D/ A/ \# [: h" V

- G( w1 `4 z0 J0 Rcross sell 的意思，以及在中文里的对应词... 是这样，cross sell 最早出现在销售环节里，也就是销售员与消费者面对面进行推销时发生的，所以这个词里有个sell字。后来营销较大程度上挤掉了推销，各大公司在营销时也模仿销售员的cross sell行为，这种情况下更准确的措辞应该是 cross-marketing，而不是 cross sell.  但因为大家说惯了，所以就延用了 cross-sell 这个词。
  S- D% }  Z1 G  R  S
; V8 L- \. E. Kcross sell 在中文里的对应词呢？如果确指推销，那么可以译做交叉推销；如果指的是我们公司这种营销，就译做交叉营销。营销比推销要柔软、含蓄得多。面对推销员，你必须立即做出选择，而且当你要拒绝对方竭力推销的东西时，你总会承受某种压力，而面对营销信函则完全没有这种压力。8 _" _5 }+ C) Y- N# A
作者: 煮酒正熟    时间: 2013-12-20 12:29
平沙落雁 发表于 2013-12-19 23:19
; U! B5 y- @0 O/ ~' m3 [公费旅游还不高兴？老中一般很少有机会去印度的，能有这样的经历太难得了，多拍照片多写日志，回来好好吹 ...

* ^( c4 ~, N- W4 z5 O7 V3 c: U+ A% G1 c俺会想念师妹滴！！！
作者: 橡树村    时间: 2013-12-20 12:40
煮酒正熟 发表于 2013-12-20 12:10 6 x! {, _! Z% x2 I2 J& u, _
馁狐怖揩蹄馁狐... 今天加班四小时，就是在填去印度的签证申请表 + p& d7 e% `8 B) x: l4 O4 \

8 L. S9 @) D( ?7 J% I2 {NND明天还要去挨一堆shots!

0 y! W& x; l8 V" a& {0 }一月底去，还好啦，七八月份去才叫要命
作者: 逍遥探花    时间: 2013-12-20 14:05
作为普通消费者的一员来讲，要是交叉销售的两个东东关联度比较高，还是容易接受的，主要是容易犯懒，能在一家搞定的就不去分别去两家买。% z! W, F0 ]6 R! @+ e- q3 f  Y
6 n& R: @4 B) P. k1 z2 b* @
但是如果产品差异太大，比如卖手机的顺带卖食品，那就得掂量掂量里面的水分有多大了，毕竟术业有专攻。
作者: 老马丁    时间: 2013-12-20 16:53
刚到LV. 冒个泡，表达我对此贴的高度关注。
( X) Z1 B  Y" O/ R  P& q9 \老酒要去印度啊, 记得留点胡子显得粗旷点。印度那地方饥渴的人太多了，要当心ji不择食啊
作者: 花差花差农民    时间: 2013-12-20 18:21
上面河蚌说的很对，你们只是对没有买牙险的在做强行推销，如果你能拿到有多少人有看过牙医的信息并有征对性的销售，才是合适的cross selling。这正是网上销售中DMP（Data Managment Platform）可以解决的问题。
作者: dasa    时间: 2013-12-20 19:03
这个吧，我觉得煮酒是不是还要关注一下两个组的销售额的差异？- k% z0 W, s5 {2 K
其实交叉销售是不是一定会提高客户的忠诚度是很难说的，但是提高销售额很可能是一定的（当然幅度不见的又多大）。1 f5 X5 g! t. Y) |( o
# s' R$ Q; B; c
交叉销售的正面意义在于在同一条渠道增加了供应种类，认可的客户会增加买进；1 ^+ q# q, r& h/ b. {- p
负面的意义在于变相搭载销售，不认可的客户可能干脆彻底走人。这2个因素是互相抵消的。最终的结果就看那个作用大。
9 r2 D9 n  b: m+ [( c% z
) M3 H. c$ m( w6 r我直觉上觉得你这个结论说不定是有普遍意义的。就是说在大多数情况下，交叉销售都会降低客户的忠诚度。
! y* t8 Q' D- t$ `$ P4 i" [但是有可能会提高销售额
作者: 李根    时间: 2013-12-21 01:30
煮酒正熟 发表于 2013-12-19 23:10
; v- w6 H6 Q* @4 R馁狐怖揩蹄馁狐... 今天加班四小时，就是在填去印度的签证申请表 ) J; w6 O* v6 e5 t; y% G
# e5 U, f: M: Y
NND明天还要去挨一堆shots!

. Z+ ~! {( c9 n( _0 o到印度注意安全，注意饮食卫生2 v- S4 E2 Y  J) Q& D6 ^7 Q3 O
8 i8 o# `* g" d5 U, q: P  v3 E
作者: 煮酒正熟    时间: 2013-12-21 01:33
李根 发表于 2013-12-20 12:30
: {; m0 `6 C$ I8 m5 O* c6 ~到印度注意安全，注意饮食卫生

  z6 T2 @) `. o# Z. Q注意饮食卫生.
) j. Z# [' J  D* `. d4 {- K" q! m
7 V* a9 [8 t8 s3 }( Cyes, but how?
作者: 李根    时间: 2013-12-21 01:35
煮酒正熟 发表于 2013-12-20 12:33
) {4 O+ R$ I$ \0 J6 A, z" P3 V注意饮食卫生.4 }. F% X; F1 ?5 x0 r2 W+ |
" p: {. }. }6 Y8 @9 W# z
yes, but how?
8 R& a. O. g: B- a% d) O& t* J
全买瓶装水，自己煮面条* K; h! z) P& d, t. l

9 y9 L9 K( a0 F7 \( @9 ]0 T洗澡不许唱歌！！！8 H" |8 k9 g* C5 b6 m/ B7 S1 i2 M6 o
5 X' g$ ]& e4 P4 K+ t) e' h8 T
作者: 小木    时间: 2013-12-21 03:05
这个案例好棒。最近对marketing analytics有点上瘾。。。
* u, ^# w3 C" Q! n4 n6 s8 y3 G1 `9 ]  X# v
我觉得有一点细节要注意一下。在执行这个cross selling行动之前，老酒随机选择了一批客户，做了随机对照试验。干啥前要先做试验，现在这个是个很重要的思想。。。6 \1 _  q, b: {1 j- S4 J" w: V  }8 y

5 |$ i; }$ B" r4 k老酒对这个实验样本做了RFM之类的分类了么？感觉这种产品Recency和Frequency好像不大容易，但是做个Monetary分类可能会有些有价值的信息，例如大客户更可能买牙科保险或者renew之类。。。。7 U7 q; Q( s# Y* Y6 g2 J1 G) x
% v; V7 ?1 L& P" V* h7 q2 ^/ D7 c
另外我觉的可以跑跑logistic regression。。。
1 S0 z" Y; O$ z0 F* T
作者: Menuett    时间: 2013-12-21 04:56
本帖最后由 Menuett 于 2013-12-22 15:59 编辑 4 P6 `0 R; n1 t( P" _
煮酒正熟 发表于 2013-12-20 12:05
7 ^. x0 E' `3 C  w基本可以说是显著的。总的来说，在商界做统计学分析，95%信心水平是用得最多的，当95%上不显著时，都会去 ...
$ n+ O, m! v) U; j
5 ~: b; Y4 J6 l2 @1 J
这个其实是一种binomial response，应该用Contigency Table或者Logisitic Regression（In case there are cofactors）来做。只记比率丢弃了Number of trial的信息（6841和1217个客户）。
8 J& E" J, i( y: V) a( l( Q/ |3 D" f5 m0 l7 F6 t1 |
结果p＝0.5731。 远远不显著。要在alpha level 0.05的水平上检验出76.42%和75.62%的区别，即使实验组和对照组各自样本大小相同，各自尚需44735个样本（At power level 80%）。see: Statistical Methods for Rates and Proportions by Joseph L. Fleiss （1981）6 A8 o; u' _2 J

1 s# |- j& _2 a9 ?/ {9 iR example：2 I' T* _) ^' M7 M' d/ a% l

6 J8 k' i% J; F: u& D3 o> M<-as.table(rbind(c(1668,5173),c(287,930)))
8 E8 M/ s5 k4 R# V! m6 t$ y> chisq.test(M): W9 H% e- I8 |* d
$ O+ D7 z3 X5 }- t
        Pearson's Chi-squared test with Yates' continuity correction; p& A0 A: j' ~5 h

# `/ l! C, Z9 ^1 s7 [$ V* X* gdata:  M. ^1 }' U; L* Y# l
X-squared = 0.3175, df = 1, p-value = 0.57313 @! U+ X/ Y* s! D6 h: R
) P; U2 h; m! O# H  p& ~
Python example:! v4 K/ Y8 k0 [+ {3 x% N0 f6 a& J
# h: ]3 l5 n) t% g6 N
>>> from scipy import stats
, {2 C, W% e7 u$ ]- z$ Z6 h) J>>> stats.chi2_contingency([[6841-5173,5173],[1217-930,930]])
5 W: Y( n) Z4 [" }& f# U' w% A(0.31748297614660292, 0.57312422493552839, 1, array([[ 1659.73628692,  5181.26371308],
$ Z) f& b. I$ m# n8 |. g  r/ ~       [  295.26371308,   921.73628692]]))
作者: 大胖子    时间: 2013-12-21 09:11
煮酒正熟 发表于 2013-12-19 13:42
. s% P0 Q  O4 F7 r9 H教授说的是内行话，只不过... 主流思维一直是：假如对照组的业绩优于实验组，那么就推在样板太小、噪音过 ...
4 z% s2 H; C$ ^' c4 ~
卖马桶也是门好生意，有人不用这个吗？
作者: 煮酒正熟    时间: 2013-12-22 00:09
老马丁 发表于 2013-12-20 03:53
3 `' c; \7 R8 a6 E刚到LV. 冒个泡，表达我对此贴的高度关注。
3 p' F( W: V1 ]: J1 U3 c2 S老酒要去印度啊, 记得留点胡子显得粗旷点。印度那地方饥渴的人 ...
8 y' x( i& [! h
抽空写点儿。等写完了再一起加到主贴里去，否则对不起那些评分啊。5 }! R7 a1 u& k. G- m- L
: N9 v0 G. ]+ w1 ~& s! n" v0 Z
前面提到了两个关键点。先说一个：B2C 与 B2B 的不同。我们大多数人关于营销战役和分析的经验，都是基于B2C的，毕竟，营销战役和分析就是源于B2C / 商家-消费者这种交易模式。B2C的交易模式是这样的：你今天来我店里看中什么，付钱，然后拿走；明天又来了，还是这样，一手交钱一手拿货。B2B (商家对商家) 普遍的交易模式是：卖家和买家签个合同，在未来一个较长阶段里，买家按期付钱，以换取在合同约定期限内一直享受卖家的服务或产品。6 h4 s* C/ K, o$ k

/ L' v. |/ r7 R+ C2 ?保险业就是这样。我们的客户不是消费者，而是一个一个公司；具体到这个案例，我们的客户都是小公司 (Small Group or Small Business: 2-100人正式雇员。101-3000就是Middle-Market或中型公司了)。这些小公司和我们签定医疗保险的和约，一签就是一年。好比本地某中餐馆，拥有18名正式员工，与我们签了为期一年的医疗保险，在这一年中他们每个月都按期付钱给我们，他们的18位员工在这一年中都会享受我们提供的医疗保险。一年期满后他们再决定是否续约。对于我们来说，一旦与这个餐馆签约，则未来一年的现金流就都有保证了，在这个时候我们的期待是：一年后他们会续约。0 v( v! _, i* d- Z
(当然，先决条件是，这家公司不要在这一年中产生太大的医疗费用，否则我们就亏了。不过总得来说，这是个小概率事件，可以忽略)
! C8 U' m2 g. r! ^
( [( o) }* D) O9 {为什么这是B2C与B2B之间的关键差异呢？因为在B2C里是一手交钱一手拿货，并不牵涉到未来续约的问题。也因此，在B2C世界里，一个失败的营销战役，最多就是实验组并没有给你带来比对照组更多的流水和利润，你花在战役上的钱白花了。但在B2B世界里，一个失败的战役给公司带来的损失就可能很大，因为它会让原本与你有和约的客户到期后不再续约。
0 k7 \! j; p: P
; H- f- y( o+ B% y" L所以同样是失败的战役，商业风险决然不同。这是第一个关键点。6 v' G8 l  l4 x$ v
作者: 煮酒正熟    时间: 2013-12-22 01:03
Menuett 发表于 2013-12-20 15:56
8 n/ K( o1 H- e9 |9 c  t5 t0 V这个其实是一种binomial response，应该用Contigency Table或者Logisitic Regression（In case there are ...

4 O- P. H- J- H  E3 ?  C/ S1 A6 \4 \4 |
在主贴里虽然只给了retention rate，但后来我给出全部数据了呀。老弟这里的计算不对头啊，不是说你统计学技术出了问题，而是似乎审题出现失物。
' y) o  k9 [4 c/ J* e* `: e4 ~+ j' k$ c: P0 i
理论上，大致有四个因素会影响statistical testing的结果：
3 W9 i+ `6 x! I' G& D: Q( a$ Z7 H1. 总样本的大小 (Test + Control)；其他条件相同的情况下，总样本越大，差异越有可能呈现显著。 ' F% Z- t- I3 f: |; A5 X
2. 实验组与对照组的比例。其他条件相同的情况下，比例越均衡(50%对50%)，差异越有可能呈现显著。
% v  M7 a2 P" H! Y! O3 u: F' L3. 差异。其他条件相同的情况下，差异越大，越有可能呈现显著 (这不是废话吗)3 @. A2 a6 k4 h  a
4. 比值。其他条件相同的情况下，比值越高，越有可能呈现显著。比如两组各有一万人，两组各自的比值90%和81%，就比0.90%和0.81%更有可能呈现显著 (虽然相对优势是一样的)。1 q: o' M+ P# V1 e- M
, M7 \( K& u5 e0 z
下面是原始数据，再算一下？
  w+ o/ e  a8 G6 |7 L
1 [$ r8 G7 u$ f7 U0 _% x8 l& z实验组：3 L9 E# P' i$ L
初始 6841个客户
9 i: x( P/ A( _+ l8 y续约时，只有5173个客户续了约
# f, L% _6 y0 m2 Qretention rate = 75.6%* T: I, J5 O% B* P6 s: o$ j7 g

8 w1 o4 E  C( m/ _% T对照组：6 o: F& U, X1 }/ C
1217% R1 h+ @4 }7 U+ J- O% F, M
930: M0 @7 R  Z2 X2 C
76.4%
作者: 平沙落雁    时间: 2013-12-22 05:33
煮酒正熟 发表于 2013-12-22 01:03
, a' ^6 q' v6 f在主贴里虽然只给了retention rate，但后来我给出全部数据了呀。老弟这里的计算不对头啊，不是说你统计学 ...

" `5 c/ Y# B3 i1 ^& f我恍惚记得两组数据判断显著性差异要计算p值的，肿么算，完全忘记了呀~~~
作者: 煮酒正熟    时间: 2013-12-22 11:29
的名 发表于 2013-12-19 15:33   F, y' B# A/ G6 t" y4 N4 v
79% 和 80.2% 的差别只有1.2。很可能standard deviation就超过1.2了，如果那样的话意义就不大了。 ...
/ s, b' Z4 d( a' {6 |8 X1 q
这个案例，从统计学角度讲，并不存在方差因素。这里的statistical testing，是proportion test.
作者: 煮酒正熟    时间: 2013-12-22 12:18
老马丁 发表于 2013-12-19 00:54 . C: C7 v5 n; y) a
一般用专业软件就行。这种two sample t很多都能做，计算器也行啊。
6 _3 [9 z+ }* a2 e. X
* i4 i& w* s% ]& A* z4 w1 G话说回来，忙乎半天没效果也够急 ...
, D8 O" k1 o7 u2 H3 E+ `( C( x
继续说这第一个关键点。这里我们引入一个词 --- 睡狗 / sleeping dogs.4 p( d8 ]- \6 a$ v

( k, H# p$ Y* X% j1 ~这个词源于英语中的一个成语 --- let the sleeping dogs lie.  直译就是，让睡着的狗继续睡吧。真正的意思是，Do not instigate trouble; Leave something alone if it might cause trouble. 中文的意思就是表没事儿找事儿。
" S- d" f) x6 \) t
5 T- ~5 X0 K+ L& Q5 h6 o六月份的时候我做过另一个深度分析 --- 把我们的客户保持战役 (retention program) 做细分，比如按 tenure (从加入公司起到现在有多少个月)，地区和州，公司大小(两人公司，三四人的，5-10人的，11-20的...)，行业，有没有电邮地址，等等。结果发现，有些细分板块的客户，你给他发信、表示感谢并提醒他到期续约，结果续约率反而比对照组的要低，而且低得不是一点儿半点儿的。我毕竟才进B2B半年，此前的经验完全是B2C的，所以看到这种奇怪现象后心里没底，反复查看自己的 SAS code and logic，也查不出问题，于是就请教本部门统计学博士，一位快退休的美国老头。这位老先生从70年代就开始玩儿SAS，现在还时不时地去几个大学做不定期教学。和老头一说，他也有点儿晕，于是开始在网上做research，结果发现医药界遇到过类似情况：比如某种药物对患病人群的总有效率达到90%，但同时也发现，有0.5%的人群，你给他用了药，病情反而会加重。继续调查，发现美国著名零售商 Target 的营销分析部门曾经建过一个带有革命性的统计学模型 ---- uplifting model (这个就不赘言了)。于是我和老先生商定，我来整理数据，然后老先生用我的数据也建一个 uplifting model。一周之后，模型建好了，简单来说就是把现有客户分成四大类，老先生给这四大类分别取了个名儿：- x7 V$ z& R! e- p7 t# y2 S8 `
; h8 J' C( [7 a4 u' ?! p# J3 V+ u
1. Persuadable -- 这些客户对你发给他的营销信函反应很积极，但如果你不给他们发，他们中就会有些人弃你而去；) Q# p5 G5 S% {! p

3 A: G0 h, t" a/ W- h0 l4 u5 s2. Sure Thing -- 这些客户是你的死忠，你发不发营销信函，他都矢志不渝地爱你一万年！(所以从理论上对这些客户是可发可不发)* H1 x' _3 l, o$ V0 e% Z

% @( ^6 S0 G3 F2 F" ?3. Lost Cause -- 这些客户成为你的客户，从一开始就是一个错误，他们不喜欢你，甚至很讨厌你，已经准备要弃你而去了，你发不发营销信函都不会再改变什么) B/ D3 @. D. v1 B6 M" u2 I; O

! D2 E% U/ Z4 G& c' l% ^0 k4. Sleeping Dogs -- 这些客户... 你要是不理他，他不会离开你，你要是一给他发营销信函，反会惹他生气并弃你而去。
: `4 b6 v" j) `) Q7 W-----------------
/ }4 @3 l. A4 J4 M- t# ~  J% x5 r  N0 H
总结一下：这第一个关键点，就在于，在B2B里，存在这种 sleeping dogs，而在B2C里并没有明显的类似现象。所以在B2C世界里做营销战役，只存在“钱花得值不值”的担心，但在B2B中，除了这一层考虑之外，更重要的是要小心避开睡狗们。  Y+ X  b8 T5 S  E" o

/ g2 g' U' F( F  U( t) q- b) |
作者: 老马丁    时间: 2013-12-22 13:54
煮酒正熟 发表于 2013-12-22 12:18 3 c6 s) d$ l1 |
继续说这第一个关键点。这里我们引入一个词 --- 睡狗 / sleeping dogs.# Q( |* `* X. \$ c1 J0 E
0 g' f, |  s- R8 n& P9 t6 r+ u
这个词源于英语中的一个成语 --- ...

3 V0 I6 V! W7 [5 T  G' z6 l' G; N这四个分类挺有意思的。当年Tirole也对企业有个动物名字的分类， top dog, fat cat 啥的。
" w6 W# H2 }! z5 _* J/ r3 h& U+ [3 s- A. i* u4 s- [
你的对照组和试验组如果都是随机选的，理论上来说睡狗在两个组的分布是均匀的，那么这个差别就主要出现在睡狗的比例上了。但是逻辑上呢，我觉得有点儿问题：
4 u/ Z% Y" M* r1. 为啥咱们的促销backfire? 因为客户里有睡狗。
& t" _7 A0 U9 j2.什么是睡狗？就是那些我们一促销就退订的家伙。
! w/ Y7 S& Q$ ~% ~# |- U; T
+ N' T0 Y2 c: n0 V" X是不是有点套套逻辑？
. f' Z5 B( a( Q+ n: G2 v
: Q' `# A" k8 \- N那么呢，下一步是什么？ 我觉得有些方面值得考虑，
9 D9 S: S, s, |6 T1. 在识别睡狗统计模型发展后，然后检验这个模型的预测有效性。
) F6 _) b& |' D9 I3 j2. 什么因素能够加强或者减弱睡狗的效应？
作者: 煮酒正熟    时间: 2013-12-22 14:37
老马丁 发表于 2013-12-22 00:54 . e$ f2 g  o/ y9 L- R% X
这四个分类挺有意思的。当年Tirole也对企业有个动物名字的分类， top dog, fat cat 啥的。
- T- v# M2 F' v. m; H; d" P
# q- u7 w% @* b3 u/ \你的对照组和 ...
- B7 \" A7 R: N' `9 ~
马丁的回复总是让人不得不思考和回复...
/ m/ ~0 t% b: \  t# i$ r- f  X' a# W0 R% y3 |! {  @) T8 d
1 关于睡狗在两个组里的分布% O, I! [. S# e5 Z" ^
不错，分组时的确是随机分的。所以persuadable 和 睡狗这两个关键群体在两组中的分布大体均匀。但我们的客户保持战役总体上还是成功的 (Test outperforms Control)，这也许是persuadable的比例比睡狗略高 (比如20% versus 15%)。
2 Q+ b' g! Y* V, ]4 J3 l4 F5 \  R3 ~4 m2 ?0 `) J3 Q
2 关于套套逻辑1 c5 s: W% v; ^+ f5 ?7 ?
这里可能是我前面说乱了。这里牵涉到两个战役：客户保持和牙齿交叉销售。backfire的战役不是客户保持。客户保持战役总体上还是成功的 (虽然我们也向睡狗发了促销)。dental cross sell这个战役也不算失败。所谓的backfire，指的是 dental cross sell 战役对客户保持的影响，现在看来是负面的 (我们发牙齿促销的，续约率低于没发牙齿促销的)。为什么是负面的呢？我们的推测是，客户之中的“睡狗”起了作用。而之所以我们会做出这个推测，是因为我们在客户保持战役中看到过“睡狗”们的身影...
! _; U! {. ~5 P) D" Y) ]) k9 D# s3 ^* p0 q+ _- z
至于为什么客户保持战役在总体上是成功的 (Test组的retention rate比Control高)，而dental cross sell却对客户保持有害呢？我的猜测是，客户保持战役中的睡狗比例低于persuadable，而dental cross sell战役中的睡狗比例要高于persuadable。dental cross sell 的目标客户是那些只有医疗保险却没有牙齿保险的，大体上是客户保持战役的目标客户的一个子集，所以两个战役目标客户中，睡狗比例会有差别，cross sell战役中的睡狗相对更多一些，因为缺少足够的 persuadable 来抵销他们的负作用，所以使得整个战役看起来对客户保持构成负作用。
* ^; s5 P: D7 c* J% l---------------------------9 t+ X; b% o) ]5 ^, `* u2 J- J* E) h

( b* i2 i" {- b2 M  F7 @% b% {  m如果我们能够有效识别睡狗的话，那么正确的做法就是把他们从客户保持战役和交叉销售战役中都剔除出去，也就是改进targeting strategy.  ) }9 w1 g( k6 m4 j3 d

" o. m8 C5 U9 [' \- g3 h5 Q9 c
作者: 北宸    时间: 2013-12-22 16:06
煮酒正熟 发表于 2013-12-22 14:37
" i/ N: f0 ]  q1 G/ f马丁的回复总是让人不得不思考和回复...
( [5 b, g" V& ?% C, ?0 H6 ]: v/ l- u( \& Z3 a
1 关于睡狗在两个组里的分布

: d5 z4 ?) m' ]: k  T1 g) _看到煮酒寫的這四組顧客特徵，想到用年費維持服務收入，比方說 健身中心 ，我們是不是可以用下面的行為將其中的一些健身會員如此歸類？
$ E) d& E3 W. V8 d
" |: d/ K+ [$ e4 l# h, [9 [0 b Persuadable --(这些客户对你发给他的营销信函反应很积极，但如果你不给他们发，他们中就会有些人弃你而去)  　會員是好奇寶寶，時常主動詢問各類訊息， 比方說:新的課程設計， 新的會費制度。6 S2 h- E0 f: F1 F

6 R0 [* x- T( l8 z9 u  h& Q2. Sure Thing -- （这些客户是你的死忠，你发不发营销信函，他都矢志不渝地爱你一万年！）　會員每天報到，使用率超高而且從不囉嗦，不用提醒每年也會主動提前續約。: z- J& {  @3 k3 T( F  `, L
5 L! o, k" B; k
3. Lost Cause -- （这些客户成为你的客户，从一开始就是一个错误，他们不喜欢你，甚至很讨厌你，已经准备要弃你而去了，你发不发营销信函都不会再改变什么-）
' a7 B4 u# d" H& D' x這些會員時常抱怨游泳池的水不夠暖，機器不夠新穎，服務態度不好，健身老師不夠帥不夠肌肉不夠魁梧。。。) k- ]0 t5 @; d, f7 e, V. s" M

( ^6 I3 V7 s) ^* t4. Sleeping Dogs （这些客户... 你要是不理他，他不会离开你，你要是一给他发营销信函，反会惹他生气并弃你而去。）
) D0 |3 `3 Y6 F+ |# F很大方的繳了一年的會費後，就很少出現了，了不起兩周運動一次，從不主動詢問訊息但也從不抱怨。
/ }3 e$ i- v8 O; H% D
$ L' F! N9 T  q# F0 {3 H4 s* Q' n6 _, O
' V( S) [$ ?% [( j& n3 m我很好奇，在煮酒的例子裡，能不能各舉出一些更具體的例子？$ o8 J$ c9 z" l$ B$ A% t) p/ ~
# P0 R" R+ K7 O5 E
作者: 煮酒正熟    时间: 2013-12-22 23:07
本帖最后由 煮酒正熟 于 2013-12-22 10:08 编辑
* W- t1 X$ x. q. [( x. H
平沙落雁 发表于 2013-12-21 16:33
# w" n7 d& L8 b9 J. E9 k0 w我恍惚记得两组数据判断显著性差异要计算p值的，肿么算，完全忘记了呀~~~ ...

; s9 C( B6 C# T& m6 D
: A7 T' |' Y8 U' N! x师妹记得p值，不简单啊。判断两组差异是否显著，当然可以用 p value，这样你就可以知道 exactly 在哪个信心水平上(是一个点)，差异是显著的 (过了那个点，就不显著了)。但从工业界和商界的实用角度出发，并不需要如此精准，一般就看95%(或90%或99%)信心水平上是否显著就可以了。所有的计算工具也都是这样programmed。不过我本人比较好奇，比如，如果我发现95%上不显著而90%就显著了，那我就会在90%和95%之间不断地输入新数值直到找到那个百分数，比它高一点就不显著了。这实际上就是在猜 P value. + x2 X& n/ h- V6 _, [
' p/ t6 e; b- Y  _: D9 c
在工业界和商界中的建模过程中，P value 是更为重要的，它可以帮助数模专家决定，哪些变量应该被选入模型，哪些就可以忽略 (因为模型不是越复杂就越好，所以如果对预测准确性贡献不大的话，就不要选入)。$ N& A. _! J- @" K8 d
" U2 Q1 W" Q1 X5 t- n
不过，没有人能手动计算 P value，从前都是靠查表，现在都是靠软件儿* Q8 _" r) r, Y- s; _* u2 L
作者: 老马丁    时间: 2013-12-22 23:55
煮酒正熟 发表于 2013-12-22 23:07 % T! p: O& s7 Y* q8 S
师妹记得p值，不简单啊。判断两组差异是否显著，当然可以用 p value，这样你就可以知道 exactly 在哪个信 ...
( O0 s* O0 E: t6 f
你说得很有意思。我需要时间想一想这两个分析。4 I0 z5 g3 J1 A* b8 P; D
1 c, V7 L% V0 }. ~1 ]5 l
另外，我前面说的用t来测试是错的。随口想当然啊. a: b+ X# j" l: |
这是一个典型Contingency table，比较percentage, 应该用Chi-sq.
5 o- |+ L) F, Y! K& a" v我回头用你给你数据算一下。
* W  q* E3 R9 r' _, m! U( o3 z' L! e: s( g: d
作者: 煮酒正熟    时间: 2013-12-23 00:11
老马丁 发表于 2013-12-22 10:55
3 ?( }6 g; F# k! x你说得很有意思。我需要时间想一想这两个分析。: T: l6 T: z5 j5 G8 e" K

5 d, _! e$ o" J0 i; r8 Z) C另外，我前面说的用t来测试是错的。随口想当然啊

. d- z, Y( R" E' N# _7 }呵呵，我这部分统计学知识不足，无法判断用t-statistics来测试是对是错。现在都是用工具，方便是方便，就是培养了懒人笨人和不求甚解的习惯。
+ k7 A: E1 {; X8 k不错，就是比较percentage，或proportion，其实读书的时候也手算过(靠查表)。等你的计算结果。回头俺也去手算一下。
作者: 煮酒正熟    时间: 2013-12-23 00:41
老马丁 发表于 2013-12-22 10:55
8 f1 p1 P1 U; a- }( c你说得很有意思。我需要时间想一想这两个分析。
; H4 |0 z" K) Y) @, v  X$ X
$ G% y3 `' W7 ]  G% a另外，我前面说的用t来测试是错的。随口想当然啊
" R& E0 w' s- A0 _
这个“睡狗”现象不太常见，尤其是在一手交钱一手拿货的世界里，根本就不存在(即使存在也很难找到直接证据)，所以这个东西非常 controversial.  我虽然倾向于这个判断，但心里也不是特别有底。所以我做了两件事：(1) 如实把我的分析结果 present 给营销部门 (1 director + 3 marketing managers)，但同时建议不急于改变目前cross sell 的 targeting strategy，而是继续观察几个月；(2) 把这个东西拿上来，让你和其他坛友过目，找毛病 (逻辑上的，等等)。" j. v: O# `" r0 A# l+ E0 ^* h
$ v3 D. [: R  }
关于为什么会有睡狗这个问题，我有过一些基于现实常情的思考。现实是，我们的客户都是2-100雇员的小客户，而且85%的客户都是2-30个雇员的，很小。这种小公司里，通常是business owner(s)在大多数决策项目上一把抓，所以，在使用哪家医疗保险这个问题上，decision maker不是大中型公司里的HR or Benefits Director，而是business owner(s)。而小公司里这些小业主，每天需要打理和做决定的事情非常多，所以他们非常非常忙；又因为这些人普遍没有接受过在大中型公司做普通雇员的职业训练，所以做事情缺乏计划性 (没有培养出这种mentality)，所以每天都是见招儿拆招儿，被事情推着走，被动性地应对。了解了他们每天的工作状态，就不难理解为什么会在这些人里面出现“睡狗”了 --- 我举个例子，比如有100个这种小业主，他们每天的生存、工作状态都是这么忙碌和被动，其中有20%的人对我们的医疗保险不满意，但还没有达到要立即换保险公司的愤怒程度。如果你不给他发促销，他很难想起来自己公司需要在1月15日续约，直到续约日前几天才会收到我们公司运营方面的提示，而在短短几天时间里，他很难找到另一家保险公司，所以虽然对我们公司不满意，也就只好将就继续在我们这里忍上一年。可以这么说，这些人之所以续约，是因为他们太过繁忙+做事情缺乏计划性，是不得已。对于这种客户，如果我们营销部门不断给他们发促销信函，而我们的促销信函一般都是在续约日前12周就到达他们手中，这等于在客观上提醒他们提前考虑续约问题 (也就是在客观上改变了他们缺乏计划性的特点)。两三个月的时间，也足够他们找到各方面让他们满意的另一家保险公司了，于是人家就跟我们说拜拜了.../ k; x/ {0 O9 a  p" Z, K: Z* C* l- J

& d+ ]% e5 n" D/ A' _7 @这个道理，我也对我们的营销部门解释得很清楚了，他们也认为很有道理。但这个是纯理论层面上的猜想，虽然符合现实常情，毕竟没有足够的数据、证据支持。唯一能够获得这类数据的是做 market research，特别是找6-8个退约客户做focus group，以获得丰富的信息。$ O" I, q+ `- P
作者: 煮酒正熟    时间: 2013-12-23 01:53
北宸 发表于 2013-12-22 03:06 2 L) i$ A% u" c! B2 i
看到煮酒寫的這四組顧客特徵，想到用年費維持服務收入，比方說 健身中心 ，我們是不是可以用下面的行為將 ...

+ @6 F) A6 z; u. e% i' l/ g宸妹这个健身会员的类比很好。前三者都可以完美对应。第四组其实也可以完美对应。总体来说，睡狗类客户的存在，需要两个条件：(1) 年卡或年度续约性质的交易；(2) 顾客做事缺乏计划性(无论是主观上没有这个习惯，还是客观上疲于奔命)。其中第一条更为关键。所以健身会员制度应该也是存在睡狗现象的。, ^- k0 R/ V& C# ^* i
作者: 小木    时间: 2013-12-23 08:19
提个问题。
% B8 E( I2 I" p/ w顶楼说了，促销一般在续约之前的三个月发出。这“三个月”有什么原因没有？是基于以前的研究还是基于以前的拍脑袋？
* u3 h$ m& }) p5 i$ |还有这里说的是“一般”。样本里有多少不一般的？他们的情况怎么样？; b' u% Y$ p: B4 H- u7 |4 x' r0 ~

, T: D" E& K& |/ t0 e: g既然已经有了”tenure (从加入公司起到现在有多少个月)，地区和州，公司大小(两人公司，三四人的，5-10人的，11-20的...)，行业，有没有电邮地址“，等等数据，我觉得拿retention rate跑一个logistic regression很可能会有一点很有趣的结果。
9 P9 {. s8 }/ r4 Q3 J* n& g5 f0 O* X2 y9 n- A
另外关于健身会员，好玩的事情好像还挺多的，譬如这个。。。; z: h. P( R& h4 ^* b: |9 a
Gourville and Soman. "Pricing and the Psychology of Consumption", Harvard Business Review, September 2002.  i( ]& f; u: k! b9 Y7 }; S, y
作者: 煮酒正熟    时间: 2013-12-23 09:51
小木 发表于 2013-12-22 19:19
3 \6 a5 V3 S! p提个问题。  |: k, E/ l8 _6 O" F% q
顶楼说了，促销一般在续约之前的三个月发出。这“三个月”有什么原因没有？是基于以前的研究还 ...
- Z9 ^, p1 y2 D
三个月不是拍脑袋来的，而是基于市场信息而来的。但这并不代表这个做法就一定正确。依据同样的市场信息，不同的人 (或者相同的人在不同时期) 很可能做出完全不同的战役设计来，关键看你对市场信息的解读和使用是否正确。, L" O$ Y! @" s( s

( B( X6 z6 t( C+ s我们的市场调研结果表明，这种小公司从获得保险产品信息到最终决定买哪家的保险，间隔大约是2~3个月。我们这个“三个月”就是这么来的。提前三个月貌似给了客户合理的时间来了解我们的牙齿保险多么多么优越 (我们的牙保确实很好)，可问题是这个东西是个双刃剑 --- 如果客户对我们的医保已经很不满了，就算你的牙保再好，他也不会去仔细了解了，你牙保促销一到，反而激出了他积累几个月的怨气：Okay that's enough!  I've had it enough!0 n6 S' w7 A5 m/ ]
5 Q/ L* j8 w# j& X
要知道，牙保的premium只有医保的1/15，这可真是捡了芝麻丢了西瓜
) [' F, z: C2 v4 D: p; K
作者: code_abc    时间: 2013-12-23 11:15
如果“睡狗”理论成立的话，那么不仅仅是促销邮件其他事件也可能把他们弄醒，能否找到不续约用户在续约前几个月和你们公司发生交易的数据，然后和续约用户做一个对比。也许这样能证明或证伪这个观点。
作者: 煮酒正熟    时间: 2013-12-23 11:32
code_abc 发表于 2013-12-22 22:15
  m  h2 x, O  j6 [. W2 t+ [9 s如果“睡狗”理论成立的话，那么不仅仅是促销邮件其他事件也可能把他们弄醒，能否找到不续约用户在续约前几 ...

  S8 {9 F9 H4 Q+ Y7 a商业用户与一般消费者存在一个关键性差异 --- 一般消费者，购买商品或服务的决策人与消费人是同一个人，而商业用户，决策者与消费者不是同一个人。我们的客户实际上是小公司的业主，而不是他的雇员们，而我们产品的消费者，才是他们的雇员。可惜，他们的雇员看病后对我们的医保质量和coverage满意或是不满意或是很愤怒，具体在什么时间发生这种情绪变化，这个数据我们是拿不到的。' I# S. K* c. A2 k: z8 X+ o
作者: 煮酒正熟    时间: 2013-12-23 12:29
小木 发表于 2013-12-22 19:19
* X5 u/ ~1 D9 [. f( r提个问题。
3 r$ }7 O1 H# A" ]$ t顶楼说了，促销一般在续约之前的三个月发出。这“三个月”有什么原因没有？是基于以前的研究还 ...
$ a* l; S0 Q( E
小木说的这些，我们早已做过了 --- 我们现在做战役用的模型，就是在我接手这摊之前就已经建好的，用了快一年了，我一直严密关注，表现还是不错的。我们也曾想过建一个更好的模型，就是上面提到的 uplifting model，两个模型一起上，同时观察半年，看哪个表现更优，但营销部不敢做主，呈报给市场销售部 (因为钱是他们出)，结果没批，我们也只好作罢。理论上，应该上那个新模型；就算它并不比老模型优秀，至少也是个尝试。但如果要两个模型一起上，印度那帮孩子是不要指望能把战役 coding 做对的，只能由我来做，只是我要管的事情太多，很难集中精力写这么复杂的 code.  所以听说没批后，老博士不太开心，我倒是暗自松了口气
* ~$ g; j. {) n9 [. u
; I: Z; l. ^. G+ Q小木下面贴的那个健身会员的案例挺有意思的
. [/ ^4 I% {& C' L4 u( r3 l; }
作者: 沉宝    时间: 2013-12-23 13:56
煮酒正熟 发表于 2013-12-23 00:41 3 g! u0 F' v  @0 s! d8 z: A8 P) M
这个“睡狗”现象不太常见，尤其是在一手交钱一手拿货的世界里，根本就不存在(即使存在也很难找到直接证 ...

' K* s- x/ {4 p" ^" I煮酒：在你们那行业里一般给新客户多大的优惠？比如说行规是第一年premium半价，那么“睡狗”现象就比较好解释了。因为这样的话即使你们公司比同行好上20%，理论上那些客户在不同的保险公司之间跳来跳去也比一直跟着你们公司强。之所以dental cross sell战役中的睡狗相对更多一些，是因为1)医疗保险不是你们公司的强项，相对于同行你们的优势不明显或根本没有优势可言；2)相对于牙齿保险，医疗保险是大头。别的公司只要用小优惠就可以撬动客户。换句话说，尽管客户知道你们的牙齿保险好，一旦要他们在保险组合中进行选择（唤醒睡狗），他们会更看重医疗保险。
作者: 老马丁    时间: 2013-12-28 12:00
本帖最后由 老马丁 于 2013-12-28 12:07 编辑 , a/ h2 n' k/ W
煮酒正熟 发表于 2013-12-23 00:41
% W8 O" s6 q' W: P: H: ]1 c/ i/ Q这个“睡狗”现象不太常见，尤其是在一手交钱一手拿货的世界里，根本就不存在(即使存在也很难找到直接证 ...
0 J; ^; ^% {  w% N5 z% q' a) f
, J2 p& o& m5 }- d" L6 Y& X
又看了一遍老酒的全部帖子，说说理解和感想。
1 E8 b5 m5 N& F, I. I: a* b9 o" p! p/ t& R5 @3 D
两个实验。第一个实验，续约促销，结果是正效果7 h3 S+ E; ~8 A
第二个实验，交叉促销，结果是副效果$ \. |2 q6 o/ g8 P% ]' d% F
2 d; w9 {8 X) F. a  ^+ t5 v
6 _  ^" D* m$ T: S# O" j3 y
解释：睡狗比率在两个实验中的不同。2 i( Q8 {( Q4 x0 N
我觉得这个解释比较存疑。随机抽样应该保证睡狗比例在两个实验中大致相当。如果这些效果在统计意义上很小，那么也不必为此烦恼。; b) {/ A* s; Q: q
  Y2 A1 l, B/ ?) c( C) @2 b
老酒关于睡狗产生的机制是非常有道理的。这个促销相当于一个attention trigger，让客户有时间去其他保险公司询价。我觉得两个实验的差别，如果有的话，恰恰和促销内容相关。 续约促销有个惰性养成问题，如果价差不大，客户就不想折腾了。而牙医保险是全新的，同时可以和基本险形成bundle, 这样看起来saving就很多了，跳槽的概率会更大。
8 k( Z9 B) w" t+ V9 W4 W" q* n6 d8 F# I2 l1 f! U# `
下一步应该找出睡狗，建立一个睡狗识别模型。弄个logisitic 模型，分别应用在续约促销和交叉促销中, 看看两个实验里的不续约公司有什么共同因素，比如说，人数，行业，tenure时间等。
作者: 夏翁    时间: 2013-12-28 14:03
老马丁 发表于 2013-12-28 12:00
1 p6 H; F7 H8 ~/ X, ]又看了一遍老酒的全部帖子，说说理解和感想。' w- b. d  z$ P, S
4 z/ o+ f5 n4 }. ]
两个实验。第一个实验，续约促销，结果是正效果
) k% D: v8 `- X' E( b) j1 |6 L0 N
没仔细看睡狗定义，我大概就是其中一条，给大拿们添点数据。。。哈哈哈。。。
* x0 y7 F1 d9 o) E1 y1 x" f9 D, J* `" Q2 k/ r: ~" i+ Z: T
话说我跟着我的保险公司有二十年了吧，撞车失窃好些起，赔偿够爽，估计在我这里还赔着钱呢，所以看看账单小涨也就由它了。上个月突发奇想，想知道其它公司的保价，花了一上午才问了两个公司，一个月付多两百，一个几乎贵一倍，咋舌之余不禁侥幸，原来咱的公司如此善解人意，继续睡狗，继续睡狗。。。哈哈哈。。。
作者: 一休哥    时间: 2013-12-29 12:31
煮酒正熟 发表于 2013-12-23 09:51
/ I- J9 b! }0 I, G( J6 p三个月不是拍脑袋来的，而是基于市场信息而来的。但这并不代表这个做法就一定正确。依据同样的市场信息， ...
( A) U+ c% b+ o1 ~
有趣的问题。我们一客户做campaign是用RFM先segment一番的，总体response rate有时候control是比test高，但从细分的segment里看，有的segment总是高response的。: a1 _3 H/ k9 w* K
  h- j/ w8 h5 P  X5 [% J( a
这是零售相关行业，recency和frequency比较高，也是显著因子，具体到保险行业我倒觉得RFM不一定适用。
作者: 到处停留的叶子    时间: 2013-12-31 04:21
北宸 发表于 2013-12-22 03:06 5 G! \& [0 d* e
看到煮酒寫的這四組顧客特徵，想到用年費維持服務收入，比方說 健身中心 ，我們是不是可以用下面的行為將 ...
6 M6 M$ o& J' a2 j9 z
好奇北宸你是哪一类？ ^_^  新年有新计划么？
5 l$ H( G( o' m% R) o8 M6 q9 s/ j
9 W  q5 ]' u" s& u5 r3 E$ p/ r! e5 W, }
嗯，看下来我觉得你这里的第三类和老酒的分类还是稍有不同的。。。这些客户可能抱怨，不过从根本上来说他们保留不保留这个会员，并不是由这些抱怨的原因决定的。
作者: 褐色的火车    时间: 2013-12-31 12:05
煮酒正熟 发表于 2013-12-21 01:33
0 [' p+ j# R! V2 i注意饮食卫生.
5 l' {% q9 k( }; N+ V! |0 X9 o+ M; _
yes, but how?

" u1 ^$ n! P8 J, S* g7 s# d住在国际连锁酒店里
9 {! e" V2 S1 M喝国际牌子的矿泉水
( V: v, w7 |+ ?5 T% g2 E% [吃在酒店里，不要点沙拉5 o- x% c) `- D, n8 \5 H
刷牙用瓶装水
( I7 D+ A  d/ ~7 n
6 W5 {( p# H1 R$ n在一定接近一个月还增肥的经验分享。
作者: 褐色的火车    时间: 2013-12-31 12:15
煮酒正熟 发表于 2013-12-23 00:11 ; N6 S" r2 j' b: {5 u/ p) h
呵呵，我这部分统计学知识不足，无法判断用t-statistics来测试是对是错。现在都是用工具，方便是方便，就 ...

5 I2 }# u/ ^' G) f- G0 E3 HTTest 是应用在连续变量的。 Continuous* S& P" H9 C4 T' ~6 B

( n! g+ L: z1 F' P5 H' E" M7 x: vChi-Sq 是用在非连续变量的。 Discrete , v) p0 `; B2 f$ z
; w/ S! A8 P5 T% F9 Q! V% b- v4 n
按照你的描述，是应该用Chi-Sq 的，因为你的结果只有两种，YES, OR NO（ 或者Stay or Leave).
7 C8 y' V8 q7 @* b8 y7 Q2 x& ~5 V$ _& D: T1 m5 s/ p2 G2 g
p值要算的话，也是可以手动算的，比较麻烦。 一般软件都会自动算的。 ; y# Z9 f: b7 L

# C! u& F/ m6 I6 s5 ~; v8 W那个信心水平其实意义没有那么大的。 一般选择90% 或者 95% （软件一般缺省是95%），两者之间的数值差异没啥特别的意义，一般是先选定可接受的信心水平（因为和可能要承担的风险相关），然后在此基础上，算出P值，然后来判断是否显著。
* I- l- `9 t9 G
6 {. F3 F9 e& _2 J6 \8 T
作者: ctt1984111    时间: 2014-1-1 00:49
本帖最后由 ctt1984111 于 2014-1-1 01:19 编辑
+ z9 P' O( ?; D7 r* {
% o% Z7 r5 K8 |  ^" O6 W两种办法作proportion test， 一种前面已经提过用Chi-square test，而且已经用R给出了答案：p-value = 0.5731。这种方法除了在R里面用chisq.test()，也可以用prop.test()：. E2 Z5 R( j. j5 L" y, P
4 T7 R2 n8 T# z
a: prop.test(x=c(5173,930),n=c(6841,1217))     (p-value = 0.5731)& m* l( C1 e% k& B+ S0 ?8 W' L
或者 & |5 E" U8 K6 u& I
b: prop.test(x=c(5173,930),n=c(6841,1217),correct=F)                 (p-value = 0.5487)
' W) I$ z: r2 r; p* Z& ~
: q1 p. S2 v" k, n# Da与chisq.test()完全相同. j5 O% b9 O2 C

# C9 k: q. U- p/ i- v0 P而b其实就是Z test（Z test用来比较sample proportion, 而T test用以比较sample mean），那Z test怎么用R来做呢？7 W3 L6 v: n3 ~. k6 U2 Z

. ?) r) F  j/ Y> p=(5173+930)/(6841+1217)3 `/ \& G# a1 S
> z=(5173/6841-930/1217)/sqrt(p*(1-p)*((1/6841)+(1/1217)))! h2 S% b. l& ~: L4 z
> 2*pnorm(z). F+ H- X2 k9 W: B/ O
[1] 0.5486768
7 z. q+ n% O3 {* h
: g1 ^  h& n( N7 u0 S最后就是Z test得到的p-value，跟b的结果一模一样。公式大家可以google：Z test.
1 x. e2 M0 y! m. f. p5 @5 u5 N
. h/ k" D/ f' ~+ I9 z9 {结论是无论用哪种方法，无论是在90%还是95%的confidence level，无论是one tail还是two tail（我这里只做了two tail，one tail稍微改一改就可以得到），null hypothesis（proportion相等）都无法推翻，所以楼主认为可能存在的“睡狗”现象不能通过统计test证实，只能说交叉销售没有起到促进销售的作用。



欢迎光临 爱吱声 (http://129.226.69.186/bbs/) Powered by Discuz! X3.2