煮酒正熟 发表于 2013-12-19 23:10 static/image/common/back.gif
馁狐怖揩蹄馁狐... 今天加班四小时，就是在填去印度的签证申请表
NND明天还要去挨一堆shots!
到印度注意安全，注意饮食卫生
{:201:}{:201:}{:201:}
李根 发表于 2013-12-20 12:30 static/image/common/back.gif
到印度注意安全，注意饮食卫生
注意饮食卫生.
yes, but how?
煮酒正熟 发表于 2013-12-20 12:33 static/image/common/back.gif
注意饮食卫生.
yes, but how?
全买瓶装水，自己煮面条
洗澡不许唱歌！！！
{:215:}{:215:}{:215:}
这个案例好棒。最近对marketing analytics有点上瘾。。。
我觉得有一点细节要注意一下。在执行这个cross selling行动之前，老酒随机选择了一批客户，做了随机对照试验。干啥前要先做试验，现在这个是个很重要的思想。。。
老酒对这个实验样本做了RFM之类的分类了么？感觉这种产品Recency和Frequency好像不大容易，但是做个Monetary分类可能会有些有价值的信息，例如大客户更可能买牙科保险或者renew之类。。。。
另外我觉的可以跑跑logistic regression。。。
本帖最后由 Menuett 于 2013-12-22 15:59 编辑
煮酒正熟 发表于 2013-12-20 12:05 static/image/common/back.gif
基本可以说是显著的。总的来说，在商界做统计学分析，95%信心水平是用得最多的，当95%上不显著时，都会去 ...
这个其实是一种binomial response，应该用Contigency Table或者Logisitic Regression（In case there are cofactors）来做。只记比率丢弃了Number of trial的信息（6841和1217个客户）。
结果p＝0.5731。 远远不显著。要在alpha level 0.05的水平上检验出76.42%和75.62%的区别，即使实验组和对照组各自样本大小相同，各自尚需44735个样本（At power level 80%）。see: Statistical Methods for Rates and Proportions by Joseph L. Fleiss （1981）
R example：
> M<-as.table(rbind(c(1668,5173),c(287,930)))
> chisq.test(M)
Pearson's Chi-squared test with Yates' continuity correction
data:M
X-squared = 0.3175, df = 1, p-value = 0.5731
Python example:
>>> from scipy import stats
>>> stats.chi2_contingency([,])
(0.31748297614660292, 0.57312422493552839, 1, array([[ 1659.73628692,5181.26371308],
]))
煮酒正熟 发表于 2013-12-19 13:42 static/image/common/back.gif
教授说的是内行话，只不过... 主流思维一直是：假如对照组的业绩优于实验组，那么就推在样板太小、噪音过 ...
卖马桶也是门好生意，有人不用这个吗？
老马丁 发表于 2013-12-20 03:53 static/image/common/back.gif
刚到LV. 冒个泡，表达我对此贴的高度关注。
老酒要去印度啊, 记得留点胡子显得粗旷点。印度那地方饥渴的人 ...
抽空写点儿。等写完了再一起加到主贴里去，否则对不起那些评分啊。
前面提到了两个关键点。先说一个：B2C 与 B2B 的不同。我们大多数人关于营销战役和分析的经验，都是基于B2C的，毕竟，营销战役和分析就是源于B2C / 商家-消费者这种交易模式。B2C的交易模式是这样的：你今天来我店里看中什么，付钱，然后拿走；明天又来了，还是这样，一手交钱一手拿货。B2B (商家对商家) 普遍的交易模式是：卖家和买家签个合同，在未来一个较长阶段里，买家按期付钱，以换取在合同约定期限内一直享受卖家的服务或产品。
保险业就是这样。我们的客户不是消费者，而是一个一个公司；具体到这个案例，我们的客户都是小公司 (Small Group or Small Business: 2-100人正式雇员。101-3000就是Middle-Market或中型公司了)。这些小公司和我们签定医疗保险的和约，一签就是一年。好比本地某中餐馆，拥有18名正式员工，与我们签了为期一年的医疗保险，在这一年中他们每个月都按期付钱给我们，他们的18位员工在这一年中都会享受我们提供的医疗保险。一年期满后他们再决定是否续约。对于我们来说，一旦与这个餐馆签约，则未来一年的现金流就都有保证了，在这个时候我们的期待是：一年后他们会续约。
(当然，先决条件是，这家公司不要在这一年中产生太大的医疗费用，否则我们就亏了。不过总得来说，这是个小概率事件，可以忽略)
为什么这是B2C与B2B之间的关键差异呢？因为在B2C里是一手交钱一手拿货，并不牵涉到未来续约的问题。也因此，在B2C世界里，一个失败的营销战役，最多就是实验组并没有给你带来比对照组更多的流水和利润，你花在战役上的钱白花了。但在B2B世界里，一个失败的战役给公司带来的损失就可能很大，因为它会让原本与你有和约的客户到期后不再续约。
所以同样是失败的战役，商业风险决然不同。这是第一个关键点。
Menuett 发表于 2013-12-20 15:56 static/image/common/back.gif
这个其实是一种binomial response，应该用Contigency Table或者Logisitic Regression（In case there are ...
在主贴里虽然只给了retention rate，但后来我给出全部数据了呀。老弟这里的计算不对头啊，不是说你统计学技术出了问题，而是似乎审题出现失物。
理论上，大致有四个因素会影响statistical testing的结果：
1. 总样本的大小 (Test + Control)；其他条件相同的情况下，总样本越大，差异越有可能呈现显著。
2. 实验组与对照组的比例。其他条件相同的情况下，比例越均衡(50%对50%)，差异越有可能呈现显著。
3. 差异。其他条件相同的情况下，差异越大，越有可能呈现显著 (这不是废话吗)
4. 比值。其他条件相同的情况下，比值越高，越有可能呈现显著。比如两组各有一万人，两组各自的比值90%和81%，就比0.90%和0.81%更有可能呈现显著 (虽然相对优势是一样的)。
下面是原始数据，再算一下？
实验组：
初始 6841个客户
续约时，只有5173个客户续了约
retention rate = 75.6%
对照组：
1217
930
76.4%
煮酒正熟 发表于 2013-12-22 01:03 static/image/common/back.gif
在主贴里虽然只给了retention rate，但后来我给出全部数据了呀。老弟这里的计算不对头啊，不是说你统计学 ...
我恍惚记得两组数据判断显著性差异要计算p值的，肿么算，完全忘记了呀~~~{:205:}{:205:}{:205:}
的名 发表于 2013-12-19 15:33 static/image/common/back.gif
79% 和 80.2% 的差别只有1.2。很可能standard deviation就超过1.2了，如果那样的话意义就不大了。 ...
这个案例，从统计学角度讲，并不存在方差因素。这里的statistical testing，是proportion test.
老马丁 发表于 2013-12-19 00:54 static/image/common/back.gif
一般用专业软件就行。这种two sample t很多都能做，计算器也行啊。
话说回来，忙乎半天没效果也够急 ...
继续说这第一个关键点。这里我们引入一个词 --- 睡狗 / sleeping dogs.
这个词源于英语中的一个成语 --- let the sleeping dogs lie.直译就是，让睡着的狗继续睡吧。真正的意思是，Do not instigate trouble; Leave something alone if it might cause trouble. 中文的意思就是表没事儿找事儿。
六月份的时候我做过另一个深度分析 --- 把我们的客户保持战役 (retention program) 做细分，比如按 tenure (从加入公司起到现在有多少个月)，地区和州，公司大小(两人公司，三四人的，5-10人的，11-20的...)，行业，有没有电邮地址，等等。结果发现，有些细分板块的客户，你给他发信、表示感谢并提醒他到期续约，结果续约率反而比对照组的要低，而且低得不是一点儿半点儿的。我毕竟才进B2B半年，此前的经验完全是B2C的，所以看到这种奇怪现象后心里没底，反复查看自己的 SAS code and logic，也查不出问题，于是就请教本部门统计学博士，一位快退休的美国老头。这位老先生从70年代就开始玩儿SAS，现在还时不时地去几个大学做不定期教学。和老头一说，他也有点儿晕，于是开始在网上做research，结果发现医药界遇到过类似情况：比如某种药物对患病人群的总有效率达到90%，但同时也发现，有0.5%的人群，你给他用了药，病情反而会加重。继续调查，发现美国著名零售商 Target 的营销分析部门曾经建过一个带有革命性的统计学模型 ---- uplifting model (这个就不赘言了)。于是我和老先生商定，我来整理数据，然后老先生用我的数据也建一个 uplifting model。一周之后，模型建好了，简单来说就是把现有客户分成四大类，老先生给这四大类分别取了个名儿：
1. Persuadable -- 这些客户对你发给他的营销信函反应很积极，但如果你不给他们发，他们中就会有些人弃你而去；
2. Sure Thing -- 这些客户是你的死忠，你发不发营销信函，他都矢志不渝地爱你一万年！(所以从理论上对这些客户是可发可不发)
3. Lost Cause -- 这些客户成为你的客户，从一开始就是一个错误，他们不喜欢你，甚至很讨厌你，已经准备要弃你而去了，你发不发营销信函都不会再改变什么
4. Sleeping Dogs -- 这些客户... 你要是不理他，他不会离开你，你要是一给他发营销信函，反会惹他生气并弃你而去。
-----------------
总结一下：这第一个关键点，就在于，在B2B里，存在这种 sleeping dogs，而在B2C里并没有明显的类似现象。所以在B2C世界里做营销战役，只存在“钱花得值不值”的担心，但在B2B中，除了这一层考虑之外，更重要的是要小心避开睡狗们。
煮酒正熟 发表于 2013-12-22 12:18 static/image/common/back.gif
继续说这第一个关键点。这里我们引入一个词 --- 睡狗 / sleeping dogs.
这个词源于英语中的一个成语 --- ...
这四个分类挺有意思的。当年Tirole也对企业有个动物名字的分类， top dog, fat cat 啥的。
你的对照组和试验组如果都是随机选的，理论上来说睡狗在两个组的分布是均匀的，那么这个差别就主要出现在睡狗的比例上了。但是逻辑上呢，我觉得有点儿问题：
1. 为啥咱们的促销backfire? 因为客户里有睡狗。
2.什么是睡狗？就是那些我们一促销就退订的家伙。
是不是有点套套逻辑？
那么呢，下一步是什么？ 我觉得有些方面值得考虑，
1. 在识别睡狗统计模型发展后，然后检验这个模型的预测有效性。
2. 什么因素能够加强或者减弱睡狗的效应？
老马丁 发表于 2013-12-22 00:54 static/image/common/back.gif
这四个分类挺有意思的。当年Tirole也对企业有个动物名字的分类， top dog, fat cat 啥的。
你的对照组和 ...
马丁的回复总是让人不得不思考和回复...
1 关于睡狗在两个组里的分布
不错，分组时的确是随机分的。所以persuadable 和 睡狗这两个关键群体在两组中的分布大体均匀。但我们的客户保持战役总体上还是成功的 (Test outperforms Control)，这也许是persuadable的比例比睡狗略高 (比如20% versus 15%)。
2 关于套套逻辑
这里可能是我前面说乱了。这里牵涉到两个战役：客户保持和牙齿交叉销售。backfire的战役不是客户保持。客户保持战役总体上还是成功的 (虽然我们也向睡狗发了促销)。dental cross sell这个战役也不算失败。所谓的backfire，指的是 dental cross sell 战役对客户保持的影响，现在看来是负面的 (我们发牙齿促销的，续约率低于没发牙齿促销的)。为什么是负面的呢？我们的推测是，客户之中的“睡狗”起了作用。而之所以我们会做出这个推测，是因为我们在客户保持战役中看到过“睡狗”们的身影...
至于为什么客户保持战役在总体上是成功的 (Test组的retention rate比Control高)，而dental cross sell却对客户保持有害呢？我的猜测是，客户保持战役中的睡狗比例低于persuadable，而dental cross sell战役中的睡狗比例要高于persuadable。dental cross sell 的目标客户是那些只有医疗保险却没有牙齿保险的，大体上是客户保持战役的目标客户的一个子集，所以两个战役目标客户中，睡狗比例会有差别，cross sell战役中的睡狗相对更多一些，因为缺少足够的 persuadable 来抵销他们的负作用，所以使得整个战役看起来对客户保持构成负作用。
---------------------------
如果我们能够有效识别睡狗的话，那么正确的做法就是把他们从客户保持战役和交叉销售战役中都剔除出去，也就是改进targeting strategy.
煮酒正熟 发表于 2013-12-22 14:37 static/image/common/back.gif
马丁的回复总是让人不得不思考和回复...
1 关于睡狗在两个组里的分布
看到煮酒寫的這四組顧客特徵，想到用年費維持服務收入，比方說 健身中心 ，我們是不是可以用下面的行為將其中的一些健身會員如此歸類？
Persuadable --(这些客户对你发给他的营销信函反应很积极，但如果你不给他们发，他们中就会有些人弃你而去) 會員是好奇寶寶，時常主動詢問各類訊息， 比方說:新的課程設計， 新的會費制度。
2. Sure Thing -- （这些客户是你的死忠，你发不发营销信函，他都矢志不渝地爱你一万年！） 會員每天報到，使用率超高而且從不囉嗦，不用提醒每年也會主動提前續約。
3. Lost Cause -- （这些客户成为你的客户，从一开始就是一个错误，他们不喜欢你，甚至很讨厌你，已经准备要弃你而去了，你发不发营销信函都不会再改变什么-）
這些會員時常抱怨游泳池的水不夠暖，機器不夠新穎，服務態度不好，健身老師不夠帥不夠肌肉不夠魁梧。。。
4. Sleeping Dogs （这些客户... 你要是不理他，他不会离开你，你要是一给他发营销信函，反会惹他生气并弃你而去。）
很大方的繳了一年的會費後，就很少出現了，了不起兩周運動一次，從不主動詢問訊息但也從不抱怨。
我很好奇，在煮酒的例子裡，能不能各舉出一些更具體的例子？
本帖最后由 煮酒正熟 于 2013-12-22 10:08 编辑
平沙落雁 发表于 2013-12-21 16:33 static/image/common/back.gif
我恍惚记得两组数据判断显著性差异要计算p值的，肿么算，完全忘记了呀~~~ ...
师妹记得p值，不简单啊。判断两组差异是否显著，当然可以用 p value，这样你就可以知道 exactly 在哪个信心水平上(是一个点)，差异是显著的 (过了那个点，就不显著了)。但从工业界和商界的实用角度出发，并不需要如此精准，一般就看95%(或90%或99%)信心水平上是否显著就可以了。所有的计算工具也都是这样programmed。不过我本人比较好奇，比如，如果我发现95%上不显著而90%就显著了，那我就会在90%和95%之间不断地输入新数值直到找到那个百分数，比它高一点就不显著了。这实际上就是在猜 P value.
在工业界和商界中的建模过程中，P value 是更为重要的，它可以帮助数模专家决定，哪些变量应该被选入模型，哪些就可以忽略 (因为模型不是越复杂就越好，所以如果对预测准确性贡献不大的话，就不要选入)。
不过，没有人能手动计算 P value，从前都是靠查表，现在都是靠软件儿
煮酒正熟 发表于 2013-12-22 23:07 static/image/common/back.gif
师妹记得p值，不简单啊。判断两组差异是否显著，当然可以用 p value，这样你就可以知道 exactly 在哪个信 ...
你说得很有意思。我需要时间想一想这两个分析。
另外，我前面说的用t来测试是错的。随口想当然啊:L
这是一个典型Contingency table，比较percentage, 应该用Chi-sq.
我回头用你给你数据算一下。
老马丁 发表于 2013-12-22 10:55 static/image/common/back.gif
你说得很有意思。我需要时间想一想这两个分析。
另外，我前面说的用t来测试是错的。随口想当然啊
呵呵，我这部分统计学知识不足，无法判断用t-statistics来测试是对是错。现在都是用工具，方便是方便，就是培养了懒人笨人和不求甚解的习惯。
不错，就是比较percentage，或proportion，其实读书的时候也手算过(靠查表)。等你的计算结果。回头俺也去手算一下。
老马丁 发表于 2013-12-22 10:55 static/image/common/back.gif
你说得很有意思。我需要时间想一想这两个分析。
另外，我前面说的用t来测试是错的。随口想当然啊
这个“睡狗”现象不太常见，尤其是在一手交钱一手拿货的世界里，根本就不存在(即使存在也很难找到直接证据)，所以这个东西非常 controversial.我虽然倾向于这个判断，但心里也不是特别有底。所以我做了两件事：(1) 如实把我的分析结果 present 给营销部门 (1 director + 3 marketing managers)，但同时建议不急于改变目前cross sell 的 targeting strategy，而是继续观察几个月；(2) 把这个东西拿上来，让你和其他坛友过目，找毛病 (逻辑上的，等等)。
关于为什么会有睡狗这个问题，我有过一些基于现实常情的思考。现实是，我们的客户都是2-100雇员的小客户，而且85%的客户都是2-30个雇员的，很小。这种小公司里，通常是business owner(s)在大多数决策项目上一把抓，所以，在使用哪家医疗保险这个问题上，decision maker不是大中型公司里的HR or Benefits Director，而是business owner(s)。而小公司里这些小业主，每天需要打理和做决定的事情非常多，所以他们非常非常忙；又因为这些人普遍没有接受过在大中型公司做普通雇员的职业训练，所以做事情缺乏计划性 (没有培养出这种mentality)，所以每天都是见招儿拆招儿，被事情推着走，被动性地应对。了解了他们每天的工作状态，就不难理解为什么会在这些人里面出现“睡狗”了 --- 我举个例子，比如有100个这种小业主，他们每天的生存、工作状态都是这么忙碌和被动，其中有20%的人对我们的医疗保险不满意，但还没有达到要立即换保险公司的愤怒程度。如果你不给他发促销，他很难想起来自己公司需要在1月15日续约，直到续约日前几天才会收到我们公司运营方面的提示，而在短短几天时间里，他很难找到另一家保险公司，所以虽然对我们公司不满意，也就只好将就继续在我们这里忍上一年。可以这么说，这些人之所以续约，是因为他们太过繁忙+做事情缺乏计划性，是不得已。对于这种客户，如果我们营销部门不断给他们发促销信函，而我们的促销信函一般都是在续约日前12周就到达他们手中，这等于在客观上提醒他们提前考虑续约问题 (也就是在客观上改变了他们缺乏计划性的特点)。两三个月的时间，也足够他们找到各方面让他们满意的另一家保险公司了，于是人家就跟我们说拜拜了...
这个道理，我也对我们的营销部门解释得很清楚了，他们也认为很有道理。但这个是纯理论层面上的猜想，虽然符合现实常情，毕竟没有足够的数据、证据支持。唯一能够获得这类数据的是做 market research，特别是找6-8个退约客户做focus group，以获得丰富的信息。
北宸 发表于 2013-12-22 03:06 static/image/common/back.gif
看到煮酒寫的這四組顧客特徵，想到用年費維持服務收入，比方說 健身中心 ，我們是不是可以用下面的行為將 ...
宸妹这个健身会员的类比很好。前三者都可以完美对应。第四组其实也可以完美对应。总体来说，睡狗类客户的存在，需要两个条件：(1) 年卡或年度续约性质的交易；(2) 顾客做事缺乏计划性(无论是主观上没有这个习惯，还是客观上疲于奔命)。其中第一条更为关键。所以健身会员制度应该也是存在睡狗现象的。
提个问题。
顶楼说了，促销一般在续约之前的三个月发出。这“三个月”有什么原因没有？是基于以前的研究还是基于以前的拍脑袋？
还有这里说的是“一般”。样本里有多少不一般的？他们的情况怎么样？
既然已经有了”tenure (从加入公司起到现在有多少个月)，地区和州，公司大小(两人公司，三四人的，5-10人的，11-20的...)，行业，有没有电邮地址“，等等数据，我觉得拿retention rate跑一个logistic regression很可能会有一点很有趣的结果。
另外关于健身会员，好玩的事情好像还挺多的，譬如这个。。。
Gourville and Soman. "Pricing and the Psychology of Consumption", Harvard Business Review, September 2002.