金玉其外的东西往往败絮其中,世上的东西,看上去很美的居多。
作者举了多克斯牙膏的例子,“用户反映使用多克斯牙膏将使蛀牙减少23%”。大字标题的广告。由于美国严格的法律,造假基本不可能的。其实如果用户仔细看下面的小字,会发现所谓的测试组只有12个用户。当然这个还不是最恶劣的,另一个牙粉的广告,只有仅仅6个案例。
在小样本的情况下,想要得到符合要求的统计数字当然就简单了。只要反复地一次次做这样的实验,直到得出符合自己需要的结果为止,而那些不符合要求的结果,就被直接被无视了。用这种方法,就是要证明吃糖对牙齿有好处,或者抽烟有利于长寿,也不是没有可能。
马三立有个相声叫“皮猴”,讲的就是个算命的扣着块石板,上面写着“没有”,来人算命他就不停问问题,最后总能问出“没有”来,然后把石板翻过来说我早知道没有。结果有次碰上个“全和人”,什么都有,最后实在没辙了,问冬天来了你有皮猴没有才好不容易交代过去。相声大师各有巧妙不同,马三立就最能揣摩人的心理,你不听到最后未准都乐不起来。八十年代他刚复出时就有人说,马三立的相声居然不被人欣赏,实在是个悲哀的事。当时还小,不以为然,后来才觉得实在是说得太对了。
当然,谁都知道12个样本对于证明某种东西效果而言实在是太少了,那么多少算够呢?有个关于小儿麻痹症疫苗的实验,有450名接种疫苗,同时680名儿童作为对照组,看上去应该是个大规模医学实验了。但实际情况是,疫苗组和对照组都没有发病儿童。为什么呢?因为即便在当时,小儿麻痹症的发病率也只有千分之二左右,因此千人左右的实验规模是远远不够的。
除了小样本以外,另一个误区就是没有来由的百分比。当电视上成龙大哥看上去很真诚地说“我要省电30%”时,有多少人会去深究他到底要跟哪家厂商的哪款空调在什么环境下比可以省电30%?设想如果去跟格力较真,格力恐怕不会拿自己的一款比,那样的话那款空调怎么卖;恐怕也不敢拿其他厂商的比,人家如果认真起来,在测试环境测试条件上稍微严格要求下,格力就得赔偿人家的名誉损失。如果我是格力,我就专门留着一款自己的老空调,等人家来较真时拿出来充数。不过在国内也没啥意义,中国没那样的法律环境。