爱吱声

标题: 基于统计的语言处理规则——读吴军“数学之美”（2） [打印本页]
作者: 就爱抬杠    时间: 2012-6-26 21:24
标题: 基于统计的语言处理规则——读吴军“数学之美”（2）
从人类学习语言的过程来说，本来就有两种办法：一种是本国人的办法，从小听说读写，没有人去费心学什么语法规则；另外一种是外国人的办法，学语法，背单词，语法学得头头是道，单词背了一堆，真正用起来还是不行。哪种效果好，不言而喻。
8 U7 `) Q4 |6 C
  g) V1 A0 ]  f2 k8 t! E如果换个角度来看，可以说外国人的办法是基于“规则”的办法，这些“规则”就是由语言学家总结的语法；本国人的办法则是基于“统计”的办法，只不过这种”统计“在日常生活中就自动做了，自己都意识不到。“熟读唐诗三百首，不会作诗也会吟”，多接触语言素材，天长日久，自然知道怎么说是对的，怎么说是错的，怎么说更好一些。7 O2 F# X4 _1 `; n

& O. L4 n1 O1 n) v人的大脑当然和计算机不一样，但用语法规则的办法即使对计算机来说也是走不通的。问题的关键不在于计算机没法处理大的计算量，而在于没有那么多“语言学家”来拟定这些千变万化、日新月异的语法规则。那么用统计的方法呢？处理大数据量，向来是计算机的强项。而且统计方法的好处在于样本少了也能用，样本越多越精确。假如我们想让计算机判断“bush“到底是总统布什还是“小树丛”，当然可以靠制定诸如“布什”应当接着总统之类的规则来实现，但更好的方法应该还是靠上下文：在总统，国会，伊拉克之类的词旁边出现的”bush“，是布什的可能性当然高得多。) R8 w& S- s4 H( r; v" m
1 i0 R$ O, K* Z' ^
计算机如何能判断一句话该怎么说？两个词之间的概率关系是可以通过语料库统计出来的，词A和词B的相对频度，就等于AB出现的频度除以B的频度。选取概率最高的方式，这就应该是所能得到的最好的结果。推而广之，一句话中各个词的关系也是可以的。但这是一种条件概率，第二个词的概率依赖于第一个词，而第三个词依赖于第一个、第二个词……问题变得非常复杂，但数学上我们可以假设任意一个词的概率只与它前面一个词相关，问题就大大简化了，而这样的假设得出的结果也是可用的。( ?. {, V1 O6 ^9 _1 H0 F

9 o/ q7 ?6 ^5 b0 V. O# b! u现实问题当然没那么简单，一个词出现的概率当然与前面的词相关。一般的，假设与前面N-1个词相关，则称为N-1阶马尔可夫假设。N=1时，就是上下文无关的假设，就像高级程序语言一样；N=2时，就像刚才提到的，是只与前面一个词相关的假设，而一般常见的是N=3。$ A3 c7 a5 {3 G. u) V
- g0 F# ^. @6 t: Q) h6 S0 ]2 v6 I
实践证明，从N=2到N=3，效果提升明显；N=3到N=4，效果提升并不显著，资源消耗却相对增加很快。目前GOOGLE的翻译系统和语言识别系统做到了N=4。  G: a& R* A# R% L

0 W8 R7 ?  E/ `+ j有了模型，当然需要训练，而当语料资源不足时，训练出的概率可信度会出现问题。譬如外星人在小镇上数了5分钟，一共数到6个人，就推断人类男女比例是5:1，这显然是有问题的。如果在大城市数一天，结果会可信得多。然而语言是千变万化的，相对于语言的复杂度来说，即使把互联网上所有现存的语料全都纳入进去，理论上讲数据量也是不够的。, _. A  a3 R( Y  h
: f* L3 t/ N- h+ D; H& _( g
因此，需要做进一步的估计和处理。原则就是“抓大放小”：高频度出现的，即使换了样本库，它应该还是高频度的，最多频度相对有点变化；但低频度出现的，完全可能和样本的选择有关，没准换些样本，就是另外的事件低频度出现了。因此，对于没有出现过的事件，也不能简单地认为概率为零，而需要给他们分配一定的概率，所分配的概率应当从出现概率较低的那些事件中来。经过这样的处理，整条频度曲线会比较平滑，而不是突然下降为零。这个还需要进行另外的计算来估计。8 _# t! N/ Y. E- z
. g- V( p: I3 b9 Z: `
训练的语料和实际的应用环境也需要相配合，如果两者的领域脱节，模型效果肯定大打折扣。例如选取人民日报或者新华社的稿件作为网页搜索的素材，搜索结果并不好，因为实际网页上的文字并没有那么规范。
  C" x4 p! W; Y" f
1 r  f- z: T+ X" S9 N3 ~2 \
作者: nj_power    时间: 2012-6-29 17:26
google的翻译对于西方语系,比如英文对法文, 德语等语种, 处理得相当好了, 只要稍微改一下就可以了.) H/ c' Z; S5 {" p. h% U0 q+ |+ N0 m( n
+ r  }" m$ o: ^
但对中文,效果一般,只能提供些关键词,其他的还不行.
作者: 就爱抬杠    时间: 2012-6-29 20:28
nj_power 发表于 2012-6-29 17:26
, y2 E( K9 B3 y0 t# Jgoogle的翻译对于西方语系,比如英文对法文, 德语等语种, 处理得相当好了, 只要稍微改一下就可以了.
3 e+ J, u5 ]3 N* ^& P
3 A/ G) ^9 k: F/ {. P# K( J  o但对中 ...

; v( j! f! r7 j: E2 d翻译来说目前确实如此
作者: castigliano    时间: 2012-8-16 16:18
最近二十年确实是统计学习大行其道，把基于规则的人工智能系统打得找不着北。



欢迎光临 爱吱声 (http://129.226.69.186/bbs/) Powered by Discuz! X3.2