一．项目简介
1.1LangID & langid
项目地址：https://github.com/saffsd/langid.pyLangid是一个现成的语言识别工具。语言识别（LangID）可用于USENET信息，网络搜索词，多语言文本检索，语法分析等领域。从1990年起，LangID就被视为有监督的机器学习任务，并极大地受到文本分类（text categorization）研究的影响[3]。这里我们研究的是单语言（Monolingual）文本的语言识别问题。
langid.py是一个全监督分类器，主要基于多项式（multinomial event model）的朴素贝叶斯分类器。[1][2] 它用共包括97种语言的多场景（domain）的语料对模型进行了训练，场景包括5类：政府文件，软件文档，新闻电讯，在线百科和网络爬虫。
1.2 langid工具优点
1. 与传统文本识别工具不同，可现成使用（off-the-shelf）
2. 模型适用于不同的文本场景（domain），不受场景特征(domain-specific features)的影响
3. 代码轻便易部署，且只用到单个文件
4. 执行速度快
5. 可以作为网络服务（network/internet service）
6. langid.py与WSGI兼容，可以部署在支持WSGI的网络服务器上，实现并行运算
1.3 langid模型的系统结构
二．文档分类模型
2.1 多项式朴素贝叶斯分类器[3]
注意，这里写的不对，P(Ci)不是根据最大似然得到，是直接根据样本中每种类别的个数占比就可以。另外，term只是特征，即特征独立同分布，P(D|Ci)才可以用连乘方式计算，也就是朴素的含义。 所谓的多项式，主要是指这里假设一篇文章是由服从多项式分布的单词生成的。P(D|Ci)的计算，与实际多项式分布有点差异，前面少了个|di}!,是因为这里由argmax操作。
三．文本特征项的确定
本节我们讨论二中的分类模型特征（项）的确定。由于我们将对任意场景的网络文档进行语言识别，因此需要一种对场景不敏感的文本表示（document representation）方法[5]。byte n-grams可以直接提取特征不需做编码检测，这里我们采用byte n-grams而不是 codepoint n-grams（具体查看[5]）（这里byte n-grams 指字符级N-gram,之所以在这里这么选，是因为这里的语言识别，不受场景影响，不受原始语言编码影响，采用codepoint n-grams的话，需要切词，由此导致a.过度分割特征空间，b.编码之间的虚假匹配）。
3.1 byte n-grams[4]
原文献中n-grams的应用是文本分类（textcategory）,这里我们可以认为类别是语种，本质上也是分类问题。
3.2 特征选取
如果希望降低上述N-gram频率表的词表大小，我们可以选择具有较高平均互信息的特征N-gram项；且这些项对于同一语言，在不同场景下的分布应该相似，即对场景不敏感，即 (language-domain) score较低。具体的特征选取见[3]和[2]中的FeatureSelection部分。
四．结论
对于语言检测，测试文档越长准确率越高，但通过对micor-blog & twitter等进行实验，langid.py具有较高的准确率和识别速度，因此适用于长/短文档，所以可以考虑将其作为我们search query的语言识别工具。
五．参考文献
[1]Marco Lui 安定Timothy Baldwin, langid.py: An Off-the-shelf Language Identification Tool.
[2] Andrew McCallum, Kamal Nigam, A Comparison of Event Models for Naive Bayes Text Classification
[3] Marco Lui and Timothy Baldwin, Cross-domainFeature Selection for Language Identification
[4] William B. Cavnar and John M. Trenkle, N-Gram-BasedText Categorization
[5] Timothy Baldwin and Marco Lui, Language Identification: The Long and the Short of the Matter
补充：http://www.meilongkui.com/archives/431
