语言判断(中文、英文、韩文等)

语言判断中文、日文等(langdetect和langid)

注:语言类型主要参考的是ISO 639-1语言编码标准,详见ISO 639-1百度百科

个人使用感受:langdetect主要是看首字符是什么语言就是什么语言,当然,可以取比例最高的,而langid是取得占比最高的语言

#方法一:langdetect
#这是直接看是什么语言的
from langdetect import detect
#这是看各个语言的占比
from langdetect import detect_langs

s1  ="how are you:中文中文中文中文中文中文중국어dsds中国語中国語中国語"print(detect(s1))
print(detect_langs(s1)) 

结果:
en    # 英文
[en:0.4285710541309797, zh-cn:0.4285702310485093, cy:0.1428561681475863] # 这里是所探测的句子中包含的比例及其所占的比例。







#方法二:langid

import langid
s3 = "how are you:中文中文中文中文중국어dsds中国語中国語中国語"
print(langid.classify(s3))   # langid.classify(s3)输出探测出的语言类型及其confidence score,其confidence score计算方式方法见:https://jblevins.org/log/log-sum-exp


结果:
('zh', -330.6410880088806)   # 中文

猜你喜欢

转载自blog.csdn.net/qq_41110377/article/details/128733215