版权声明:可以转载奥 https://blog.csdn.net/Jiajikang_jjk/article/details/83052777
TF/IDF算法
前言
当我们去了解一篇文章是不是我们所需要时就要去看摘要,看关键字,而对于关键字的提取使用的主要流行的算法就是IF/IDF
和TextRank
算法,此篇博文重点是对IF/IDF
算法的学习。
背景介绍
1:IF/IDF
全称Term Frequency-Inverse Document Frequency
,中文名称:词频-逆文档频次算法,它是一中基于统计的计算方法。
2:词频-逆文档频次算法(TF/IDF)常用于评估一个文档集中一个词次对某份文档的重要程度。试想一下,一个词对于一个文章越重要,说明这个词越能说明它是关键词。
3:词频-逆文档频次算法(TF/IDF)是由两部分组成,其中TF算法是用于统计一个词在一篇文档出现的频次,IDF算法是统计一个词在文档集的多少个文档中出现。
基本思想
- TF算法
一个词在文档中出现的次数越多,则其对文档的表达能力也就越强。 - IDF算法
如果一个词在越少的文档中出现,则其对文档的区分能力也就是越强。
公式说明
- TF算法
- 是表示词 在文档 中出现频次
- 表示统计文档中每个词出现次数的总和
- 就是它的概率
- IDF算法
- 是文档集中总文档数
- 是文档集中出现词 的文档数量,分母加 是为了采用拉普拉斯平滑,避免有部分新的词没有在语料库中出现过导致分母为零的情况出现。
- TF-IDF算法
说明
计算得到的 的值越高说明此词就越适合作为关键词,当然对于关键词可能不止一个,可以根据 的由大到小排序取前 个作为关键词。
说明
此次关于TF/IDF算法的学习参考的资料是《python自然语言处理实战核心技术与算法》