TF_IDF 알고리즘에 대한 간략한 설명 및 계산 예제 구현

주로 Xiang Liang의 저서 "Recommendation System"과 Xiaopozhan의 Wu Shengran 교사의 "Design of Movie Recommendation System"과정의 관련 연구 노트를 연구하는 데, 결함이 있으면 저자가 저를 바로 잡을 수 있기를 바랍니다.

TF_IDF 알고리즘 원리

• TF (Term Frequency, TF) 정규화 된 항 주파수 : $$T{F}_{I,J}=\frac{{엔}_{I,J}}{{엔}_{*,J}}$$ $T{F}_{I,J},단어즉I의텍스트파일J에전류의주파수레이트,N-{}_{I,J},워드언어전에서텍스트장J의현재의시간수,N-\; 형{}_{*,J}텍스트파일J의총시간수.$
• IDF (逆 文档 频率) :
  $$ID{F}_{나는}=싸다g\left(\frac{엔+(1)}{{엔}_{나는}+1}\right)$$
  N은 문서 세트의 총 문서 수를 나타냅니다.${엔}_{나는}$i라는 단어가 포함 된 문서 세트의 문서 수를 나타냅니다.

구현 예

1. 데이터 및 전처리 정의

#引入库
import numpy as np
import pandas as pd

#定义预处理数据
docA="The cat sat on my bed"
docB="The dog sat on my kness"
 
#词袋汇总
bowA=docA.split(" ")
bowB=docB.split(" ")
bowA
#构建词库
wordSet = set(bowA).union(set(bowB))

2. 단어 수 세기

# 统计词频
#利用统计词典保存词语出现的频率
wordDictA=dict.fromkeys(wordSet,0)
wordDictB=dict.fromkeys(wordSet,0)

#遍历文档统计词数
for word in bowA:
    wordDictA[word] +=1
for word in bowB:
    wordDictB[word] +=1

pd.DataFrame([wordDictA,wordDictB])

	그만큼	침대	고양이	개	kness	나의	의 위에	수능
0	1	1	1	0	0	1	1	1
1	1	0	0	1	1	1	1	1

3. TF 계산

  def computeTF(wordDict,bow):
        tfDict={
    
    }
        nbowCount = len(bow)
        for word,count in wordDict.items():
            tfDict[word]=count/nbowCount
        return tfDict
    
tfA=computeTF(wordDictA,bowA)
tfB=computeTF(wordDictB,bowB)
tfA

{'The': 0.16666666666666666,
 'cat': 0.16666666666666666,
 'on': 0.16666666666666666,
 'kness': 0.0,
 'sat': 0.16666666666666666,
 'bed': 0.16666666666666666,
 'dog': 0.0,
 'my': 0.16666666666666666}

4. IDF 계산

def computeIDF( wordDictList ):
    # 用一个字典对象保存idf结果，每个词作为key，初始值为0
    idfDict = dict.fromkeys(wordDictList[0], 0)
    N = len(wordDictList)
    import math
    
    for wordDict in wordDictList:
        # 遍历字典中的每个词汇，统计Ni
        for word, count in wordDict.items():
            if count > 0:
                # 先把Ni增加1，存入到idfDict
                idfDict[word] += 1
                
    # 已经得到所有词汇i对应的Ni，现在根据公式把它替换成为idf值
    for word, ni in idfDict.items():
        idfDict[word] = math.log10( (N+1)/(ni+1) )
    
    return idfDict

idfs = computeIDF( [wordDictA, wordDictB] )
idfs 

{'The': 0.0,
 'cat': 0.17609125905568124,
 'on': 0.0,
 'kness': 0.17609125905568124,
 'sat': 0.0,
 'bed': 0.17609125905568124,
 'dog': 0.17609125905568124,
 'my': 0.0}

5. TF_IDF 계산

def computeTFIDF( tf, idfs ):
    tfidf = {
    
    }
    for word, tfval in tf.items():
        tfidf[word] = tfval * idfs[word]
    return tfidf

tfidfA = computeTFIDF( tfA, idfs )
tfidfB = computeTFIDF( tfB, idfs )

pd.DataFrame( [tfidfA, tfidfB] )

	그만큼	침대	고양이	개	kness	나의	의 위에	수능
0	0.0	0.029349	0.029349	0.000000	0.000000	0.0	0.0	0.0
1	0.0	0.000000	0.000000	0.029349	0.029349	0.0	0.0	0.0