1、FastText

FastText是一种典型的深度学习词向量的表示方法，它非常简单通过Embedding层将单词映射到稠密空间，然后将句子中所有的单词在Embedding空间中进行平均，进而完成分类操作。

在这里插入图片描述

1.1、FastText网络结构

#FastText网络结构

from keras.models import Sequential
from keras.layers import Embedding
from keras.layers import GlobalAveragePooling1D
from keras.layers import Dense
import faxt

vocab_size = 2000
embedding_dim = 100
max_word = 500
class_num = 5

def build_fastText():
    model =  Sequential()
    model.add(Embedding(vocab_size,embedding_dim,input_length = max_word))
    model.add(GlobalAveragePooling1D())
    model.add(Dense(class_num,activation = 'softmax'))
    model.compile(loss='categorical_crossentropy', optimizer='SGD',metrics = ['accuracy'])
    return model

if __name__ == '__main__':
    model = build_fastText()
    print(model.summary())

Model: "sequential_1"
_________________________________________________________________
 Layer (type)                Output Shape              Param #   
=================================================================
 embedding_1 (Embedding)     (None, 500, 100)          200000    
                                                                 
 global_average_pooling1d_1   (None, 100)              0         
 (GlobalAveragePooling1D)                                        
                                                                 
 dense_1 (Dense)             (None, 5)                 505       
                                                                 
=================================================================
Total params: 200,505
Trainable params: 200,505
Non-trainable params: 0
_________________________________________________________________
None

1.2、基于fastText的文本分类

#基于fastText的文本分类
import pandas as pd
from sklearn.metrics import f1_score
import fasttext.FastText

train_df = pd.read_csv('新建文件夹/天池—新闻文本分类/train_set.csv', sep='\t', nrows=15000)
train_df['label_ft'] = '__label__' + train_df['label'].astype(str)
train_df[['text', 'label_ft']].iloc[:-5000].to_csv('train.csv', index=None, header=None, sep='\t')

model = fasttext.train_supervised('train.csv', lr=1.0, wordNgrams=2,
                                  verbose=2, minCount=2, epoch=25, loss="hs")
val_pred = [model.predict(x)[0][0].split('__')[-1] for x in train_df.iloc[-5000:]['text']]
val_pred
print(f1_score(train_df['label'].values[-5000:].astype(str), val_pred, average='macro'))
0.82

fasttext（3）-- API 文档 & 参数说明_ouprince的博客-CSDN博客

2、word2vec训练词向量及使用

使用gensim库来实现word2vec构建词向量模型。

用jieba对语料数据集进行分词，分词后的语料按一行存储一个文本的格式处理。按以上格式整合为一个分词语料文本。
用keras提供的LineSentence函数 读入句子。
用class gensim.models.word2vec.Word2Vec训练词向量。

class gensim.models.word2vec.Word2Vec(sentences=None, size=100, alpha=0.025, window=5, min_count=5, max_vocab_size=None, sample=0.001, seed=1, workers=3, min_alpha=0.0001, sg=0, hs=0, negative=5, cbow_mean=1, hashfxn=<built-in function hash>, iter=5, null_word=0, trim_rule=None, sorted_vocab=1, batch_words=10000)

文本素材：

如果有来生，要做一棵树，站成永恒。
没有悲欢的姿势，一半在尘土里安详，一半在风里飞扬;
一半洒落荫凉，一半沐浴阳光。
非常沉默、非常骄傲。
从不依靠、从不寻找。

2.1、用jieba对语料进行分词处理

from gensim.models.word2vec import Word2Vec
from gensim.models import word2vec
import jieba
file= 'poem.txt'

# 先用jieba对中文语料分词
f1= open(file, 'r', encoding='UTF-8')
f2 = f1.read()
f3 = jieba.cut(f2)
f5 = open('poem1.txt', 'w', encoding='UTF-8')
f5.write(' '.join(f3))

2.2、用LineSentence类来读文件

# 使用word2vec提供的LineSentence类来读文件
f4=  word2vec.LineSentence('poem1.txt')  #LineSentence把文本按换行分成句子

# LineSentence：
for i in f4:
    print(i)

'''['如果', '有来生', '，', '要', '做', '一棵树', '，', '站成', '永恒', '。']
['没有', '悲欢', '的', '姿势', '，', '一半', '在', '尘土', '里', '安详', '，', '一半', '在', '风里', '飞扬', ';']
['一半', '洒落', '荫凉', '，', '一半', '沐浴', '阳光', '。']
['非常', '沉默', '、', '非常', '骄傲', '。']
['从不', '依靠', '、', '从不', '寻找', '。']'''

2.3、词向量的训练

#构建词向量模型
w2v_model = Word2Vec(f4, vector_size=10 , window=2, min_count=0) 

#模型存放与加载
w2v_model.save('w2v.model') 

# 保存词向量
model.wv.save_word2vec_format('poem.vector', binary=False)

2.4、词向量的使用

通过模型加载词向量，在工程化的应用中，建议使用该种方法，加载速度快。

model = gensim.models.Word2Vec.load('test.model') 为通过模型加载词向量，在实际使用中更改模型名称即可

使用保存的词向量加载，工程中不推荐，加载速度慢。

vector = gensim.models.KeyedVectors.load_word2vec_format('data.vector')为使用保存的词向量加载词向量，在实际使用中更改文件名称即可。vector['非常'] 为该种方法获取词向量的方法。

#1 通过模型加载
w2v_model = Word2Vec.load('w2v,model') 

#模型词向量对应的词表dic
dic = w2v_model.wv.index2word
print(dic)
print(len(dic))
'''想要获得的词不在word2vec模型的词表中，会发生错误，获取词向量时先判断，如果词不在word2vec模型的词表中需要另做处理'''

print(w2v_model.wv['非常'])#获取词“非常”对应的词向量
print(w2v_model.most_similar('非常', topn=10))#获取词“非常”最相似的10个词

#计算两个词的相似度
w2v_model.wv.similarity('如果', '要') 


# 找出最相似的前n个词
w2v_model.wv.similar_by_word('非常',topn = 10) 

#找出类别不同的词
print( w2v_model.wv.doesnt_match(u"有来生 化为 的 沐浴".split()))

#size
w2v_model.layer1_size

#获取model中的词：

w2v_model.wv.key_to_index.keys()

# 2 通过词向量加载
vector = gensim.models.KeyedVectors.load_word2vec_format('data.vector')
print(vector['提供'])

2.5、词向量可视化

from builtins import bytes, range
 
import pandas as pd
pd.options.mode.chained_assignment = None
from sklearn.manifold import TSNE
import gensim
import matplotlib.pyplot as plt
from matplotlib.font_manager import FontProperties
font = FontProperties(fname="himalaya.ttf",size=20)
 
 
def tsne_plot(model, words_num):
 
    labels = []
    tokens = []
    for word in model.wv.vocab:
        tokens.append(model[word])
        labels.append(word)
 
    tsne_model = TSNE(perplexity=30, n_components=2, init='pca', n_iter=1000, random_state=23)
    new_values = tsne_model.fit_transform(tokens)
    x = []
    y = []
    for value in new_values:
        x.append(value[0])
        y.append(value[1])
    plt.figure(figsize=(10, 10))
    for i in range(words_num):
        plt.scatter(x[i], y[i])
        if b'\xe0' in bytes(labels[i],encoding="utf-8"):
            this_font = font
        else:
            this_font = 'SimHei'
        plt.annotate(labels[i],
                     Fontproperties=this_font,
                     xy=(x[i], y[i]),
                     xytext=(5, 2),
                     textcoords='offset points',
                     ha='right',
                     va='bottom')
    plt.show()
 
if __name__ == '__main__':
    model = gensim.models.Word2Vec.load('w2v.model')
    print(f'There are {len(model.wv.index2word)} words in vocab')
    word_num = int(input('please input how many words you want to plot:'))
    tsne_plot(model, word_num)

3、TextCNN

TextCNN：

通过word2vec构建出词向量模型

利用神经网络在词向量的基础上实现文本分类

Neural Network的embedding layer可用于加载训练好的词嵌入模型：用word2vec学到的词向量作为NN的embedding layer的初始权重，而不是用随机的初始化权重。

3.1、导入数据

import tensorflow as tf
import pandas as pd
import matplotlib.pyplot as plt
from tensorflow.keras import layers
from sklearn.model_selection import train_test_split
from collections import Counter 
from gensim.models import Word2Vec

import numpy as np
from sklearn import preprocessing
from sklearn.metrics import precision_score, accuracy_score,recall_score,f1_score,roc_auc_score, precision_recall_fscore_support, roc_curve, classification_report



train_data=pd.read_csv('新建文件夹/天池—新闻文本分类/train_set.csv', sep='\t')  
test_data=pd.read_csv('新建文件夹/天池—新闻文本分类/train_set.csv', sep='\t')

3.2、构建词向量权重矩阵

from collections import Counter
import pandas as pd

# Vocab 的作用是：
# 1. 创建 词 和 index 对应的字典，这里包括 2 份字典，分别是：_id2word 和 _id2extword
# 其中 _id2word 是从新闻得到的， 把词频小于 5 的词替换为了 UNK。对应到模型输入的 batch_inputs1。
# _id2extword 是从 word2vec.txt 中得到的，有 5976 个词。对应到模型输入的 batch_inputs2。
# 后面有两个 embedding 层，_id2word 对应的 embedding 是可学习的，_id2extword 对应的 embedding 是从文件中加载的，是固定的
# 2.创建 label 和 index 对应的字典

train_data=pd.read_csv('新建文件夹/天池—新闻文本分类/train_set.csv', sep='\t')  
test_data=pd.read_csv('新建文件夹/天池—新闻文本分类/train_set.csv', sep='\t')  



class Vocab():
    def __init__(self, train_data):
        self.min_count = 5
        self.pad = 0
        self.unk = 1
        self._id2word = ['[PAD]', '[UNK]']#从训练集中得到
        self._id2extword = ['[PAD]', '[UNK]']#从导入的词向量中得到


   #得到词向量的权重矩阵
    def load_pretrained_embs(self, embfilepath):
        with open(embfilepath, encoding='utf-8') as f:   #打开训练好的词向量文件
            lines = f.readlines()
            items = lines[0].split()
            # 第一行分别是单词数量、词向量维度
            word_count, embedding_dim = int(items[0]), int(items[1])

        # 下面的代码和 word2vec.txt 的结构有关
        for line in lines[1:]:
            
            index = len(self._id2extword)#词向量中单词的数目
            embeddings_martix = np.zeros((word_count + index, embedding_dim))
            
            values = line.split()
            self._id2extword.append(values[0]) # 首先添加第一列的单词到词典中
            vector = np.array(values[1:], dtype='float64') # 后面 100 列的词向量
            
            embeddings_martix[self.unk] += vector
            embeddings_martix[index] = vector
            index += 1

 
        # unk 的词向量是所有词的平均
        embeddings_martix[self.unk] = embeddings_martix[self.unk] / word_count
        # 除以标准差
        embeddings_martix = embeddings_martix / np.std(embeddings_martix)

        reverse = lambda x: dict(zip(x, range(len(x))))
        self._extword2id = reverse(self._id2extword)

#         assert len(set(self._id2extword)) == len(self._id2extword)

        return embeddings_martix
    
vocab = Vocab(train_data)

待补充。。。

Word2Vec词向量训练、使用及可视化操作

genSIM 导入 txt 格式的词向量参数_Z-Jeff的博客-CSDN博客

【深度学习】详解TextCNN - 知乎 (zhihu.com)

NLP知识点：Tokenizer分词器 - 掘金 (juejin.cn)

(1条消息) 自然语言处理常用标识符＜UNK＞,＜PAD＞,＜SOS＞,＜EOS＞等_呆萌的代Ma的博客-CSDN博客