NLP-文本数据预处理案例

目录标题

1、概述

文本数据分析的作用:
文本数据分析能够有效帮助我们理解数据语料, 快速检查出语料可能存在的问题, 并指导之后模型训练过程中一些超参数的选择.

常用的几种文本数据分析方法:

标签数量分布（不同标签数据的分布）
句子长度分布（分是短文本or长文本，根据长度不同选择不同模型）
数据的句子长度分布：分析句子在哪个部分的分布比较集中，有助于后面句子截断过程中超参数的选择
绘制训练集和验证集的散点图的分布：作用：定位异常数据，帮助后期的人工语料的审核工作
词频统计与关键词词云（可视化）

数据-验证码1111
数据展示：
在这里插入图片描述
数据说明：data.csv中的数据内容共分为2列, 第一列数据0或1, 代表每条文本数据是积极或者消极的评论, 0代表消极, 1代表积极.第二列是评论文本;

2、文本预处理

2.1 数据的标签数量分布

# 导入必备工具包
import seaborn as sns
import pandas as pd
import matplotlib.pyplot as plt
# 设置显示风格
plt.style.use('fivethirtyeight')

#pandas读取数据
data = pd.read_csv("E:/shuju/data.csv",encoding='gbk')
#获取数据标签数量分布
sns.countplot("label", data=data) #label列计数
plt.title("data")
plt.show()

在这里插入图片描述
结论：积极文本数据量多于消极文本数据量的两倍
注意：在后续的深度学习模型评估中,一般使用ACC作为评估指标, 若想将ACC的基线定义在50%左右, 则需要我们的正负样本比例维持在1:1左右, 否则就要进行必要的数据增强或数据删减.本次的样本中正负样本不太均衡，但只做文本预处理，可以不用进行数据增强。

2.2 句子长度分布

句子长度分析，方便后续的截断操作

data.isnull().sum()#查看空值
#空值填充一下，否则后面len()报错
data['sentence'] = data['sentence'].fillna('') 

# 在数据中添加新的句子长度列, 每个元素的值都是对应的句子列的长度
data["sentence_length"] = list(map(lambda x: len(x), data["sentence"]))
# 绘制句子长度列的数量分布图
sns.countplot("sentence_length", data=data)
# 主要关注count长度分布的纵坐标, 不需要绘制横坐标, 横坐标范围通过dist图进行查看
plt.xticks([])
plt.show()

训练集句子长度分布：
在这里插入图片描述
横坐标：句子长度。纵坐标：频数

# 绘制dist长度分布图
sns.distplot(data["sentence_length"])

# 主要关注dist长度分布横坐标, 不需要绘制纵坐标
plt.yticks([])
plt.show()

在这里插入图片描述
结论：大部分句子长度在300以下。长度在100以内的句子频数高
注意：通过绘制句子长度分布图, 可以得知我们的语料中大部分句子长度的分布范围, 因为模型的输入要求为固定尺寸的张量，合理的长度范围对之后进行句子截断补齐(规范长度)起到关键的指导作用. 上图中大部分句子长度的范围大致为20-300之间.

2.3 获取正负样本长度散点分布

# 绘制数据长度分布的散点图
sns.stripplot(y='sentence_length',x='label',data=data)
plt.show()

在这里插入图片描述
结论：正负样本的长度大部分都在600以下。
注意：通过查看正负样本长度散点图, 可以有效定位异常点的出现位置, 帮助我们更准确进行人工语料审查. 上图中在数据负样本中出现了异常点, 它的句子长度近3000左右, 需要我们人工审查。

2.4 获得不同词汇总数统计

# 导入jieba用于分词
# 导入chain方法用于扁平化列表
import jieba
from itertools import chain

# 进行训练集的句子进行分词, 并统计出不同词汇的总数
vocab = set(chain(*map(lambda x: jieba.lcut(x), data["sentence"])))
#set包装--可以去重。chain扁平化列表（多个列表进行合并打印）。map映射
#jieba.lcut(x)分词列表结果，*代表解包
print("数据共包含不同词汇总数为：", len(vocab))

输出：数据共包含不同词汇总数为： 29715

2.5 获得数据上正负的样本的高频形容词词云：

# 使用jieba中的词性标注功能
import jieba.posseg as pseg#分词会给出词性

def get_a_list(text):
    """用于获取形容词列表"""
    # 使用jieba的词性标注方法切分文本,获得具有词性属性flag和词汇属性word的对象, 
    # 从而判断flag是否为形容词,来返回对应的词汇
    r = []
    for g in pseg.lcut(text):
        if g.flag == "a":
            r.append(g.word)#只添加形容词
    return r

# 导入绘制词云的工具包
from wordcloud import WordCloud

#定义获取词云的函数
def get_word_cloud(keywords_list):
    # 实例化绘制词云的类,
    #其中参数font_path是字体路径（微软雅黑包）, 为了能够更好的显示中文
    # max_words指词云图像最多显示多少个词, background_color为背景颜色 
    wordcloud = WordCloud(font_path="E:/shuju/SimHei.ttf",max_words=100, background_color="white")
    # 将传入的列表转化成词云生成器需要的字符串形式。因为词云对象的参数要求是字符串类型
    keywords_string = " ".join(keywords_list)
    # 生成词云
    wordcloud.generate(keywords_string)

    # 绘制图像并显示
    plt.figure() #画布
    plt.imshow(wordcloud, interpolation="bilinear")#线性化的
    plt.axis("off") #不需要坐标
    plt.show() #打印图形

# 获得数据上正样本
p_data = data[data["label"]==1]["sentence"]

# 对正样本的每个句子的形容词
p_a_vocab = chain(*map(lambda x: get_a_list(x), p_data))
#print(train_p_n_vocab)

# 获得数据上负样本
n_data = data[data["label"]==0]["sentence"]

# 获取负样本的每个句子的形容词
n_a_vocab = chain(*map(lambda x: get_a_list(x), n_data))

# 调用绘制词云函数
get_word_cloud(p_a_vocab)
get_word_cloud(n_a_vocab)

在这里插入图片描述
结论：根据高频形容词词云显示, 我们可以对当前语料质量进行简单评估, 同时对违反语料标签含义的词汇进行人工审查和修正, 来保证绝大多数语料符合训练标准.
上图中的正样本大多数是褒义词, 而负样本大多数是贬义词, 基本符合要求, 但是负样本词云中也存在"好"这样的褒义词, 因此可以人工进行审查.

3、总结

基于真实的评论语料进行几种文本数据分析方法.

获得数据的标签数量分布
获取句子长度分布
获取正负样本长度散点分布
获得不同词汇总数统计
获得正负的样本的高频形容词词云