一、深度学习模型
1.CNN
2.LSTM
3.Attention
二、与传统机器学习模型的比较
1.SVM
2.LR
3.GBDT
4.XGBoost
5.RandomForest
6.LightGBM
三、文本特征选择
1.一般短文本的长度在200字符左右，需要更加精巧的模型来判别
2.对于网络群聊短文本，包含各种特殊字符，表情符，@符号等。那么这些字符在预处理的时候是否需要去掉？还是将所有的字符都扔进模型中？这是需要考虑的问题
3.语言模型是nlp领域处理的基础，特征抽取时需要注意不要丢掉语言学信息
4.预训练词向量的选择，是否使用预训练词向量，需要做结果对比。如果引入预训练词向量带来的效果不大，可以使用随机初始。预训练词向量的选择：腾讯开源，自身构建
5.结合单词词向量、分词位置词向量、词性信息三者提取文本特征，通过concat构建新的特征向量
6.在文本表示上，可以使用RNN最后一个时刻的输出作为文本的表示，也可以综合考虑每个时刻的输出