本科的毕业设计：微博情感分析，分别用SVM, Bayes, DNN, LSTM, Attention+BiLSTM, XGBoost等多种模型搭建并训练正负情感二分类器

我接情感分析本科的毕业设计, 它发出来供大家交流

• 用FastText在语料库上训练并生成词向量, 该任务语料库较小, 用fastText可以增加n-gram特征, 比传统word2vec要好
• 训练集10000条语料, 测试集500条语料
• 分别用SVM, Bayes, DNN, LSTM, Attention+BiLSTM, XGBoost等多种模型搭建并训练正负情感二分类器
  • SVM其实不太适合做NLP, 只是当年我还很菜所以选了SVM(尬笑), 出于情怀就贴上来了
  • Bayes速度快, 效果好。可能是因为该任务语料规模较小,在大规模语料任务上性能会下降,而且磁带模型丢失了语序信息,可拓展性不强(2020.2.13更新)
  • DNN效果不好, 不过现在也很少有直接用DNN做NLP的, 所以这里仅作为从机器学习到深度学习的过渡模型了
  • LSTM用到了上游训练的FastText词向量, 并且考虑了语序信息, 效果有明显提升
  • Attention+BiLSTM效果很好, 但相比纯LSTM提升没那么明显，主要是因为该任务相对简单且语料少。迁移至更复杂任务后注意力的强大会越来越明显
  • XGBoost真是机器学习界的一大杀器, 在这种简单的NLP任务上真是又快又好(2020.6.4更新)
• 对不同话题下的100条微