Baseline Needs More Love: On Simple Word-Embedding-Based Models and Associated Pooling Mechanisms读书笔

发表于ACL2018

本文对比了简单用Word Embedding+Pooling的模型（SWEM）与使用CNN/RNN的模型的表现，发现SWEM简单有效，某些任务上甚至超过了CNN/RNN模型。通过比较得到以下几点结论：

    长文本上直接用Pooling非常有效，而CNN/RNN在短文本上更有效；

    在情感分析上词序比较重要，但通过引入Hierarchical Pooling也能有很好的表现；

    在语句匹配任务上（NLI，answer sentence selection等），简单Pooling与CNN/RNN表现接近甚至更好；

    Max-pooling训练得到的词向量具有稀疏性，可根据词向量的维度对同类词进行聚类。