AMiner平台（https://www.aminer.cn）由清华大学计算机系研发，拥有我国完全自主知识产权。平台包含了超过2.3亿学术论文/专利和1.36亿学者的科技图谱，提供学者评价、专家发现、智能指派、学术地图等科技情报专业化服务。系统2006年上线，吸引了全球220个国家/地区1000多万独立IP访问，数据下载量230万次，年度访问量超过1100万，成为学术搜索和社会网络挖掘研究的重要数据和实验平台。
必读论文：https://www.aminer.cn/topic
论文集地址：https://www.aminer.cn/topic/604092fb92c7f9be21389bd1
在当下的 NLP 研究领域，随着计算机算力的不断增强，越来越多的通用语言表征的预训练模型（Pre-trained Models，PTMs）逐渐涌现出来。这对下游的 NLP 任务非常有帮助，可以避免大量从零开始训练新的模型。PTM 大致可以分为两代：第一代 PTM 旨在学习词嵌入。由于下游任务不再需要这些模型，因此为了计算效率，这些模型往往采用浅层模型，例如 Skip-Gram，GloVe 等。尽管这些模型可以捕获词的语义，但由于未基于上下文环境，因此不能够捕捉到更深层次的概念，例如：句法结构，语义角色，指代等等；第二代 PTM 专注于学习基于上下文的词嵌入，例如 CoVe，ELMo，OpenAI GPT 和 BERT 等。这些学习到的编码器在下游任务中仍会用于词在上下文中的语义表示。
该论文集共收录48篇论文，引用最多的论文为BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding，引用数为7048。
AMiner，一个具有认知智能的学术搜索引擎：https://www.aminer.cn
#AMiner# #论文#