Yuan Yao:
- common sense到 visual relation
图片中抽取commonsense - openRE hierarchy信息
- DocRED 2.0, reasoning上面，sentence level-> document level. cross-document.
- Joint Extraction Document-level RE抽取关系和证据。
Zhengyan Zhang
- PLM
- ERNIE
- 结合知识图谱 xiaozhi
- 预训练过程。 改进fine-tune
- ERNIE 外部实体理解
- xiaozhi 结合图谱表示学习。捕捉实体相关知识的能力。2 loss:
- 文本表示BERT-like、知识表示TransE-like
文本+图谱补全都有提升
- 下游任务指导的预训练。word mask，mask掉会有特别的关注。 如果mask介词，是没什么用的。
- 预训练模型在fine tune的优化，模型冗余， attention head，影响不大。使用下游任务的输入进行模型剪枝。attention matrix中的交互强度，都比较低的话，其实没有捕捉到连接，或者说没什么用。-》 在fine tune之前选择head然后进行训练/性能，减少50%的head，效果还是不错的。
- 4.1如何增加多模态知识。实体的描述，实体的有关图片。 尝试知识、HowNet, ConceptNet. 构建违背常识的负例，增强模型的常识的理解。
- 4.2显式考虑图谱结构进行推理和文本理解。 Neural Symbolic Model。
- 4.3 更好的预训练，下游任务指导的预训练。 word selection-> text selection.
- 4.4改进Transformer， 下一代NLP模型。
- 动态神经网络 新的模型结构、更大容量、更强表达能力。 现在想法是增加CV模块增加模型捕捉能力。 更架构搜索不同
Xu Han
两周写一次周报。
Prevous:
1.知识获取存在的问题：
复杂结构问题、数据增长问题。
数据规模问题、学习能力、复杂语境、开放关系
多语言、远程监督降噪、 DIAG-NRE 人工标注、主动学习（做的差不多了，收益不大
少次学习、hybrid protipicalnetwork。 fewrel1.0/2.0 再做一个领域transfer。
transfer-> domain adaptation.
Few-shot \snow-ball
event extraction. 参数会有层次结构。
文档场景下的知识获取。
持续学习
工具包 OpenKE\ OpenNRE.
Next:
更多知识类型
- 尝试知识学习
- 无监督事件抽取
- 事件数据集构建
进一步推动知识获取能力 - 多模态学习
- 少次学习
- 文档级别
- 跨文档级别
- 开放领域
持续学习问题：
- 知识图谱表示的持续学习
- 知识获取模型的持续学习
- 知识指导的NLP
- 知识推理的NLP
- 工具包
- 事件知识图谱。 以人为中心的知识图谱构建
2019 ACL EMNLP AAAI 13篇
ACL 投9 篇
寒假：
- 继续工作
- 阅读论文、总结
- 2周报
