1.应用前景
随着互联网时代的高速发展，人们能够获取到的信息量也成指数级增长。最初信息检索的任务是由搜索引擎完成，是一种基于关键词检索的方法，抓取互联网上海量的网页进行关键词提取并建立倒排表，利用 PageRank [1]算法针对用户的输入返回所有命中的有权重优先的网页链接，然而这样的检索结果规模很大，并且结果之间存在冗余或者冲突的情况，用户很难快速从搜索引擎的返回结果中二次筛选出理想的答案[2]。随着可移动便携式设备的普及，新的交互方式如语音输入等，使得传统搜索引擎并不再适用于现代生活的场景。相应的，更直观的“文本进文本出”甚至是“语音进语音出”更符合人类的认知习惯，问答系统满足了这一需求[3]。而为了使现有的系统更加的符合人们的交流习惯、更好的利用用户输入的上下文信息，对话系统在此基础上应用而生[4]。使得用户不需要去按照系统的要求去凝结关键词，可以在更加自然的对话环境下向系统提出需求。
对于自然语言处理方面，我们更习惯于将各种模式的输入信息转化为文字的形式来作为对话系统的输入。那么作为对话系统的唯一输入，其肩负着理解用户输入的重任[5]。使系统正确的理解输入的自然语言并不简单，首先我们要做的是对输入文本的信息抽取[6]，而关系抽取作为信息抽取的重要子任务[7]，其主要目的是将非结构化或半结构化描述的自然语言文本转化成结构化数据，关系抽取主要负责从文本中识别出实体，抽取实体间的语义关系[8]。我们能正确的理解其中的语义关系对于用户的意图分析显得至关重要[9]，而转化而成的结构化数据往往又会作为对话系统的知识库，相当于对话系统的数据中心[10]。鉴于关系抽取在对话系统中的重要地位，以及对话系统所面临的大规模语料，使用深度学习方法来解决关系抽取在大规模语料上所面临的困境成为自然的想法。
2.国内外研究现状分析
在自然语言处理（Natural Language Processing）领域中，对话系统 (多轮次对话的问答系统) 是一个广受关注的研究分支[11]。同时该领域也细分为垂直领域（只针对某一特定领域）以及开放领域。其中垂直领域问答系统最早可以追溯到上世纪60 年代，一款名为 Baseball [12]率先敲开了问答系统的大门，它能够回答棒球知识以及美国职业棒球联赛球队球员的信息，使用的是规整的结构化数据以及预设的固定回答逻辑，在如今信息爆炸的大背景下，固化的对话逻辑以及对数据要求的苛刻使得当时的系统结构很快被淘汰。当今互联网公司相继发布各自的客服机器人，并且采用机器客服无法解析的情况进行人工干预的策略[13]，比较常见的是电商行业以及需要大量售后服务的行业。学术界对于垂直领域问答系统的研究也一直热度很高，近年来，陆续有关于医疗、音乐、手机等问答系统问世。
除了垂直领域，开放领域（Open Domain）对话系统往往更受市场欢迎[14]。后者不限制语料的领域，通用性较高, 如今的工业界将传统意义的问答系统与闲聊机器人整合，一批新型服务型机器人问世，如苹果的 Siri，微软的 Cortana，百度的度秘等等[15]，这些服务型机器人已经逐渐转型为生活助理，同时有赖于语音识别在近几年的发展（语音识别准确率是问答系统主要瓶颈之一），这些机器人提供了更好的用户体验，吸引了大量关注。
虽然现阶段的各种无论是垂直领域还是开放领域问答系统都在各自的行业取得了不错的成就，但是随着时代发展，人们不再满足于传统的“一问一答”模式，希望能够在一些更灵活的场景完成更多
轮次的对话，比如机场订票，如果面对一个机器人，需要它像人一样对用户完成查询机票、订票、退票、改签等等一个人类售票员所应该完成的任务。
关系抽取在对话系统中扮演着很重要的角色[16]，关系抽取可以将非结构化或者是半结构化自然语言描述的文本转化成结构化数据，这对于对话系统的用户意图理解和知识库的扩充显得尤为重要。知识库虽然能够给对话系统提供丰富的答案[17]，但是对于自然语言的理解仍然是一个困难的挑战，同一个问题可以有多种不同的表述。可回答的单事实（single-fact）问题比较常见[18]，在对话系统的任务中占很大的比重，也相对容易些。这类任务可以转化为实体和关系抽取的问题，从问题中抽出实体和关系，再到知识库中去找答案[19]。
现有主流关系抽取技术分为有监督关系抽取，无监督关系抽取，和半监督关系抽取三种方法。
- 有监督的学习方法将关系抽取任务当做分类问题[20]，根据训练数据设计有效的特征，从而学习各种分类模型，然后使用训练好的分类器预测关系。该方法的问题在于需要大量的人工标注训练语料，而语料标注工作通常非常耗时耗力。
- 半监督的学习方法主要采用Bootstrapping[21]进行关系抽取。对于要抽取的关系，该方法首先手工设定若干种子实例，然后迭代地从数据从抽取关系对应的关系模板和更多的实例。
- 无监督的学习方法假设拥有相同语义关系的实体对拥有相似的上下文信息。因此可以利用每个实体对对应上下文信息来代表该实体对的语义关系，并对所有实体对的语义关系进行聚类[22]。
与其他两类相比，有监督学习能够更好的抽取有效的特征，其在关系抽取方面的表现也是最好的，也越来越多的吸引了国内外学者的注意力。而有监督的学习方法的缺点也十分的明显，就是缺乏大规模有标注语料，如何获得大量的有标注语料就成为了我们工作的重点，远程监督方法就由此孕育而生。远程监督方法[23]，将已有的知识库对应到丰富的非结构化数据中，从而生成大量的训练数据，从而训练关系抽取器。这在一定程度上缓解了我们语料不足的问题，但是远程监督方法所带来的问题也是不容忽视的：
- 远程监督生成的训练数据必然存在着准确率问题，如何解决错误训练数据的问题是我们工作的一个重点[24]。
- NLP工具带来的误差，比如NER，parsing等[25]，越多的特征工程就会带来越多的误差，在整个任务的 pipeline 上会产生误差的传播和积累[26]，从而影响后续关系抽取的精度。
目前，越来越多的学者将目光聚焦到远程监督方法上来了，通过解决远程监督方法的不足来弥补数据集的缺失。主要工作聚焦到两个方面，一是我们实质上是采用半监督学习的方法生成大规模的语料集，其中必然存在错误标签，采用注意力机制[27]或者是多实例学习[28]去噪是我们工作的一个重点。二是“流水线”式处理方法带来的错误传播和错误放大问题，采用深度学习方式来提取特征、使用“联合学习”[29]来解决错误传播和放大问题是关系分类的又一个重点。
参考文献：
[1] LeCun, Yann, Yoshua Bengio, and Geoffrey Hinton. "Deep learning." nature 521.7553 (2015): 436.
[2] Katz B. Annotating the world wide web using natural language. Computer-Assisted Information Searching on Internet. LE CENTRE DE HAUTES ETUDES INTERNATIONALESD’
[3] Chen, Hongshen, et al. "A Survey on Dialogue Systems: Recent Advances and New Frontiers." arXiv preprint arXiv:1711.01731 (2017).
[4] Serban I V, Sordoni A, Bengio Y, et al. Building end-to-end dialogue systems using generative hierarchical neural network models. arXiv preprint arXiv:1507.04808, 2015
[5] Chen, Yun-Nung, Asli Celikyilmaz, and Dilek Hakkani-Tür. "Deep Learning for Dialogue Systems." Proceedings of ACL 2017, Tutorial Abstracts (2017): 8-14.
[6] Yang, Cheng, et al. "Network Representation Learning with Rich Text Information." IJCAI. 2015.
[7] Zeng, Wenyuan, et al. "Incorporating relation paths in neural relation extraction." arXiv preprint arXiv:1609.07479 (2016).
[8] Nadeau D, Sekine S. A survey of named entity recognition and classification. Lingvisticae Investigationes, 2007, 30(1):3–26.
[9] Lin, Yankai, et al. "Neural relation extraction with selective attention over instances." Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers). Vol. 1. 2016.
[10] Dai, Zihang, Lei Li, and Wei Xu. "Cfo: Conditional focused neural question answering with large-scale knowledge bases." arXiv preprint arXiv:1606.01994 (2016).
[11] Ma, Kaixin, Catherine Xiao, and Jinho D. Choi. "Text-based Speaker Identification on Multiparty Dialogues Using Multi-document Convolutional Neural Networks." Proceedings of ACL 2017, Student Research Workshop. 2017.
[12] Green Jr B F, Wolf A K, Chomsky C, et al. Baseball: an automatic question-answerer. Papers
presented at the May 9-11, 1961, western joint IRE-AIEE-ACM computer conference. ACM,
1961. 219–224.
[13] Ferrucci D, Brown E, Chu-Carroll J, et al. Building watson: An overview of the deepqa project.
AI magazine, 2010, 31(3):59–79.
[14] Chen, Yun-Nung. "Unsupervised Learning and Modeling of Knowledge and Intent for Spoken Dialogue Systems." Proceedings of the ACL-IJCNLP 2015 Student Research Workshop. 2015.
[15] Collobert R, Weston J. A unified architecture for natural language processing: Deep neural
networks with multitask learning. Proceedings of the 25th international conference on Machine
learning. ACM, 2008. 160–167
[16] Tomlin, Russell S., and Victor Villa. "Attention in cognitive science and second language acquisition." Studies in second language acquisition 16.2 (1994): 183-203.
[17] Lin, Yankai, et al. "Neural relation extraction with selective attention over instances." Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers). Vol. 1. 2016.
[18] Dong, Li, et al. "Question answering over freebase with multi-column convolutional neural networks." Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (Volume 1: Long Papers). Vol. 1. 2015.
[19] Lin, Yankai, Zhiyuan Liu, and Maosong Sun. "Neural Relation Extraction with Multi-lingual Attention." Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers). Vol. 1. 2017.
[20] Zeng, Daojian, et al. "Relation classification via convolutional deep neural network." Proceedings of COLING 2014, the 25th International Conference on Computational Linguistics: Technical Papers. 2014.
[21] Santos C N d, Guimaraes V. Boosting named entity recognition with neural character embeddings. arXiv preprint arXiv:1505.05008, 2015.
[22] Michael, Thilo, and Alan Akbik. "SCHNAPPER: A web toolkit for exploratory relation extraction." Proceedings of ACL-IJCNLP 2015 System Demonstrations (2015): 67-72.
[23] Mintz, Mike, et al. "Distant supervision for relation extraction without labeled data." Proceedings of the Joint Conference of the 47th Annual Meeting of the ACL and the 4th International Joint Conference on Natural Language Processing of the AFNLP: Volume 2-Volume 2. Association for Computational Linguistics, 2009.
[24] Vu, Ngoc Thang, et al. "Combining recurrent and convolutional neural networks for relation classification." arXiv preprint arXiv:1605.07333 (2016).
[25] Zheng, Suncong, et al. "Joint Extraction of Entities and Relations Based on a Novel Tagging Scheme." arXiv preprint arXiv:1706.05075 (2017).
[26] Miwa, Makoto, and Yutaka Sasaki. "Modeling joint entity and relation extraction with table representation." Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP). 2014.
[27] Zhou, Peng, et al. "Attention-based bidirectional long short-term memory networks for relation classification." Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers). Vol. 2. 2016.
[28] Surdeanu, Mihai, et al. "Multi-instance multi-label learning for relation extraction." Proceedings of the 2012 joint conference on empirical methods in natural language processing and computational natural language learning. Association for Computational Linguistics, 2012.
[29] Ye, Hai, et al. "Jointly extracting relations with class ties via effective deep ranking." arXiv preprint arXiv:1612.07602(2016).