时值端午,问问中文问答模型有关端午节的几个问题吧

我正在参加「初夏创意投稿大赛」详情请看:初夏创意投稿大赛

在自然语言处理领域中,如何根据一段文字和一个提问,从该段文字中找出答案,这类任务属于问答模型的研究范畴。相对于一个实际的解答问题的系统而言,问答模型的任务相对简单一点,相对简单主要体现在:

  • 如果答案是输入文字中的一个片段,问答模型只要能够找出答案就可以;如果答案不在输入文字之中,问答模型只要能够表示出无法回答就可以;

  • 答案无需进行自由创作发挥。

问答模型目前大体能达到什么样的水准?接下来我们就试试几个可以公开体验的问答模型吧。

采用的问答模型

采用的具体模型列出如下,都是中文问答模型,其中,选自于HuggingFace的模型是根据该网站中搜索中文问答模型的结果排名而选取的。

  • 问答模型1: 百度近期推出的文心大模型中的 ERNIE 3.0 Zeus Prompt(wenxin.baidu.com/younger/api… ),使用百度账号登陆后可以免费体验(注意需要在“预置技能”的选项中选择“信息抽取”),也可以参考该网页中的API使用文档,实现编程调用接口;

  • 问答模型2: HuggingFace中的 luhua/chinese_pretrain_mrc_roberta_wwm_ext_large (huggingface.co/luhua/chine… );

  • 问答模型3: HuggingFace中的 luhua/chinese_pretrain_mrc_macbert_large (huggingface.co/luhua/chine… )。

问答结果

上文已提及,问答模型的输入为一段文字和一个问题,眼下正值端午节,那么我们就试试几个有关端午节的输入吧,看看模型们能够产生什么样的回答。

问答一

输入:

榴莲冰粽6.6元一个,坚果粽5.5元1个,大黄米粽3.8元一个,青稞牦牛粽5.8元1个,蒲烧鳗鱼粽7.8元一个,蛋黄粽6.8元一个。

问题:青稞牦牛粽多少钱一个?

以下是三个模型的输出结果,其中模型2和模型3还能够输出估算出的答案正确的可能性。

问答模型1:5.8元

问答模型2:5.8元。可能性:0.181

问答模型3:5.8元。可能性:0.160

三个模型都回答对了。

问答二

我们再试试如下的输入:

端午节是流行于中国以及汉字文化圈诸国的传统文化节日,又称端阳节、龙舟节,传说战国时期的楚国诗人屈原在五月初五跳汨罗江自尽,后人亦将端午节作为纪念屈原的节日。端午吃粽子的风俗,千百年来,在中国盛行不衰,而且流传到朝鲜、日本及东南亚诸国。

问题:屈原是哪国人?

以下是三个模型的输出结果:

问答模型1:楚国

问答模型2:楚国。可能性:0.965

问答模型3:楚国。可能性:0.992

都回答对了。

问答三

根据同样的一段话,我们再问一个问题:

端午节是流行于中国以及汉字文化圈诸国的传统文化节日,又称端阳节、龙舟节,传说战国时期的楚国诗人屈原在五月初五跳汨罗江自尽,后人亦将端午节作为纪念屈原的节日。端午吃粽子的风俗,千百年来,在中国盛行不衰,而且流传到朝鲜、日本及东南亚诸国。

问题:吃粽子是为了纪念哪位古人?

以下是模型们的输出结果:

问答模型1:屈原

问答模型2:屈原。可能性:0.999

问答模型3:屈原。可能性:1.000

Good!

问答四

还是根据同样的一段话,我们再问一个问题:

端午节是流行于中国以及汉字文化圈诸国的传统文化节日,又称端阳节、龙舟节,传说战国时期的楚国诗人屈原在五月初五跳汨罗江自尽,后人亦将端午节作为纪念屈原的节日。端午吃粽子的风俗,千百年来,在中国盛行不衰,而且流传到朝鲜、日本及东南亚诸国。

问题:美国人端午节吃粽子吗?

以下是三个模型的输出结果:

问答模型1:端午节吃粽子的风俗,千百年来,在中国盛行不衰,而且流传到朝鲜、日本及东南亚诸国。

问答模型2:吃。可能性:0.018

问答模型3:吃。可能性:0.063

三个模型回答得都不太理想。

在实际的根据知识库解答问题的系统中,问答模型一般只是整个系统中的一个环节,问答模型环节的上游一般配有知识检索模块,负责根据提问,在知识库中初步筛选出相关的知识文本,输送给问答模型;问答模型环节的下游一般配有答案验证等模块,负责保障答案的质量。

猜你喜欢

转载自juejin.im/post/7105704634693615629