用模式及语言学特征提高阅读理解性能.pdf

《用模式及语言学特征提高阅读理解性能.pdf》由会员分享，可在线阅读，更多相关《用模式及语言学特征提高阅读理解性能.pdf（7页珍藏版）》请在得力文库 - 分享文档赚钱的网站上搜索。

1、计算机研究与发展I s S N1 0 0 0 1 2 3 9 C N1 1 1 7 7 7 T PJ o u m a lo fC o m p u t e rR e S e a r c ha n dD e v e l o p m e n t4 5(2)：2 9 3 2 9 9，2 0 0 8利用模式及 五吉p 口口学特征提高阅读理解性能杜永萍1 黄萱菁2吴立德21(北京工业大学计算机学院北京1 0 0 0 2 2)2(复旦大学计算机科学与工程系上海2 0 0 4 3 3)(y p d u b j u t e d u c 1 1)U s i n gP a t t e r na n dL i n g

2、 u i s t i cF e a t u r e st 0I m p r O V eR e a d i n gC 0 m p r e h e n s i o nP e r f b r m a n c eD uY o n g p i n 9 1，H u a n gx u a n j i n 9 2，a n dw uL i d e 21(，z 5 f 以“细D m 加钟&锄卯，巧i 珂g 渤i 硼善动0，T 矾挖咖，&巧i 馏1 0 0 0 2 2)2(D 伽砌姗矿C D 优触衙&曲雄卯口材E 行g i 咒卯一靠g，n 如竹踟i 钟苫勿，跏口，础口i2 0 0 4 3 3)A b s t 船c

3、tAr e a d i n gc o m p r e h e n s i o n(R C)s y s t e ma i m st ou n d e r s t a n das i n g l ed o c u m e n t(i e s t o r yo rp a S S a g e)i no r d e rt ob ea b l et oa u t o m a t i c a l l ya n s w e rq u e s t i o n sa b o u ti t R Cr e S e m b l e st h ea dh o cq u e s t i o na n s w e r i n

4、 g(Q A)t a s kt h a ta i m st oe x t r a c ta na n s w e rf r o mac o l l e c t i o no fd o c u m e n t sw h e np o s e dw i t haq u e s t i o n H o w e v e r，s i n c eR Cf o c u s e so n l yo nas i n g l ed o c u m e n t，t h es y s t e mn e e d st od r a wu p o ne x t e m a lk n o w l e d g eS o u

5、r c e st oa c h i e v ed e e pa n a l y s i so fp a S s a g eS e n t e n c e sf o ra n s w e rS e n t e n c ee x t r a c t i o n P m p o s e di nt h i sp a p e ri sa na p p r o a c ht o w a r d sR Ct h a ta t t e m p t st ou t i I i z ee x t e r n a lk n o w I e d g et oi m p r o V ep e r f o m a n

6、c e，i n c l u d i n g(i)a u t o m a t i ca c q u i s i t i o no fW e b b a s e da n s w e rp a t t e m sa n di t sa p p l i c a t i o ni na n s w e rs e n t e n c em a t c h i n g；(i i)l i n g u i s t i cf e a t u r em a t c h i n g；(i i i)l e x i c a ls e m a n t i cr e l a t i o ni n f e r e n c e

7、，a n d(i V)c o n t e x ta s s i s t a n c e T h i sa p p r o a c hg i v e Si m p r o v e dR Cp e r f o r m a n c e Sf o rb o t ht h eR e m e d i aa n dC h u n g H w ac o r p o r a，a t t a i n i n gH u m S e n ta c c u r a c i e so f4 5 a n d6 9 r e s p e c t i v e l y I np a r t i c u l a r，p e r f

8、o r m a n c ea n a l y s i sb a s e do nR e m e d i as h o w st h a tr e l a t i v ep e r f o r m a n c e so f2 4 1 i sd u et ot h ea p p l i c a t i o no fW e b d e r i V e da n s w e rp a t t e r n sa n daf u r t h e r11 1 i sd u et ol i n g u i s t i cf e a t u r em a t c h i n g P a i r w i s et

9、 t e s t sa r ea l s oc o n d u c t e da n dt h er e s u l ts h o w st h a tt h ep e r f o m a n c ei m p r o v e m e n t sd u et oW e b d e r i v e da n s w e rp a t t e r n s，l i n g u i s t i cf e a t u r em a t c h i n ga n dl e x i c a ls e m a n t i cr e l a t i o ni n f e r e n c et e c h n i

10、 q u ea r es t a t i s t i c a l 王ys i g n i f i c a n t K e yw o r d sp a t t e r n；r e a d i n gc o m p r e h e n s i o n；q u e S t i o na n s w e r i n g；n a t u r a l l a n g u a g ep r o c e S s i n g摘要阅读理解(r e a d i n gc o m p r e h e n s i o n，R C)任务的目的在于理解一篇文档并对提出的问题返回答案句提出了一种充分利用外部资源来提高R C

11、系统性能的方法，使得R C 系统性能在R e m e d i a 和C h u n g H w a 两种语料上均得到提高特别地，在对基于R e m e d i a 语料R C 系统的性能分析表明，2 4 1 的性能提高归因于基于w e b 的答案模式匹配的运用，1 1 1 的性能提高归因于语言学特征匹配策略运用同时也进行了t t e S t。结果表明答案模式匹配、语言学特征匹配和词汇语义关联推理的运用所得到的性能提高是显著的关键词模式；阅读理解；问题回答；自然语言处理中图法分类号T P 3 9 1收稿日期：2 0 0 6 一l 卜0 8；修回日期：2 0 0 7 0 8 一0 8基金项目：国家

12、自然科学基金重点项目(6 0 4 3 5 0 2 0)万方数据2 9 4计算机研究与发展2 0 0 8，4 5(2)问题回答(q u e s t i o na 1 1 s W e n n g，Q A)这一研究方向近年来受到了各研究机构广泛的关注，也引发了另一相关领域阅读理解(r e a d i l l g0 0 m p e h e n S i o 力，R C)的研究它是一个与问题回答非常类似的任务，目的是在给定的一篇文档中对于给定的问题返回正确答案，如同我们在英语测试(C E T 4，C E T 6 等)中的阅读理解题目这项研究在2 0 0 0 年后开始受到部分研究机构的关注，例如在A N L

13、 P N 妃L 会议的论谈R e a d i n gc o m p r e h e n s i o nt e s t s 弱e v a I u a t i o nf o rc o m p u t e r-b a s e dl a n g u a g eu n d e r S t a n d i n gs y s t e m s 上I 以及另外一个在J o h 璐H o p k i n s 大学召开的论谈T e c h n o l o g yf o rr e a d i n gc o m p r e h e n s i o nQ A 上吸引了自然语言处理研究领域的研究机构开始探讨这一新的研究方向

14、阅读理解任务同一年一度的T R E C 会议(T e x tR e t r i e v a lC o n f e r e n c e)(h t t p：t r e c n i s t g o v)中设立的问题回答任务类似Q A 任务的目的在于从文档集中获取问题的答案，而R C 任务则聚焦于单篇文档，理解一篇不受领域限制的文档，并对提出的问题返回一个答案句许多Q A 系统充分利用并挖掘了w e b 这一丰富的资源我们目前的工作尝试挖掘w e b 信息自动获取基于w e b 的答案模式，构建模式库资源，作为离线资源辅助完成R C 任务1相关工作M I T R E 公司的一个研究小组首先开始了阅读理

15、解任务的研究，开发了第1 个阅读理解系统D e e pR e a d D e e pR e a d 系统的性能测试集是R e m e d i a语料(该语料此后作为各研究单位阅读理解任务的标准测试集)，该语料包含1 1 5 篇英文文章，按照难易程度分为不同的等级L e v e l2 到L e v e l5 每篇文章平均包含2 0 条语句和5 个问题(类型为w h o，w h e r e，w h e n，w h a t，w h y)M I T R E 同时也定义了H u m s e n t 作为性能评价标准，即测试集中，系统正确回答的问题比例H u m s e n t 评价中的标准答案是人工标注

16、，检测文档并选择最合适的句子作为问题答案，经统计，R e m e d i a 测试集上1 1 的问题在文章中不存在正确答案因此，R C 系统在R e m e d i a 语料上的性能上限只能达到8 9 H 1 脚S e n t 准确率D e e pR e a d 系统在R e m e d i a 测试集上得到的H u m S e n t 准确率为3 6 6 有研究机构采用决策树的机器学习方法得到了3 9 3 H u m S e n t 准确率【2o；随后，R C 系统性能提高到了4 1【3J，采用了人工规则集国内中国科学院计算技术研究所研究开发的人物关系问答系统 4 引入逻辑推理机制，使系统具

17、有依据一定的策略进行推理的能力，对人物关系的问答进行了研究本文在词汇级的语义关联推理方面进行了探讨本文主要采取模式匹配、语言学特征匹配、词汇语义关联推理以及上下文辅助策略实现答案句的获取，提高R C 系统性能其中的语言学特征是指自动标识的句中核心动词(v e r b)、实体名(n 锄e de n t i t y)及名词短语(b a s en o u np h r a S e)不同策略的逐步应用，最终取得R C 系统性能优于之前的最好结果本文将分别介绍R C 系统中运用的4 种主要策略：1)基于w e b 的模式匹配；2)语言学特征匹配；3)词汇语义关联推理；4)上下文辅助接着描述实验并对结果进

18、行分析，最后是结论2 基于W e b 的答案模式匹配在R C 任务中，我们首先引入的外部知识即基于w e b 的答案模式，提高R C 系统性能本节介绍基于w e b 自动获取到的答案模式在R C 任务中的有效应用2 1 答案模式获取我们对问题定义了一套标记集合Q T A G S，以此来表示问题模式(q u e S t i o np a t t e m s，Q P)该标记集包括：1)m a i nv e r b s(Q M 耽r 6)，由句法分析器L i n kP a r s e r 识别；2)n a m e de n t i t i e s(Q，E)：包含3类实体名，人名(Q j R N)、地

19、名(Q-L C N)和组织机构名(Q o R G)，由实体名识别工具识别；3)b a 鸵n o u np h r a s e s(Q N P)：基本名词短语，由名词短语识别工具识别bJ 将问题中每个不同的元素用其对应的Q T A G S 标记代替即生成问题模式(Q P)同一问题模式可表示多个不同的问题，如图1 所示我们将T R E CQ A 任务中的问题进行转换，得到问题模式集 Q 只，其中，不同的问题模式Q 只所表示的问题数目为册i Q u e s t i o nP a t t e m(Q P，)。W h e nd oQ P R NQ j 订r 6QB N P?I k p r e s e n

20、 t e dq u e s t i o 璐：Q l：W h e nd i dA l e 煳d 盱G r a h 咖B e l li n v e n tt h et e l e p h o n e?Q 2：W h 饥d i dM a”a gm a k eM a g i cC h e fr e f r i g e r a t o 墙?Q 3：W h 吼d i dA m u m 凼锄r e 舵ht h e5 b u t hP o l e?(m fe x 锄p l eq u 鹤t i o n si na U)F i g 1Aq u e s t i o np a t t e ma n ds o m ee

21、 x a m p l eq u 鹤t i o 啮t h a ti tr e p r e S e n t s 图1问题模式及其示例问题万方数据杜永萍等：利用模式及语言学特征提高阅读理解性能2 9 5针对不同的问题模式，自动获取基于W e b 的答案模式，即答案可能出现的上下文，以实现问题回答中的答案抽取评价采用数据挖掘中的指标：可信率(c o n f i d e n c e)模式获取过程利用了T R E C(T R E C 8 一T R E C l 2)Q A 任务中的问题一答案集作为训练集，共计2 3 9 3 对2 2R c 中模式匹配基于w e b 获取到的答案模式将用到R C 任务中，根据

22、R C 中的问题Q i 和其相应的问题模式Q P，我们选取与之相关的答案模式在候选答案句子中进行匹配，其中，同具有最高可信率的答案模式相匹配的候选答案句将被选做最终答案我们发现该技术对于R C 任务是非常有效的，它可以在由B O w 方法认为“同样好”的句子集中区别出正确的答案句如下例：Q：W h e ni st h eC h i n e S eN e wY e a r?Q P：W h e ni st h eQB N P?这里，Q B N P=C h i n e s eN e wY e a rR e l a t e dA P：Q 一王洲Pi s(A (C o n f i d e n c e=0

23、 8 2)C a n d i d a t ea n s w e rs e n t e n c e s1：y o um u s tw a i taf e wm o r ew e e k sf o rt h eC h i n e s eN e wY e a r C a n d i d a t ea n s w e rs e n t e n c e s2：C h i n e s eN e w!曼垒!堡m o s to f t e nb e t w e e nJa n u a r y2 0a n dF e b r u a r y2 0 如上的2 个候选答案句同原问题均有相同数目的匹配单词“C h i

24、n 鹪e”，“N e w”，“Y e a r”，也有一个惟一匹配的相同的语言学特征，Q B N P=“C h i n e S eN e wY e a r”然而，我们采用模式匹配技术可以选出第2 个候选句为正确答案我们的R C 系统赋予模式匹配技术以较高的优先权，如果某候选答案句能够同可信率值大于0 6的模式匹配，则选取该句为最终的答案当然，有可能出现模式匹配选出的候选答案句多于一个的情况，我们将选择同具有最高可信率值的模式相匹配的候选句子作为最终答案3 语言学特征匹配阅读理解系统中一种通用的方法是将问题和文章中的句子表示为词的集合(b a go fw o r d s)，对于给定的问题，B o

25、W 方法选择与问题有最多匹配单词的候选答案句作为问题的最终答案该方法的运用中进行了s t e m m i n g 并去除了停用词有研究表明，动词对于在问题和候选句之间建立关联具有重要的指示作用【3|基于这样的启发，我们提出问题和候选答案句的一种表示方法，强调了3 种语言学特征：问句的核心动词(m a i nv e r b s，M v e r b)、实体名(n a m e de n t i t i e s，N E)、基本名词短语(b a S en o u np h r a s e s，B N P)在R e m e d i a 语料训练集上，我们测试了不同语言学特征信息对于正确识别答案句的相对重要

26、性R e m e d i a 语料训练集包含5 5 篇文章，每篇文章平均包含2 0 个句子和相应的5 个问题，整个训练集共包含2 7 4 个问题我们对问题进行分析，识别出不同的语言学特征之后，将问题集划分为3 个不同的集合(Q s E 弼)如下为3 个不同集合中的示例：Q S E T v E R B：W h oh 呈!卫皇堕t h eP i l g r i m s?Q 5 E 丁N E：W h e nw a St h ef i r s tm e r r y g 伊r o u n db u i l ti nt h eU n i t e dS t a t e S?Q 一S E T B N P：W

27、h e r ea r e!h 皇堕Q!h 皇!坠!i g h!璺?如前所述，训练集中不同问题对应于一个答案句(由M I T R EC o r p o r a t i o n 标注)，因此，我们可依据不同的Q 一5：E 粥将其答案句也划分为3 个对应的集合(A-s E 伪)同上述的3 个不同Q 娅T S 示例问题对应的答案句集合A 娅邪如下所示：A j 匹T v E R B：A nI n d i a nn a m e dS q u a n t oc a m et oh e l pt h e m A S E T N E：T h ef i r s tm e r r y g o-r o u n di

28、nt h eU n i t e dS t a t e Sw a sb u i l ti n17 9 9 A S E T B N P：T h e nt h e s es p e c k sr e a c ht h ea i rh i g ha b o v et h ee a r t h 为了衡量3 种不同的语言学特征(M V e r b，N E和B N P)在Q S E 粥与A S E 倦之间建立关联的相对重要性，将依据基于训练语料上的统计信息计算相对权重：耽诎t 一2 矗盅告，这里，S M e t a d。是指A 5 E T M e t a d。协集合中包含相应的语言学特征的答案句的集合，是A

29、 S E T M e 协d a。集的子集如上所述示例：QS E T N E 集合中的问题“W h 即w 弱t h ef i r S tm e r r y g 争r o u n db u i l ti nt h eU n i t e ds a t e s?”包含实体名“t h eU n i t e dS t a t e s”，而与该问题相应的答案句“T h ef i r s tm e r r y g 伊r o u n di nt h eU n i t e dS t a t e sw a Sb u i l ti n1 7 9 9”也同时包含该实体名因而，该答案句属于集合S N E 我们计算得到不同

30、类型的语言学特征的权重值万方数据2 9 6计算机研究与发展2 0 0 8，4 5(2)如下：w e i 醇M v。南=0 6 4，眠i 曲N E=0 3 8，W 畹咖B N P=0 2 1 在R C 任务中，语言学特征权重的信息可以解决B o W 方法无法区分正确答案的情况4 语义关联推理面向R C 的答案抽取，为了获取深层次的语义信息，语义推理技术的应用是必要的找到和给定问句中的概念相关联的概念是进行推理的重要方法，识别问题和候选答案句之间的文本蕴含关系是一种有效的途径最近，自动识别文本蕴含(r e(删n gt e x t u a le n t a i l m e n t)【7J 关系引起关

31、注，它对于推理技术的实现有极大的推动文本蕴含关联可分为不同的级别：词汇级蕴含、句法级蕴含、深层语义蕴含以及各种不同级别蕴含的组合我们目前利用W o r d N e t 针对词汇级蕴含进行研究并将其应用到R C 任务中，更深层次的蕴含关系分析将是我们今后的研究方向在我们的R C 系统中，W o r d N e t 用做外部知识源，它包含多种语义信息，如同义、上下位、反义、相似、原因以及蕴含等等我们利用同义、相似、上下位和蕴含4 类语义信息，在词汇级挖掘问题和候选答案旬之间的语义关联另外，利用“原因”语义信息辅助w h y 类问题回答4 1同义(s y n o n y m y)和相似(s i m

32、钉a r i t y)在对阅读理解的训练语料进行观察的过程中，我们发现部分问题的正确答案句其用词并非和问题中的用词一致，而是采用问题词的同义词汇或相似词汇我们利用w o r d N e t 中的同义(s y n o n y m y)和相似(s i m i l a r i t y)关系，确定问句和候选答案句之间的语义关联若词汇T 与词汇H 在W o r d N e t 中是同义关系或相似关系，则称词汇T 蕴含词汇H(或词汇H 蕴含词汇T)，二者之间存在语义关联例如：“h e l p”和“a s s i s t”等在对问句和候选答案句进行匹配的过程中，同时考虑有如上蕴含关系的词汇，这样增加了系统找

33、到正确答案的几率4 2上下位(埘p 0 删h y p e 删)和蕴舍(w 确d N e tE n t a i l m e n t)W。讪t 中的上下位和蕴含关系是描述W b r d N e t中同义词集(s y n s e t s)之间的关系类型设包含词汇T 的同义词集(s y n S e t s)为S T，包含词汇H 的同义词集(s y n S e t s)为S H，如果在S T和S H 之间存在一条由“上位”、“下位”以及“蕴含”构成的路径，则认为词汇T 和词汇H 之间存在蕴含关系在实验中，限定路径长度不大于4，该值是在R e m e d i a 训练集上得到的最优结果在R C 实现中，我

34、们同样对问句和候选答案句中的词集进行分析，通过w o r d N e t 中的“上下位”和“蕴含”关系挖掘问句和候选答案句之间的语义关联例如，“s n o r e”和“s k e p”各自所在的同义词集之间存在由w o r d N e t 的“蕴含”关系构成的路径，二者之间存在语义关联另外，我们利用w o r d N e t 中的“C A U S E T o”关系，针对w h y 类型问题进行回答如果动词X 的发生引起y，称动词x 和动词y 之间存在“C A U S E T o”关系如g i v e+h a v e；t e a c h l e a r n w h y 类型问题是针对某事件发生的

35、原因进行提问，而w o r d N e t 中的“C A U S E T o”关系可以提供问题和候选答案句之间的语义关联信息4 3 语义相似度计算我们采用J a c c a r dc o e f f i c i e n t 计算问句和候选答案句之间的相似度s i m(S，A)，通过集合关系计算J a c c a r dc o e f f i c i e n t 值S 表示问句的词集，A 表示某候选答案句的词集S=5 1，s 2，s。，A=n I，盘2，口。，s i 表示问句词集中的单词，口i 表示候选答案句词集中的单词S 和A 两个集合中已经去除了停用词计算S 和A 之间的相似度如下：SnAI

36、S i m(s，A)=i，(2)SUA这里，在计算ISnAI 时，若S 和A 两个集合中的词汇存在如前所述的语义关联(w o r d N e t 中的同义、相似、上下位以及蕴含关系)，则同样是属于该交集的成员另外，对于w h y 类型问题，计算JSnAI 时，若S 和A 两个集合中的词汇存在“C A u S E T O”语义关系，则同样也是属于该交集的成员R C 中，每篇文章由多个句子组成，我们计算每个句子和问句之间的相似度，最终，选取最高相似度值的句子作为问题的答案句5 上下文信息辅助我们发现在R C 任务中将上下文信息、答案类万方数据杜永萍等：利用模式及语言学特征提高阅读理解性能2 9 7

37、型的实体名信息以及指代消解信息融合是非常有效的如w h o 类型问题的答案通常是由实体名识别工具识别后标记为Q R N 的人名若具有最多匹配单词的候选答案句并没有包含相应的实体名，我们的系统将在该候选答案句的上下文(前后各2 个句子)中搜索包含实体名的句子数据分析表明，所选择上下文窗口大小为2 对于w h e n，w h o 和w h e r e 类型的问题合适在该策略的应用中，确定问题的答案类型是重要前提答案类型也即问题答案的语义类型，如人名、地名、时间等应用上下文辅助策略之前，指代消解的解决是关键在R C 任务的原文中存在较多这样的现象，文中的同一个实体经常用代词去描述，如文中首次提到人名

38、“D r M y r aL o g a n”，在之后的描述中，会用代词“S h e”来指代该人名因此，解决指代消解是R C实现的重要环节对于w h y 类型问题同样用到上下文辅助策略，如果上下文中的句子，第1 个单词是“t h i s”，“t h a t”，“t h e s e”，“t h o s e”，“s o”或“b e c a u S e”中之一，那么该句将被选做答案句下面是根据问题的答案类型，运用上下文辅助策略用到的规则：P R Nr u l e：i f!c o n t a i n(S，P E R S O N)t h e nS e a r c h(W i n d o w(S)，P E

39、R S o N)；T I Mr u l e：i f!c o n t a i n(S，T I M E)t h e nS e a r c h(W i n d o w(S)，T I M E)；L C Nr u l e：i f!c o n t a i n(S，L o C A T I O N)t h e nS e a r c h(W i n d o w(S)，L O C A T I O N)；0 R Gr u l e：i f!n t a i n(S，O R G A N I Z A T I O N)t h e nS e a r c h(W i n d o w(S)，o R G A N I Z A T I

40、o N)；C A Sr u l e：i fc o n t a i n(W i n d o w(S)，t h i s，t h a t，t h e s e，t h o s e，s o，b e c a u s e )；t h e nF i n a L A n s w e r(W i n d o w(S)这里，“S”代表同问题具有最多匹配单词数目的候选答案句；“w i n d o w(S)”代表S 的上下文6 实验与分析R C 任务的实验是在R e m e d i a 语料和西u n g H 啪语料进行测试的R 咖e d i a 测试集包含6 0 篇文章，每篇文章包括5 个问题C h u n g H

41、w a 语料是中英双语语料，我们目前针对其英文语料做了测试C h u n g H w a 语料测试集包含5 0 篇文章，每篇文章平均包含4 个问题评价指标采用目前通用的H l，m S e l l t准确率在我们的实验设计中，4 种技术逐步应用到R C任务中，实验结果标识如表1 所示：T a b I elE x p e r i m e n t a IS e t u pi nR CE V a I u a t i o 啮表lR C 任务中实验设计及标识R e s u l tL a b e lT e c h n i q u eB o WB o W+A PB o W+A P+L F MB O W+A P

42、+L F M+S R IB O W+A P+L F M+S R I+C AA b b r i“a t i o 璐a r e：B a g o f W o r d s(B O W)。W e b d e r i v e da I 踟e rp a t t e m s(A P)，L i n g u i s t i cF t u r eM a t c h i n g(L F M)，S e I I】帅t i cR e l a t i o 咀I n f e r 髓c e(S R I)，C o n t e x t u a lA s s i s t a n c e(C A)这里，只采用B 0 w 技术的系统作为B

43、 a s e l i n e，而后，基于w e b 的答案模式匹配、语言学特征匹配策略、语义关联推理和上下文辅助技术逐步应用到系统以提高系统整体性能，分别被标识为B c 脚一1，B D D s 一2，B o 一3 和B o o s 一4 6 1R e m e d i a 测试集结果不同的问题类型在R e m e d i a 测试集上的结果如表2 所示：T a b l e2H u m s e n tA c c u m c i e sf o rt h eR e m e d i a 忆ts e tA c r 傩sD i f 纯陀n tI n t e m g a t i V 鹤表2R e m e d

44、i a 测试集上不同疑问词类型及系统总体(o v e r a l l)的H u m s e n t 准确率我们发现，不同疑问词类型的问题，其H u m s e n t 准确率有不同的变化，w h e n 类型问题系统性能最优而w h y 类型问题系统性能最差由表2 所示的系统在R e m e d i a 语料上的总体性能，模式匹配、语言学特征匹配、语义关联推理以及上下文辅助4 种不同策略对于系统相对性能的提高分别是2 4 1，1 1 1，7 5 和4 7 我们同时做了t t 鹊t 来测试系统性能提高的显著性，如表3所示模式匹配策略、语言学特征匹配策略以及语m上j一胁万方数据2 9 8计算机研究

45、与发展2 0 0 8，4 5(2)义关联推理所带来的性能提高是显著的(户 0 0 5)，而上下文辅助策略不显著T a b l e31 b t so fS t a t i s t i lS i 蛐i n 住n i nt l l eI n c 仲m e n t a lI m m m r 伽n 协表3测试系统性能提高显著性的t t 嚣t 结果P a i r w i B a L i n e&B D f-l&h 厨一2&B 盯一3 C o m D a r i s o n&拼f lB 站一2B 雠一3B 吡一46 2C h u n g H w a 测试集结果系统在C h u n g H w a 测试集上的

46、结果如图2 所示，H u m S e n t 准确率高于在R e m e d i a 测试集上的性能，但共同现象是4 种不同策略使R C 系统性能得到逐步提高，然而在C h u n g H w a 语料上提高幅度有很大减少董6 9薹e，善6 5士6 36 96 8一6 7啊6 6翮l孓!；存桩二!7熏t 盈k 盏k。墒苎口s e l l n eB o o s t lB 0 0 s f _ 卫B o o s t 3B o o s t 4F i g 2H 蚰S e n ta c c l 瑚c i 荡o v e r a nr e s u l t sf o rt h eC h l l n g H w

47、at e S t 鬟奠图2C h u n g H w a 测试集上H u m S e n t 准确率我们在R C 系统中采用了不同的策略，但在R e m e d i a 语料上依然有5 5 的问题无法正确回答有一普遍现象导致了性能提高的困难，示例问题如下：Q u e s t i o n：W h e nd ot h eF r e n c hc e l e b r a t et h e i rf r e e d o m?A n s w e rs e n t e n c e：T ot h eF r e n c h，J u l y1 4h a st h es a m em e a n i n g 鹊J

48、 u l y4 t hd o e St ot h eU n i t e dS t a t e s。这类问题如果不采用深层的推理技术和背景知识源很难正确回答，而在R e m e d i a 语料上，该类问题出现比较频繁在T R E CQ A 任务中，成功利用W o r d N e t 进行知识推理中的逻辑验证已经被采用 8-钊我们目前在词汇级上进行了推理技术的研究，而深层推理技术将是今后的进一步研究内容7结论阅读理解任务的目标是理解单篇文档，并能自动回答基于该文档提出的问题本文我们采用了不同的策略，利用不同的资源，在采用B o w 方法的系统B a s e l i n e 基础上提高R C 系统

49、的性能本文实现的R C 系统中运用了语言学特征信息、语义关联推理和上下文辅助信息不同策略的运用在R e m e d i a 和C h u n g H w a 语料集上，系统性能均得到了提高特别是在R e m e d i a 语料集上，2 4 1 的相对性能提高是基于w e b 答案模式的运用，1 1 1 的相对性能提高是由于语言学特征匹配策略的运用，7 5 的相对性能提高是由于语义关联推理的运用，4 7 的相对性能提高是由于上下文辅助策略的运用，而系统总体性能达到H u m s e m t 准确率4 5，优于之前出现的最好结果参考文献 1 L y T 地t t eH i r s c h m a

50、 n，M 眦L i g h t E r i cB r e c k，甜4 z D e e pr 训：A 嫩d i l l g 锄p r e h e m i o ns y s t C T h e3 7 t hA n n t l a lM e e t i f l go ft h eA s s o c i a t i o n b rp u t 8 t i o n a lL i n g u i s t i c 8。C o I l e g eP a r k，M a r y l d，1 9 9 9 2 H w e eT b uN g，L e 0 I l gH w e e1 b，J e n n i f e r