导读

　　视频问答（Video QA）涉及对视频内容和问题语言的透彻理解，以及文本语义对视频视觉内容的检索。因此，为了更准确地回答问题，不仅要将语义实体与视频帧中的某个视觉实例相关联，而且问题中的动作或事件应该定位到相应的时间段。事实证明，这是一项更具挑战性的任务，需要能够根据视频帧中实例之间的时序相关性进行推理。在本文中，我们提出了一个实例-序列推理网络，用于具有实例检索和时间定位的视频问答。在模型中，视觉实例和文本表示首先嵌入到图节点中，这有利于模态内和模态间的集成。然后，在具有大感受野的图结构序列上提出了图因果卷积 ，以捕获更多的因果关联，这对于视觉基础和实例-序列推理至关重要。最后，我们在包含实例检索和时间定位标签的 TVQA+ 、三个其他视频 QA 数据集和三个多模态语言处理数据集上评估模型。通过大量实验证明了所提出方法的有效性和泛化性。具体来说，我们的方法在这些基准测试中优于最好的方法。

文章精要

请长按下方二维码识别，阅读该文。

Frontiers of Computer Science

　　Frontiers of Computer Science （FCS）是由教育部主管、高等教育出版社和北京航空航天大学共同主办、SpringerNature 公司海外发行的英文学术期刊。本刊于 2007 年创刊，双月刊，全球发行。主要刊登计算机科学领域具有创新性的综述论文、研究论文等。本刊主编为周志华教授，共同主编为熊璋教授。编委会及青年 AE 团队由国内外知名学者及优秀青年学者组成。本刊被 SCI、Ei、DBLP、INSPEC、SCOPUS 和中国科学引文数据库（CSCD）核心库等收录，为 CCF 推荐期刊；两次入选“中国科技期刊国际影响力提升计划”；入选“第4届中国国际化精品科技期刊”；入选“中国科技期刊卓越行动计划项目”。

长按二维码关注Frontiers of Computer Science公众号

《前沿》系列英文学术期刊

　　由教育部主管、高等教育出版社主办的《前沿》（Frontiers）系列英文学术期刊，于2006年正式创刊，以网络版和印刷版向全球发行。系列期刊包括基础科学、生命科学、工程技术和人文社会科学四个主题，是我国覆盖学科最广泛的英文学术期刊群，其中13种被SCI收录，其他也被A&HCI、Ei、MEDLINE或相应学科国际权威检索系统收录，具有一定的国际学术影响力。系列期刊采用在线优先出版方式，保证文章以最快速度发表。