EMNLP2021云从科技&上海交大的跨模态技术成果:探索多层关系的RaNet雷峰网

最后,研究者们使用了alignmentloss对模型进行了训练:

研究者们通过大量的实验验证了RaNet对于基于语言查询的视频片段定位任务的有效性。

本文在3个常见数据集TACoS、Charades-STA、ActivityNetCaptions上,采用了Rankn@m评价指标,与以往的工作进行了对比,在3个数据集上基本都取得了SOTA的表现。

为了突显出模型中每个模块的重要性,研究者们做了消融实验,从结果来看,同时考虑视频片段和句子的关系,以及视频片段和单词的关系,比单独考虑这两者带来的收益要多。当同时构建不同视频片段之间的关系时,模型能够更加精准地对视频片段进行定位。

研究者们还与之前SOTA模型2D-TAN比较了在不同IoU上的相对提升率,可以发现,在越高的IoU上,本文的RaNet提升得更加明显。

不同wordembeddings的影响:

为了探寻不同的词向量编码对实验结果对的影响,研究者们还比较了不同wordembeddings的表现,发现越强的语言表征更有益于模型精准地定位视频片段。

研究者们还展示了模型在TACoS数据集上的参数量和FLOPs,并和之前的2D-TAN模型进行了对比,由于在构建视频片段关系的模块中本文采用的是稀疏连接的图网络模型,所以参数量大大减小,效率得到了提升。

最后,研究者们还通过可视化的例子展现了模型的能力。

针对基于语言查询的视频片段定位这个任务,云从-上交的联合研究团队提出了,将视频片段定位类比为自然语言处理中的多项选择阅读理解,同时建模了视频片段-句子层面和视频片段-单词层面的关系,并且提出了一种稀疏连接的图网络高效地建模了不同视频片段之间的关系,在公开数据集上取得了SOTA表现。

THE END
1.高中英语完形填空12篇(全文)此外, 完形填空是具有完整内容且按照一定思路发展的文章, 各段及各句之间都有逻辑上的必然联系, 因此还要注意把握文章发展的基本线索, 搞清段与段、句与句之间的逻辑关系。答题时, 考生首先要树立起语篇概念, 抓住文章主题思想, 理清其结构布局, 明辨句子之间以及段落之间的关系, 利用句与句、句群与句群之间的逻辑https://www.99xueshu.com/w/ikeyadmxqxon.html
2.冷静期千万不要联系怎么挽回如何挽回冷静期的人?而不是让他们陷入冷暴力。因此,很长一段时间后,你们之间仍然没有人主动联系,所以你们的关系很可能会https://edu.iask.sina.com.cn/jy/fZYXyqQSSB.html
3.2016年国考行测真题及答案第157条规定,基层人民法院和它派出的法庭审理事实清楚、权利义务关系明确、争议不大的简单的民事案件,适用本章规定。基层人民法院和它派出的法庭审理前款规定以外的民事案件,当事人双方也可以约定适用简易程序。D项符合。 故本题答案选D. 4.【解析】A.按照《消费者权益保护法》和相关行业规定,衣物丢失,应给予消费者https://cjxy.zwu.edu.cn/94/f1/c5301a103665/page.htm
4.条件关系和因果关系,原因和理由的区别因果和条件关系的区别条件关系:分句之间的关系是条件和结果的关系。偏句提出一种真实或假设的条件,正句说明在这种条件下所产生的结果。 因果关系:正句和偏句之间是原因和结果的关系的句子。偏句说明原因,正句说明结果。一般是偏句在前,正句在后。因果复句分为说明因果句和推论因果句两类。 https://blog.csdn.net/jinselizhi/article/details/104659353
5.2023国考:紧抓“关联”,巧解言语公务员考试网言语表面上考查的是对字词句意思的解读,实则是要通过意思的解读厘清句子之间背后的逻辑。而文段中的关联词本身就可以很客观地起到提示句子逻辑关系的作用,因此作答言语题目时,我们一定要紧紧抓住它们,今天图图就来带大家感受下关联词在言语题目中的妙用。 https://www.huatu.com/2022/0812/2551511.html
6.挽留感情的句子挽留感情的句子 情感是人类生活中重要的一部分,感情的挽留成为了许多人关注的话题。面对分手和离别,很多人希望能够挽回感情,找到合适的方式和句子来表达自己的心意,从而重新建立联系和修复关系。本文将探讨挽留感情的句子以及它们背后的心理学原理和实践经验。http://www.hzlizhi.com/dianshijujingdianyulu/23094.html
7.如何进行外贸英译中(二)词汇篇第二章 外贸英译汉词语翻译 词语是最基础的一个翻译单位。词语的处理是否恰当关系到句子、段落乃至整个文章的翻译质量。下面,介绍外贸英译汉过程中词语翻译的方法。 1如何选词 我们知道,外贸英语中除了专业术语、专有名词和一些套语外,大部分是常用词。这https://www.ahybfy.com/zh/news/2016/0927/211.html