作为全球人工智能顶会之一,第三十五届AAAI人工智能会议(AAAI2021)于2021年2月2日至9日以虚拟会议的形式召开。根据大会官方数据,本次会议共收到9,034篇论文,再创历史新高。在7,911篇参与评审的论文中,共接收1,696篇,接收率为21.4%,略高于2020年的20.6%。
图AAAI历年接收率(2021年数据)
第三十六届AAAI人工智能会议(AAAI2022)于2022年2月22日至3月1日在线上召开。根据大会官方数据,AAAI2022RegularTrack共收到9251篇投稿,其中9020篇投稿进入了评审环节。与AAAI20219034篇投稿、7911篇评审论文的数量相比,AAAI2022又创新高。然而,本次会议的接收率却创历史新低,共计接收1370篇论文,接收率为15.2%,远低于2021年的21.4%和2020年的20.6%。此外,FastTrack的接收率为26.9%。
AAAI2022共包括两个Regulartechnicaltrack,分别是:主单元(MainTechnicalTrack)投稿论文8198篇,接收论文1161篇;人工智能促进社会影响(AIforSocialImpact,AISI),投稿论文232篇,接收论文50篇。此外,FastTrack投稿论文590篇,接收159篇。
AAAI2022投稿数量最多的是中国,达到了4230篇,共接收478篇。排在第二位的是美国,投稿1479篇,接收283篇。
第38届国际机器学习会议(ICML2021)于2021年7月18日至24日以虚拟会议的形式召开。本次会议共收到了5513篇有效论文投稿,最后接收了1184篇,其中有166篇长论文(LongTalk)和1018篇短论文(ShortTalk),接收率21.48%,是近五年最低,不过与2020年的21.8%接收率相比,差别不大。第30届国际人工智能联合大会IJCAI2021于8月19日-26日在线上正式召开。本次会议共收到了4204篇论文投稿,由于IJCAI2021为两阶段评审,有3033篇论文通过了摘要拒绝(Summary-reject)阶段最终进入完整评审(fullreviews)阶段,最终接收587篇。进入完整评审阶段的论文接收率为19.3%,大会整体论文接收率为13.9%。
AAAI2021共评选出三篇最佳论文(3Bestpapers)、三篇最佳论文亚军(3Bestpaperrunnersup)和六篇杰出论文(6Distinguishedpapers)。其中,三篇最佳论文中有两篇为华人团队的工作,一作分别是来自北京航空航天大学的HaoyiZhou和达特茅斯学院的博士生RuiboLiu。三篇最佳论文亚军中有两篇为华人学者的工作,一篇来自北京航空航天大学和微软研究院的合作团队,另外一篇来自哈佛大学、CMU的合作团队。六篇杰出论文中有一篇为中国学者的工作,一作为来自深圳市计算机视觉与模式识别重点实验室、华南理工大学的HongbinXu。
本届会议有1篇论文获得优秀论文奖,另有2篇论文获得优秀论文提名奖。本届会议共有1篇论文获得优秀学生论文奖,另有2篇论文获优秀学生论文提名奖。此外,本届会议共选出了6篇杰出论文,以及1个最佳演示奖。
(1)AUniversalLawofRobustnessviaIsoperimetry(通过同位素测量的通用鲁棒性定律)
本文提出了一个理论模型,以解释为什么许多最先进的深度网络需要的参数比顺利拟合训练数据所需的多得多。特别是,在关于训练分布的某些规则性条件下,一个O(1)-Lipschitz函数插值训练数据低于标签噪声所需的参数数量以nd级数扩展,其中n是训练样本数量,d是样本数据维度。这一结果与传统的结果形成了鲜明的对比,传统的结果指出,一个函数需要n个参数来插值训练数据,而为了顺利插值,这个额外的d系数似乎是必要的。
该理论非常简单,并且与一些关于在MNIST分类中具有鲁棒概括性的模型大小的经验观察一致。这项工作还提供了一个可测试的预测,即为ImageNet分类开发鲁棒模型所需的模型大小。(2)OntheExpressivityofMarkovReward(论马尔科夫奖励的可表达性)
马尔科夫奖励函数是不确定性和强化学习下的顺序决策的主导框架。本文从系统设计者对特定行为的偏好、对行为的偏好或对状态和行动序列的偏好等方面,对马尔可夫奖励何时足以或不足以使系统设计者指定一项任务进行了阐述。作者用简单的、说明性的例子证明,存在着一些任务,对于这些任务,不能指定马尔科夫奖励函数来诱导所需的任务和结果。
严格的方法比较可以加速有意义的科学进步。本文提出了提高深度强化学习算法比较的严谨性的实用方法:具体而言,对新算法的评估应该提供分层的自举置信区间、跨任务和运行的性能概况以及四分位数。本文强调,在许多任务和多次运行中报告深度强化学习结果的标准方法会使人很难评估一种新的算法是否代表着比过去的方法有一致的、可观的进步,作者通过经验性的实验说明了这一点。所提出的性能总结被设计成可以用每个任务的少量运行来计算,这对许多计算资源有限的研究实验室来说可能是非常重要的。(4)MAUVE:MeasuringtheGapBetweenNeuralTextandHumanTextusingDivergenceFrontiers(使用DivergenceFrontiers测量神经文本和人类文本之间的差距)
本文提出了MAUVE—一种用于比较模型生成的文本和人类生成的文本分布的散度测量方法。MAUVE使用被比较的两个文本的量化嵌入的(soft)KL散度度量系列。所提出的MAUVE测量本质上是对连续系列测量的整合,旨在捕捉第一类错误(产生不现实的文本)和第二类错误(没有捕捉到所有可能的人类文本)。实证实验表明,MAUVE能识别模型生成的文本的已知模式,并与人类的判断有更好的关联。这篇论文所涉及的研究问题在开放式文本生成快速进展的背景下非常重要,作者也给出了清晰的分析结果。(5)ContinuizedAccelerationsofDeterministicandStochasticGradientDescents,andofGossipAlgorithms
(1)享有与Nesterov方法相同的加速收敛性。
(6)MoserFlow:Divergence-basedGenerativeModelingonManifolds(基于散度的生成模型在流形上的应用)
本文提出了一种在黎曼流形上训练连续归一化流(continuousnormalizingflow,CNF)生成模型的方法。其关键思想是利用Mose的一个结果,该结果用一类有限的常微分方程(ODEs)来描述CNF的解决方案(Moser称之为流形上的方向保全自变量),该类ODEs享有几何规则性条件,并使用目标密度函数的发散来明确地定义。
本文来自多伦多大学和GoogleBrain合著。展开计算图应用于许多场景中,包括训练RNN、通过展开优化调整超参数以及训练学习的优化器等等。目前,这种计算图中优化参数的方法存在着高方差梯度、偏差、缓慢更新以及大量内存使用等问题。作者在这篇获奖论文中引入了一种持久进化策略(PersistentEvolutionStrategies,PES)方法,它将计算图划分为一系列阶段展开(truncatedunrolls),并在每次展开后执行基于进化策略的更新步骤。PES通过在整个展开序列中累积修正项来消除这些截断的偏差。作者通过实验证明了PES与其他几种合成任务的梯度估计方法相比的优势,并展示了它在训练学习型优化器和调整超参数方面的适用性。此外,本次会议杰出论文提名包括康奈尔大学陆昱成等人的论文《OptimalComplexityinDecentralizedTraining》分散训练中的最佳复杂度;
田渊栋的工作《Understandingself-supervisedlearningdynamicswithoutcontrastivepairs》无对比对的自监督学习动态理解;
来自多伦多大学、GoogleBrain的研究人员的论文《OopsITookAGradient:ScalableSamplingforDiscreteDistributions》离散分布的可扩展取样;
(1)LearningGeneralizedUnsolvabilityHeuristicsforClassicalPlanning
对于经典规划问题,近期的研究引入了专门检测不可解决状态(即不能达到目标状态的状态)的技术。本文从广义规划的角度来处理这个问题,并学习描述整个规划领域不可解性的一阶公式。作者具体将该问题转换为一个自监督分类任务进行分析。本文使用的训练数据是通过对每个域的小实例的详尽探索而自动生成和标记的,候选特征则是由用于定义域的谓词自动计算得到的。作者研究了三种具有不同性质的学习算法,并将它们与经典的启发式算法进行比较。本文的实验结果表明,本文方法往往能以较高的分类准确度捕捉到重要的不可解决的状态类别。此外,本文的启发式方法的逻辑形式使其易于解释和推理,并可用于表明在某些领域中所学到的特征描述正好捕捉了该领域的所有不可解决的状态。(2)OntheRelationBetweenApproximationFixpointTheoryandJustificationTheory
近似不动点理论(ApproximationFixpointTheory,AFT)和正当性理论(JustificationTheory,JT)是统一逻辑形式的两个框架。AFT根据网格算子(latticeoperators)的不动点研究语义,JT根据理由(justifications)研究语义,这些理由解释了为什么某些事实在模型中成立或不成立。虽然方法不同,但这些框架的设计目标类似,即研究在非单调逻辑中出现的不同语义。本文的第一个贡献是提供两个框架之间的正式关联性分析。作者证明了每一个理由框架都会诱导生成一个近似值,并且这种从JT到AFT的映射保留了所有主要语义。第二个贡献是利用这种对应关系,用一类新的语义即终极语义(ultimatesemantics)来扩展JT。在JT中,通过对理由框架进行语法转换可以获得最终语义,本质上是对规则进行某种解析。(3)KeepYourDistance:LandDivisionWithSeparation
(1)每个agent都应该接收一个可用的几何形状的地块;
(1)EL-概念;
(2)无对称性的ELI-概念;(3)和弦的、无对称的和有界的数的共轭查询(conjunctivequeries,CQs)。在所有的情况下,学习者都可以向oracle提出基于ABoxes的成员查询和等价查询,询问所考虑的类中的给定概念/查询是否与目标等价。当我们在等价查询中承认无限制的CQ时,(3)中对有界算数的限制可以被取消。
AAAI2021接收论文数量最多的作者是来自UniversityofWashingtonAllenInstitute的YejinChoi、来自南京理工大学的JianYang(杨健)和来自上海交通大学的JunchiYan(严骏驰)。YejinChoi教授最近的研究有两大主题:(i)从使用语言的各种语境中学习语言的背景意义,包括物理(如视觉)和抽象(如社会、认知);(ii)利用大规模多模态数据学习世界运作机理的背景知识。
具体包括:
(i)视觉语言基础:大规模学习语言和视觉之间的语义对应关系,处理图像字幕、多模态知识学习和推理等任务。
(ii)物理常识推理:从语言和其他形式学习基础物理知识;基于框架语义风格表示的动作因果关系和蕴涵建模。
(iii)社会常识推理和内涵框架:行为和事件的内涵含义建模;模拟人们为什么要做(意图)他们做的事,以及不同行为和事件的(情感)因果影响。
(iv)语言生成与会话人工智能:长语境建模;对故事或叙述中的场景进行跟踪和模拟;学习写作。
查正军(ZhengjunZha)是中国科学技术大学大数据学院教授,主要从事图像视频分析与检索、多媒体大数据分析、计算机视觉、人工智能等方向的研究。他在AAAI2022中发表的论文主要是关于行人重识别、运动分割、阴影消除等。
季向阳(XiangyangJi)是清华大学自动化系教授,主要研究方向为信号处理、图像/视频处理与传输、统计分析、机器学习、光学成像等。他在AAAI2022中发表的论文主要是关于图像压缩分析、强化学习、网格去噪技术等。
ICML2021接收论文数量最多的作者是日本理化学研究所先进智能研究中心主任MasashiSugiyama,这也是他连续第二年论文总数排名第一,他的研究方向主要是统计机器学习、数据挖掘、信号和图像处理、机器人控制等。
来自普林斯顿的杨卓然、来自西北大学的汪昭然、来自RIKEN的牛罡以及来自UCBerkeley的SergeyLevine分别以11篇论文并列第三。杨卓然是普林斯顿大学运筹学和金融工程系的博士生,主要研究方向是机器学习、统计和优化、强化学习的应用。汪昭然是西北大学工业工程和管理科学以及计算机科学助理教授,主要研究方向为增强学习、统计和优化,侧重于多智能增强学习和博弈论。
如下表可知,在国内知名企业机构中,在AAAI2021中发表论文数量最多的是阿里巴巴,共有54篇论文,也是全球入选最多的科技公司之一。本次会议百度也有24篇论文,京东、腾讯分别有21篇和11篇论文。新兴的网易伏羲是国内专业从事游戏与泛娱乐AI研究和应用的机构,本次会议也有9篇论文入选AAAI2021。华为共有7篇论文。
从高校角度分析,MIT和斯坦福分列第一、第二位,而斯坦福大学在最终的获奖论文中占有三席。国内各高校中,清华大学投稿90篇论文,北京大学则有63篇论文,分列第五和第九。
具体国内高校在ICML2021上发表论文数量情况如下:
而国内知名机构在ICML2021上发表论文数量情况如下:
从产业界和学术界的角度划分,学术界有935篇论文、产业界有352篇,这意味着大多数论文至少与一所大学有合作关系,从全球范围的角度来讲,学术界仍然是国际会议的主要力量。
从论文接收率的角度分析,最终接收率较高的论文主要分布在以下几个领域:规划与调度、约束和SAT、基于智能体和多智能体的系统、启发式搜索和GamePlaying、AI中的不确定性等。经典的几个研究领域,包括数据挖掘、机器学习、NLP等,论文的接收率较低。
此外,大会官方还统计了被接收论文的标题关键词,排在前几位的接受率较高的论文标题关键词有:随机(stochastic)、博弈(game)、示例(instance)、增强(augmentation)、蒸馏(distillation)等。
而对应的拒稿重灾区标题关键词排名靠前的有:卷积(convolutional)、训练(training)、特征(feature)、深度(deep)、对抗(adversarial)等。