团队从快手海量短视频中挖掘出亿级别知识类视频，并对其进行了结构化，构建了千万级词条和知识点视频百科体系。“快知（Kuaipedia）”的提出有助于学界推动AI通过多模态信息理解世界知识，且在产业界落地有较大想象空间。
介绍
百科全书（Encyclopedia），可以追溯到希腊和罗马，也是17-18世纪法国启蒙运动的一个杰出的成果。知识百科通常是指一个是概要介绍人类全部知识或某一特定领域或学科的工具书或纲要，在互联网急速发展的当下，网络百科成为知识新的载体，如维基百科、百度百科等。但这些百科通常以图文、表格为载体，比较难以表达一些需要生动演示的知识，比如教程（How-to）类知识。图一展示了使用图文讲述“柴犬”-“怎么画”这一知识的困境。而通过短视频，我们能够很好地对这些知识进行一个阐释和学习。
图一：图文在how-to类知识上知识传递的困境，图文来自短视频的帧截图
参考国家标准[2]，我们将事实（What）、原理（Why）类知识归结为科普知识，技能（How）类归结为教程知识，在快手海量的视频中挖掘出高质的知识视频。此外，我们将短视频中抽取的知识主体以词条形式呈现（如柴犬），并抽取视频中讲解的该词条具体的知识点（如柴犬-挑选、柴犬-护食纠正等），最终构成了一个短视频的百科知识体系，如图二所示。
图二：快知——多模态短视频百科概览
“快知（Kuaipedia）”的提出有以下几个贡献：
1、“快知”的定义：我们开创性地定义了一个全新的多模态知识百科库，以词条、知识点、知识类短视频以及它们间的关系共同构成。这是业界首个结构化的多模态短视频百科。
2、构建大规模短视频百科的方法：我们提出使用知识视频识别、词条知识点挖掘、多模态知识链接的组合来构建大规模的短视频百科。并开创性提出“多模态知识链接”任务，作为传统实体链接的一个外延和扩展。
3、富有潜力和想象空间的应用：在学术上，“快知”以崭新的知识点短视频化组织形式，能够突破目前机器仅靠图文知识图谱（KG）理解世界知识的上限，在KG的一些下游任务如实体链接、实体分类，或者NLP、CV等内容理解下游任务上，有非常大的潜力。在产业界，“快知”这样的形式能够助力短视频平台进行高效地运营、组织内容，提升用户对知识的理解与消费效率。
技术概览
为了实现上述的短视频百科结构化，核心技术包括以下三个主要步骤，如图三所示。
1、知识视频识别：通过多模态视频预训练模型，理解并识别海量视频中知识类视频；
2、词条和知识点挖掘：通过多源知识库融合“自顶向下”构建词条体系，再通过对用户搜索query挖掘“自底向上”构建词条与知识点关系，形成词条知识点树；
3、多模态知识链接：创新性地扩展传统“实体链接”任务，提出通过多模态内容理解技术将视频链接到词条（如柴犬）的某一个知识点（如护食纠正）上的“多模态知识链接”任务。
图三：快知构建技术链路
应用
首先，“快知（Kuaipedia）”这样的多模态短视频百科体系，在学术界对于推动AI理解世界知识的技术发展有极大的潜力。一方面，“快知”突破图文和表格的局限，通过更丰富的知识点和短视频来描述某一个实体或者概念，这种方式能够推动多模态知识图谱技术的发展。另一方面，这些知识点和短视频有助于AI更好地理解世界知识，尤其是一些图文难表述的How-to类知识，这种多模态知识能够增强AI对世界的理解，对KG、NLP、CV等领域的下游应用都很有帮助。我们在CCKS实体链指的任务上，证明“快知”多模态知识的简单引入就能有效提升BERT在实体链接和在实体分类上的性能。
图四：快知在健康场景落地
除健康外，“快知”还覆盖了教育、美食、三农、亲子、法律、科技、金融等众多领域的知识内容，有着较大的应用潜力。
结语
面对泛知识类内容在短视频行业的发展前景，我们提出了“快知（Kuaipedia）”多模态短视频百科体系，从存量的海量短视频内容入手，通过多模态知识图谱构建技术挖掘出亿级别高质量的知识视频，并将知识内容结构化，构建业界首个大规模体系化的短视频百科知识库，其在学术界和产业界有较大的潜力和想象空间。
作者介绍
第一作者：潘浩杰
快手MMU知识图谱中心成员，快知项目负责人，本硕毕业于浙大和港科大，曾在阿里云PAI负责大规模NLP算法与框架，在ACL、EMNLP、KDD、AIJ等顶会顶刊中发表10余篇论文，多项国内和美国专利，详见知乎。2021年加入快手。
通讯作者：付瑞吉
快手MMU知识图谱中心负责人，本硕博毕业于哈工大，中科大博士后。曾担任科大讯飞AI研究院副院长，获吴文俊人工智能科技进步奖一等奖。在ACL、EMNLP、Coling、IJCAI、TASLP等国际会议和期刊上发表学术论文多篇，申请（获得）国家发明专利四十余项。2021年加入快手。
合作老师：刘铭
教授/博士生生导师，哈尔滨工业大学计算学部。先后主持国家重点研发计划项目课题、国家自然科学基金、中国博士后科学基金特别资助、中国博士后科学基金面上资助一等资助、黑龙江省面上基金等多项基金项目。获黑龙江省科学技术一等奖，哈尔滨市科技成果，第六届全国青年人工智能创新创业大会一等奖。近年来以第一作者或通讯作者发表CCFA/B类论文20余篇，参编教材一部，英文译著一部。担任NLPCC2020、CCKS2020、COLING2022知识图谱领域主席，CCKS2019出版主席、CCKS2021评测主席、CCKS2022讲习班主席。