本次学术论坛我们邀请了云智慧算法实习生、北京航空航天大学博士在读生郭同学为我们从学术界角度简要介绍该领域与深度学习结合的近期进展。
一、日志研究概述
四、总结
日志数据由系统运行产生，它详尽描述了系统大规模内部事件以及用户的意图。随着大规模IT系统的快速发展，日志数据的数量已经增长到传统方法难以分析的程度。除此之外，日志的标签获取与标注也比较困难。下图展示了从代码到日志的过程，相同系统的日志也会产生个性化内容，我们可以在代码中定义任何我们想要的系统反馈。
为解决上述瓶颈，运维人员尝试通过集成人工智能算法来增强IT运维能力，由此诞生过一批基于传统机器学习算法。近些年，随着计算算力发展和数据体量增大，深度学习技术开始被用于日志分析领域，研究者们认为半结构化的日志消息也包含部分系统语义，类似于自然语言语料。因此研究者们纷纷采用语言模型对日志数据进行建模分析，例如LSTM，Transformer等。为解决标签难以获取问题，一批研究者采用自监督、无监督，弱监督、半监督等不需要完整标签的方法，例如近期出现的Log领域的Bert等。也有采用迁移学习、集成学习、持续学习等不同的学习方式去各方面高效提升运维效率。总而言之，研究者们正在深挖深度学习在该领域的研究和应用价值。
对于日志的研究大致可以分为三个方向：LogCompression（日志压缩）、LogParsing（日志解析）、LogMining（日志挖掘）。对于日志压缩，我们研究如何在不丢失重要信息的基础上高效压缩日志。日志解析就是从软件日志中自动提取事件模板和关键参数，日志挖掘中包含了各种任务，包括日志异常检测，日志告警等，挖掘的主要目的也是为了提高系统的可靠性。下图给出近期论文的数量和方向，我们可以发现论文数量逐年上升且大部分论文聚焦于日志挖掘方向。
海量日志数据之间语义相似性较高，实际需求需要将日志表示。因此学者期望对日志提取出固定的模版/模式以求代表整个日志数据库。经调研，当前日志异常检测方法大都需要日志解析这一步，原因在这边简述。
上图展示了日志模版提取过程，从上到下依次是原始日志，解析后的日志模版，结构化好的日志，最后将结构化好的数据送入下游各种日志挖掘任务。详细来说，L1、L2、L3、L4、L5表示五条原始日志，我们经过日志解析算法（Drainparsing）提取出三个模板：T1、T2、T3。经过Mapping后我们得到了五条结构化好的日志，即粉色框中的L1～L5。日志解析会将我们认为日志中无关的信息去除，例如Timestep、ID等。常见的解析算法：Drain（基于树结构相似度）Spell（最长公共子序列）AEL（常数和变量的发生频率）IPLoM（迭代分区策略，根据消息长度、令牌位置和映射关系等）。
2020年后的深度日志异常检测框架大都有三个部分：日志解析模块->特征编码器->分类器/解码器。这一部分将给大家介绍部分深度学习框架。
Deeplog:Anomalydetectionanddiagnosisfromsystemlogsthroughdeeplearning.
如下图所示，模型分为训练和测试两阶段，在训练阶段，原始日志经过日志解析后得到模板，随后经过LSTM网络学习表征，预测下一条日志的模板。在测试阶段，测试数据输入模型后得到预测的模板结果，如果预测的模版不在Topk个模版内，那么该条日志就被判为是异常的。
Robustlog-basedanomalydetectiononunstablelogdata.
该模型基于监督学习，模型使用基于注意力的双向LSTM架构。采用Drain进行日志数据解析，特征提取器采用Word-to-Vector和TF-IDF加权技术生成日志表征。模型将正常和非正常日志数据都用于训练，最后分类器来判断日志是否是异常。
Hitanomaly:Hierarchicaltransformersforanomalydetectioninsystemlog.
模型也是基于有监督学习，采用了基于Transformer的架构。日志解析器依旧采用Drain，在模式解析中，模板往往不会保留日志原始的数值信息，但是该模型将丢失的数值信息一并送入模型中编码，最大程度的保存了原始日志的信息，这也就是该工作的创新点所在。
Self-attentiveclassification-basedanomalydetectioninunstructuredlogs.
模型是有监督学习，采用了基于Transformer的架构。这篇工作的创新点在于没有用日志解析器，而是将整个原始的日志送入编码器编码，这会在最大程度上保留原始语料的信息，但是实际情况中的检测效率也会大大受影响。
TRANSLOG:AUnifiedTransformer-basedFrameworkforLogAnomalyDetection.
该模型也是基于监督学习，不同于上述模型几乎不变的框架，本工作在日志异常检测的思路上进行重建，主要贡献：
模型的框架图如下所示，主要分为两阶段：Pretrainging和Adapter-basedTuning。首先将所有的解析好的日志事件序列输入到预先训练好的语言模型中（这里我们采用了BERT模型）以提取表示。随后采用Transformer编码器，在高资源源域数据集上进行训练，来获得共享语义信息，然后对于目标数据源，我们冻结编码器的参数，只调整目标域数据集上的Adapter的参数。这样我们就达到了将知识从源数据集转移到目标数据集上的目的。
我们比较了六种不同的方法，在三个公开数据集上进行测试，最终我们的算法都获得了SOTA（最优表现）。同时我们参数量减少了将近百分之95%。
通过我们在智能运维行业中的深耕经验以及前沿技术的调研，我们总结了日志领域发展的以下三个趋势：由于行业普遍存在日志本身的标签获取较难的现象，无监督或者弱监督的深度学习方法将大量涌现，帮助该领域人员在无标签的数据情况下更好的从事实际研究和落地发展；而且随着运维领域多模态的发展，引入外部知识，例如知识图谱，亦或者运维数据中的调用链、指标等数据类型来扩充日志本身的原始信息，因此会出现很多基于自监督的方法和多种模态数据相结合的方向，朝着运维一体化更好的发展；随着运维数据体量不断增大，类似于自然语言领域中Bert的这种大型模型逐渐体现其性能，结合预训练和微调的学习范式，一个学习各种运维知识和日志模式的大模型将有很大机会充当AIOps的研究典范。
近年来，在AIOps领域快速发展的背景下，IT工具、平台能力、解决方案、AI场景及可用数据集的迫切需求在各行业迸发。基于此，云智慧在2021年8月发布了AIOps社区，旨在树起一面开源旗帜，为各行业客户、用户、研究者和开发者们构建活跃的用户及开发者社区，共同贡献及解决行业难题、促进该领域技术发展。
社区先后开源了数据可视化编排平台-FlyFish、运维管理平台OMP、云服务管理平台-摩尔平台、Hours算法等产品。
可视化编排平台-FlyFish：
部分大屏案例：
我们秉承MakeDigitalOnline的使命，致力于通过先进的产品技术，为企业数字化转型和提升IT运营效率持续赋能。