智能威胁分析之图数据构建——关联数据为环境数据图:如资产资产脆弱性文件信息用户信息IT系统架构信息等行为数据图:如网络侧检测告警终端侧检测告警文件分析日志应用日志蜜罐日志沙箱日志等情报数据图:各类外部威胁情报知识数据图:各类知识库(如ATT&CK,CAPEC,CWE)等bonelee

RSAC大会的热度似乎持续了一整个北京的春天,直播、新闻、技术解读、研讨活动让人应接不暇。从RSA大会官网上查询今年“Better”主题的由来和背景,发现会议主题的设计虽然从字面似乎是表达“去年做的不错,今年再接再厉”的客观评价,不过更多的,是大会对安全行业“不忘初心”的鼓励。“最重要的是,永远不要忘记我们来到这里的根本原因:帮助确保一个更安全的世界,这样其他人就可以着手让世界变得更美好。”看到这里,读者脑海中是否也回荡起MichaelJackson的经典歌曲“Healtheworld,makeitabetterplace…”闲言少叙,作为网络安全数据应用的研究者,常常会思考的一个问题,是怎么才叫安全智能,怎么才能让网络安全更智能(better)?

基于深度神经网络的AI技术在许多领域有所突破,而在网络安全中的应用总体来看仍然是有限的落地。当前阶段,期望通过层级的深度神经元网络,端到端的识别、关联和响应威胁事件,可以说是有些不切实际。算法专家周涛给出了AI在威胁检测中难落地的几点总结:

从模型、数据,再到应用场景,以上几点比较深刻的阐述了机器学习,特别是深度学习难与安全建模契合的原因。不过,深度学习、机器学习技术不是AI技术的全部。在网络空间中,构建具备异常感知、事件推理和威胁响应能力的智能威胁分析平台,深度学习、机器学习可以作为数据处理的常规武器,而不是核心能力。

数据从来都是AI可用性的基础,典型的“感知-认知-行动”智能应用模式的作用对象也是数据。那么构建更加自动化、更智能的威胁分析能力,我们应该收集和分析哪些数据,又如何组织这些数据呢?

一、数据层次划分模型,DIKW

APT识别/跟踪,攻击溯源,威胁狩猎与响应,团伙分析,态势感知等安全防御目标已经远远超出了传统孤立检测系统的应用范畴。应用日志、主机日志、网络日志、检测事件日志、资产信息、评估结果及业务层面的员工信息等数据,已经逐渐融入SIEM和UEBA方案,同时,威胁情报信息也逐渐成为检测能力的标配。多源异构数据的接入和关联,为事件的可视化、检测、推理、响应和治理提供了全面的支撑。随着数据的丰富和检测、关联能力的提升、响应能力更自动化,各大厂商也逐渐开始思考智慧安全能力的构建,以针对安全数据实现更通用的自动化推理能力。

构建安全智能,首先面对的问题就是如何组织数据。首先简单回顾一下数据、信息、知识和智慧的金字塔分层模型DIKW[1]。

图1DIKWpyramid

从“数据”到“智慧”的路途漫漫,不过随着攻防对抗的持续,安全行业的发展已经为我们触及安全智慧的边缘打下了夯实的基础。在此,我们将常见的安全数据按照DIKW模型进行粗略的分类:

以上分类大体说明了当前安全数据分析所能够掌握的资源及其层次。在安全数据分析的语境下,我们使用的“数据”一词表示所使用的一切数字资源,包括了数据层、信息层和知识层的结合。DIKW的模型描述了数据的分层结构,也是网络安全中最直接的处理模式的层次。

二、数据组织形式,图模型

网络环境本身具有典型的图结构,网络安全问题也因此很自然的与图数据结构、图算法结合起来。在Google提出知识图谱的概念之后,以知识图谱技术为基础的智能应用方案,已经在推荐系统、问答系统、搜索引擎、社交网络、风控等领域广为使用。在安全领域,最常见的图就是各大安全产品中的可视化界面中资产关系图、攻击向量图等。通过图进行数据关联和推理方面,国内外厂商也在不断的进行深入的尝试。MicrosoftIntelligentSecurityGraph已几乎全面攻占了Google引擎“Graph”+“Security”关键词的搜索结果。

图2CyGraph架构

如今,可收集的网络安全数据维度和规模不断增长,亟需系统的数据组织形式,尽可能将所有可用的信息组合成一个有机的整体。传统的基于关系型数据库的数据组织形式难以应对复杂的图关系操作,将数据组织成图结构,能够最大化发挥安全数据的图属性,提升数据存储、挖掘、检索的效率。网络安全数据结构中蕴含的图基因,不仅仅是数据可视化的基础,更是用以对抗网络空间威胁的安全智能构建的基础。那么,智能威胁分析能力的构建需要那些数据图的支撑呢?

三、构建智能威胁分析能力的关键数据图

图3关键数据图构建

当前,大规模多维度网络安全大数据的接入,给网络威胁事件的处理造就了全新机会。同时,在有限可用资源的条件下,对安全数据源的甄选和统一处理也显得尤为重要。不同于DIKW的数据分层模型和CyGraph的安全/任务知识栈结构,从网络攻防的对抗本质出发,以给定的网络空间为战场,以保护资产(包括实体资产和虚拟资产)并打击威胁主体为目的,智能化的威胁分析应该收集并构建以下维度的关键数据图:

1、环境数据图

“环境”可以定义为防护网络空间内的各类实体和实体的属性(基本信息、脆弱性、合规信息等),以及实体之间的关联关系。环境数据图的构建,需要资产管理、脆弱性管理、风险评估等工具和服务的支撑,也需要类似企业组织信息、IT系统架构信息、人力资源信息等业务数据来支持环境实体的丰富和关系建立。

图4Cauldron基于图的漏洞分析

安全防护不仅仅是构建更厚的防火墙,制定更多预算抵御可能随时发生的DDoS攻击。对资产、资产脆弱性、用户信息、IT架构信息的掌控程度,往往决定了网络空间防御能力的上限。提供资产管理平台方案的Axonius成为新晋的RSAC创新沙盒冠军,似乎提醒着大家,资产管理方案远未像理想中那么成熟。特别是在云、物联网、移动互联网迅速发展的时代背景下,资产数量剧增,类型更加丰富,脆弱性暴露的形势也更加严峻。“知己”比“知彼”显得更加关键,无论是暴露在公网的资产还是边界内未纳入管理的“黑资产”,都将大幅增加安全防护风险。为应对无孔不入的威胁,需要发现安全防护的关键实体、关键关系,在威胁事件发生的前后,对威胁的潜在影响范围、影响深度进行全面的评估,保证攻击面的准确识别。

2、行为数据图

“行为”可以定义为可收集的、可检测的所防护网络空间内实体的动作。可以是DIKW数据层的各类原始日志,也可以是信息层的各类检测告警日志、聚合的推断告警日志。UEBA和SIEM的综合方案能够满足行为数据收集的需求。

3、情报数据图

威胁情报,能够扩展赋安全团队的威胁视野,通过更多威胁上下文提升安全事件研判能力。现阶段,威胁情报已经成为重要的战略和商业资源,广泛的应用于安全运营、态势感知、威胁分析、风险评估、攻击溯源等多个领域。值得注意的是,不同的威胁情报提供商本身对威胁情报理解的维度和深度不同,构建可用的情报数据图,威胁情报胜在丰富、准确和时效性,选择符合特定业务场景的威胁情报源构建专用的情报图,是提升效率和可用性的关键。

4、知识数据图

图6ATT&CK要素关系图[4]

四、总结

针对网络空间智能威胁分析技术的研究,目的不是设计一个如何炫目的概念,也难以实现一个放之四海皆可用的AI安全模型。回归到攻防的战场上,我们希望也能够得到的,是一个统一的、能吞吐海量异构多源数据,快速检测、推理、响应、追踪威胁事件的高度自动化平台及工具链,辅助人进行安全的运营、研究和对抗。本文从实践经验出发,基于对网络安全数据分析中常用数据源的再分类,提出了构建智能安全平台的图模型所需的环境、行为、情报、知识四张关键数据图,以支撑“智能化”安全研究工作的进一步开展。

参考资料:

[1]Rowley,J.Thewisdomhierarchy:representationsoftheDIKWhierarchy[J].Journalofinformationscience,2007,33(2):163-180.

[2]NoelS,HarleyE,TamKH,etal.CyGraph:Graph-BasedAnalyticsandVisualizationforCybersecurity.CognitiveComputing:TheoryandApplicationsElsevier,2016.

[3]JajodiaS,NoelS,KalapaP,etal.Cauldronmission-centriccybersituationalawarenesswithdefenseindepth[C].MILCOM2011MilitaryCommunicationsConference,2011.1339-1344.

安恒:AiLPHA大数据智能安全平台的核心技术“基于知识图谱的网络攻击自动化关联推理技术”还获得了2019数博会领先科技成果奖。

据国家工业信息安全发展研究中心日前公布的“2019年大数据优秀产品和应用解决方案案例”入选名单来看,其中大数据产品类33个、大数据应用解决方案类61个。安恒信息AiLPHA大数据智能安全平台成功入选“2019大数据优秀产品”,所属类别:“安全保障”,这一类别仅有2家入围,安恒信息是其中一家。

安恒信息AiLPHA大数据智能安全平台能够同时获得两项大奖,再次印证了其在大数据安全领域的创新性和先进性。

安全现状:攻击和漏洞“同生共长”

近年来,随着移动网络、物联网等新兴技术的发展,网络安全形势也随着越来越严峻。对于安全管理者和高层管理者而言,如何掌握网络安全整体状况,预测和判断风险发展的趋势,并指导下一步安全建设与规划,是一道持久的难题。

1、新兴网络攻击愈演愈烈

目前,木马、僵尸网络、钓鱼网站等传统网络安全威胁有增无减,DDoS(分布式拒绝服务)攻击、高级持续性威胁攻击等新型网络攻击更是愈演愈烈。

2、高危漏洞频现新漏洞层出不穷

信息系统存在安全漏洞是诱发网络安全事件的重要因素,根据CNVD收录漏洞的情况,近三年来新增通用软硬件漏洞的数量年均增长超过20%,漏洞收录数量呈现快速增长趋势。2017年,CNVD“0day”漏洞收录数量同比增长75.0%。2017年CNVD收录的物联网设备安全漏洞数量较2016年增长近1.2倍,针对工控网的网络安全攻击也日益增多。

大数据+Ai:实现态势感知和威胁预警

面对来势汹汹的网络攻击和漏洞风险等安全问题,安恒信息AiLPHA大数据智能安全平台如何游刃有余地解决这些问题,并先后获得多项荣誉?

AiLPHA大数据智能安全平台采用大数据追踪溯源、用户画像、异常聚类和机器学习的智能分析技术,能够有效发现、预警和联动安全设备处置网络安全威胁、异常活动和突发事件,并做到实现全天候重点网站监测,建立智能化的安全大数据搜集、分析、处理体系,实现对整个高级威胁攻击链的全面关联分析和网络系统安全态势感知。

针对当前难以实现真正联动分析、态势感知和追踪溯源存在的不足之处,AiLPHA大数据智能安全平台创新性的采用大数据技术和机器学习,结合场景分析的自学习建模,很好的解决了市面上现有的安全威胁检测类产品和技术的一些难点。

创新性关键技术包含:

1、基于知识图谱的网络攻击自动化关联推理技术

2、实时挖掘和分析海量安全数据技术

3、基于安全场景的行为威胁分析技术

4、基于机器学习的异常行为风险分析技术

5、安全事件合规映射技术

6、基于深度威胁分析的多维态势可视化技术

行业应用:为行业提供安全分析能力

至今,AiLPHA大数据智能安全平台已被广泛应用于运营商、金融、政府、高校、医疗、公安等各行各业,为用户提供全局安全态势感知能力和业务不间断稳定运行提供安全保障,为用户信息系统安全决策提数据支撑。

以某医院为例,看AiLPHA大数据智能安全平台如何落地实践。

于是,安服专家建议部署AiLPHA大数据智能平台,平台可以洞察事件源头,了解病毒影响范围,定位关键扩散节点来协助本次安全应急响应。

部署前后对比:

部署前

1.内部网络访问关系完全不了解

2.病毒爆发应急处置无从下手

3.各安全设备产生2亿条日志和近万条告警

4.病毒何时何入口入侵完全不知道

5.内网安全无统一监管

部署后

1.有效的安全域划分,使得内部资产关系一目了然

2.快速精准的定位关键节点,已失陷、高危风险资产等传播源暴露无遗

THE END
1.全球主流漏洞库大全官网:https://www.cnvd.org.cn/ 2、CNNVD(国家信息安全漏洞库) 中国国家信息安全漏洞库(CNNVD,China National Vulnerability Database of Information Security)于2009年10月18日正式成立,是中国信息安全测评中心(中文简称:国测,英文简称:CNITSEC,China Information Technology Security Evaluation Center)为切实履行漏洞分https://blog.csdn.net/cnkuaiye/article/details/144278334
2.阿里云漏洞库漏洞描述 Adobe Framemaker 2020.7、2022.5及更早版本存在一个基于堆栈的缓冲区溢出漏洞,可能导致在当前用户上下文中执行任意代码。利用此问题需要进行用户交互,即受害者必须打开恶意文件。 解决建议 建议您更新当前系统或软件至最新版,完成漏洞的修复。 参考链接 https://avd.aliyun.com/detail?id=AVD-2024-53959
3.安全圈需要采取紧急行动:ABBASPECT漏洞使建筑物面临网络攻击安全漏洞 ABB 针对其楼宇能源管理平台 ASPECT 系统发布了重要网络安全公告。该公告于2024年12月5日发布,详细描述了多个漏洞,这些漏洞可能允许攻击者远程控制该系统并执行恶意代码。 这些漏洞影响到 ASPECT 的不同版本,包括未经授权的访问和远程代码执行,以及跨站脚本和拒绝服务攻击。ABB 已将 CVSS v3.1 基本分高达 10.https://www.163.com/dy/article/JJ0889FJ0511A5GF.html
4.国家信息安全漏洞库国家信息安全漏洞库漏洞技术研究联盟正式成立 ——强化漏洞治理生态,共筑网络安全防线 发布时间: 2024-08-16 07:23:11 青马红客“精英训练营”开营仪式隆重举行,推动网络安全实战型人才培养新进程 发布时间: 2024-08-15 17:04:26 2024年度6月CNNVD新增技术支撑单位公告 发布时间: 2024-08-02 10:22:32查看https://www.cnnvd.org.cn/
5.2024上半年网络安全漏洞态势报告(个) 2014年 2015年 2016年 2017年 2018年 2019年 2020年 2021年 2022年 2023年 2024年 20548 28687 24921 2082719058178331630714671 862277358220 50000 40000 30000 20000 10000 0 2014 年至 2024 年,我国国家信息安全漏洞库(CNNVD)和美国国家漏洞库(NVD)漏洞收录情况如图 1-1 所示,国内外漏洞库收录漏洞数量的https://doc.mbalib.com/view/a628d5274910d93ea404407b266e9402.html
6.态势感知一周漏洞TOP5态势感知态势感知接口说明 一周漏洞TOP5 推荐使用API Explorer调试 </>点击调试 API Explorer支持接口在线可视化调用,同时自动生成动态代码示例,搭配OpenAPI SDK无需计算签名实现接口快速集成。 URL GET https://ecloud.10086.cn/api/https://ecloud.10086.cn/op-help-center/api/article/83856
7.有用的信息安全资质查询网站大全查询页面http://www.cnnvd.org.cn/web/xxk/gyHzhb.tag#list_1 这是由中国信息安全测评中心管理的国家信息安全漏洞库(CNNVD) 认定的,CNNVD 技术支撑单位主要面向信息安全厂商、软硬件厂商与互联网公司等,以平等自愿的原则,通过签约合作的方式与这些单位开展合作。从高到低分为一级、二级、三级这三种级别。 https://xie.infoq.cn/article/a01ae320f62956cc3182b05d0
8.2022年度国家信息安全漏洞库(CNNVD)工作总结暨优秀支撑单位表彰70余家CNNVD技术支撑单位的100余名代表现场参会,中国信息安全测评中心张峰主任、李守鹏副主任及相关部门负责同志出席会议。 2023年5月24日下午,国家信息安全漏洞库(CNNVD)2022年度工作总结暨优秀支撑单位表彰大会在中国信息安全测评中心隆重举行。70余家CNNVD技术支撑单位的100余名代表现场参会,中国信息安全测评中心张峰主任、https://www.secrss.com/articles/54976
9.正中信息正式成为国家信息安全漏洞库(CNNVD)技术支撑单位近期,中国信息安全测评中心公布2023年度国家信息安全漏洞库(CNNVD)技术支撑单位名单,正中信息顺利通过中国信息安全测评中心持续数月的测评与审核,荣获“国家信息安全漏洞库(CNNVD)技术支撑单位等级证书”,正式成为CNNVD技术支撑单位。 国家信息安全漏洞库(英文简称 : CNNVD)是中国信息安全测评中心为切实履行漏洞分析和风险评估http://www.sdzz.cn/dangjian_detail/622.html
10.开源网安核心安全产品获得国家信息安全漏洞库CNNVD兼容性资质证书近日,开源网安自主研发的安全产品获得国家信息安全漏洞库兼容性资质证书,标志着开源网安的产品得到了国家权威漏洞库的检测和认可。开源网安通过与CNNVD的合作,进一步提升产品对新型威胁的响应能力,大大提升安全管理水平。 CNNVD是中国信息安全测评中心为切实履行漏洞分析和风险评估职能,负责建设运维的国家级信息安全漏洞数据管理https://www.seczone.cn/news/36.html
11.国家信息安全漏洞库(CNNVD)技术支撑单位计划指南.PDF国家信息安全漏洞库(CNNVD)技术支撑单位计划指南.PDF,国家信息安全漏洞库 (CNNVD )技术支撑单位计划指南 版本:V3.5 中国信息安全测评中心 本指南可通过CNNVD 官方网站下载:/ 目录 第1章 计划介绍1 第2章 计划内容1 2.1 合作方式2 2.2 申请流程4 2.3 总结评价5 4 CNNVDhttps://max.book118.com/html/2018/0203/151708443.shtm