在360内部有这样一个团队,他们不挖洞,不搞攻防对抗,不做应急响应,不研究病毒样本,但却是很多安全产品中不可或缺的关键一部分。
如果我说出这些炙手可热的安全产品方案的名字,你大概就知道他们有多重要了。安全态势感知、威胁情报近几年来不断受到业界的追崇,原因之一就是它们将错综复杂的安全数据直观、形象地展现出来,并且可以对攻击进行定位、溯源,从而让威胁看得见、甚至预判。
所以,如何将一个个数据转换为人可看、可感知并且有逻辑的可视化界面就是这一支团队的主要工作,他们是360企业安全“雷尔”可视化平台部,他们其中有数据分析专家、布局算法专家、Web前端、大数据可视化等大咖,专注于数据可视化、可视分析、图形渲染、设计建模等技术领域。
最近,他们再次代表中国获得国际认可。国际可视化年会中的IEEE VAST Challenge是可视化与可视分析领域最重要、规模最大的竞赛,它从2006年举办至今,每年都有来自世界各地的高校、研究所与企业团队和个人参赛。
在今年(2018年10月21日-26日)于德国柏林举行的IEEE VIS数据可视化会议上,360企业安全与北大可视化联合组队获得2018 VAST MC3(Mini-Challenge 3)最高奖项,从2015年首次参与VAST比赛,360企业安全“雷尔”可视化平台部已连续4年获奖,并且是国内唯一连续四年获奖的队伍。这展示出360企业安全在安全大数据可视化领域的技术领先地位,代表了安全可视化的最高水平。
2016 VAST Challenge:360企业安全与北大可视化联合组队获得 Outstanding Comprehensive Solution Award
2018 VAST Challenge:360企业安全与北大可视化联合组队获得 MC3(Mini-Challenge 3)最高奖项
让冰冷的数据动起来
事实上,可视化与可视分析并不只是应用在安全领域,作为一项学科,VAST以其将人的智能与计算机超强处理能力有机融合的优势,成为数据分析和科学决策的重要方法和有效手段,越来越多的领域复杂问题迫切需要用可视化的方法来解决,例如交通、公共安全、智慧城市等领域。
可视化是连接人和机器的纽带,它让冰冷的数据动起来,通过图表、图形等交互的展示方式,将数据可视化,让人一眼“读懂”海量数据的含义。360雷尔可视化平台负责人黄鑫直接地解释道,“因为人类大脑对视觉信息的处理优于对文本的处理。”
简单地理解,360雷尔可视化平台做得就是对数据的解读,展现和探索的过程。
拿今年的VAST Challenge比赛来说,主办方设置了一个场景,家具厂Kasios被怀疑在生产过程中使用了挥发性有机溶剂Methylosmolene,可能是当地林鹨(一种鸟类)数量减少的罪魁祸首。参赛队伍获得了种类多样的非结构化数据——涉及60多万人的员工、超过1000万条电话记录、1400万邮件记录、12万条会议记录、76万条采购记录。事实上,其中还包括了大量的参赛人员非擅长分析的数据,例如鸟叫声等,这对参赛者是一个挑战,参加此次比赛的360企业安全数据可视化专家马奇说。
参赛队伍被要求根据所提供的海量数据,确认家具厂Kasios是否负有责任。所以,参赛队伍要做的是对数据进行筛选、可视分析、交互展示等,通过蛛丝马迹,一点点寻找出真相。
360企业安全“雷尔”可视化平台团队提交的VAST Challenge作品截图
最终,360企业安全与北大可视化联合组队的数据可视化专家,利用360自研多维分析产品进行定制的数据可视分析工具,经过200小时的分析,成功解答了挑战赛的题目。在共3道挑战题中,360企业安全与北大可视化联合组队获得比赛唯一的2018 VAST MC3(第3题)最高奖,实际上在其参与的第1题中,也以提名奖获得了优异成绩。
这虽然是主办方设计的一个题目,实际在现实中,数据可视化与分析已经发挥了巨大作用。
人脑+电脑分析复杂问题
据了解,“9•11”之后,斯坦福大学的几个教授以公开的海量信息为输入,利用计算机建立关于人物关系的网络,最后锁定了一堆疑似人物,并迅速将结果发布出去。结果CIA等部门大为震惊,因为教授们的结果与CIA花人力大量侦查和审讯的结果很近似。
尽管CIA、FBI等情报机构掌握着成千上万个数据库,包括财务数据、DNA样本、语音资料、录像片段以及世界各地的地图,但要在这些数据之间建立联系,却相当耗费时间。如何从浩如星海的数据中快速找出有价值的线索,提前掌握恐怖份子可能发动袭击的消息,对情报部门的技术水平有非常高的要求。
所以,结合统计、算法、可视,将人、机的各自强项进行有机融合,人脑+电脑能够洞悉数据背后的信息、知识与智慧。
360企业安全对可视技术的产品化和应用
基于对可视化与可视分析技术的积累,360企业安全也已经将其应用在诸多安全产品中。例如360天眼新一代威胁感知系统,360企业安全大数据威胁与分析事业部(天眼)总经理张卓表示,通过引入卓越的大数据可视化分析,天眼产品以人类大脑更易于理解的可视化形式,对海量安全数据进行互动展示,可以帮助安全分析人员快速识别潜在攻击和异常事件。
天眼系统可分析本地采集到的所有信息,并结合来自360威胁情报中心的可机读威胁情报,快速发现企业内部的高级威胁,从而提高了运营人员感知、分析和理解网络安全态势的能力。
此外,几年前,360企业安全利用可视化分析技术开发的伪基站追踪分析系统,在帮助有关部门打击伪基站行动中同样发挥了巨大作用。通过用户主动上报的垃圾短信,360企业安全构建起了基于海量垃圾短信样本的可视分析系统,系统中直观显示了伪基站时间活动规律、地点活动规律等,从而为有关部门打击伪基站提供有效方案。
现在,360企业安全“雷尔”可视化平台部也正在将可视分析技术应用在越来越多的产品和领域,例如智慧城市安全运营中心、动态3D城市地图等等。
当然,可视化技术并不仅是对数据的可视呈现那么简单。正如悉尼大学Peter Eades教授在ChinaVis 2018上所说,数据通过可视化函数(visualization function)转换为图片,图片又经过感知函数(perception function)被人类所理解,这一过程中,可视化函数是否对数据进行了准确无误的转换,人类是否准确理解了图片中的信息?这考验的是可视化与可视分析背后的技术实力。
黄鑫对自己团队的技术能力尤以自信,当然能够在IEEE VAST Challenge这项全球顶级竞赛中连续获奖也得到了印证。
总体来说,可视化技术会逐渐成为安全领域的核心竞争力,不论是安全运营、威胁情报、态势感知都必须具备“看得见”的基础能力,从而进行更有效更智能的分析。“360企业安全‘雷尔’可视化平台团队将继续关注并持续跟进可视化分析的前沿技术,促进学术界与工业界的交流产出更有价值的可视化产品。”黄鑫说。