安全态势_交互发现 —— 基于阿里云轻松搭建安全大屏

原文链接： http://click.aliyun.com/m/26676/
摘要： 使用DataV大屏展现态势感知 DNS 会话日志，从而实现交互式安全威胁发现。

2017年，阿里云启动MVP（Most Valuable Professional）项目。顾名思义，MVP正在寻找阿里云最有价值专家，那些能够，并且愿意帮助他人，充分了解和使用阿里云技术的意见领袖。

本文是阿里云MVP 傅奎的实践分享，今天和大家讲讲 “安全态势，交互发现 —— 基于阿里云轻松搭建安全大屏 ”

一句话概述
背景介绍
产品介绍
需求分析
实现方法
导出态势感知 DNS 日志
定制返回 JSON 串的数据源API
定制 DataV 大屏，指定 API 数据源
发布监控大屏，看效果
交互式发现
补充说明
替你踩过的坑
Show you the code
一些期待
关于“交互式”
鸣谢
一句话概述
使用DataV大屏展现态势感知 DNS 会话日志，从而实现交互式安全威胁发现。

剧透一下最终效果，绝对值得试试：

所有 DNS 日志的节点（源地址、DNS服务器地址、要解析的域名）关系图。点选其中任一节点，关联点自动高亮，非关联节点则进入蒙版状态，要是有什么可疑的节点、关系、类目，一眼就看出来！

17832701373e921529f104332f73c4282cfa58ca73416e298d5ab918af89f5c8eeb26b08d509d2fb

背景介绍
自打“态势感知”上线了新版的“日志”功能，团队成员就在摩拳擦掌寻思如何充分挖掘日志信息的价值，而不仅仅是用于故障诊断或事件调查。其中，通过图形化展现不同网络资源节点的相互关系，进而实现交互式安全威胁发现，是最为理想的实现方式。此前尝试过 Graphviz、yEd、NetworkX 等方式，后来都因配置复杂，使用繁琐等问题放弃。

直到MVP 技术群里李文毅向大家推荐了 DataV，我想：是时候“make it true ”了！

产品介绍
以下材料援引自官方介绍，描述不准与我无关：

态势感知
“态势感知提供的是一项SAAS服务，即在大规模云计算环境中，对那些能够引发网络安全态势发生变化的要素进行全面、快速和准确地捕获和分析，并提供一个体系化的安全解决方案。”

DataV 数据可视化
“DataV旨让更多的人看到数据可视化的魅力，帮助非专业的工程师通过图形化的界面轻松搭建专业水准的可视化应用。DataV提供丰富的可视化模板，满足您会议展览、业务监控、风险预警、地理信息分析等多种业务的展示需求。”

需求分析
态势感知的日志功能非常强大，目前支持查询：所有入站的7层数据、出入站栈的4层会话以及DNS双向日志。其中 DNS 日志有助于安全团队分析服务器是否遭受入侵，被植入木马病毒，存在异常请求等问题。

我们最关心的是：哪台服务器，通过哪个 DNS Server，解析了哪个域名？

针对该需求，如果有可视化的节点关系图辅助分析，那么威胁识别的效率将大幅提升。在没有使用 DataV 之前，通常的办法是使用一些图表工具进行展现，而且少不了定制化开发的工作量。DataV 的出现，大大解放了数据分析人员的双手，从而可以用于拖动进度条。仅仅通过少量的鼠标点击和基本的 API 配置，就能瞬间让你的数据充满活力，开口说话。DataV 自带节点关系图，并内嵌原生ECharts ，完全可以满足此类需求。

实现方法
你一定很期待强劲的态势感知与性感的 DataV强强联合会是什么样子。期待不如行动，我们一起动手去实现吧。

导出态势感知 DNS 日志

登录阿里云控制台，进入安全（云盾）|态势感知功能页，通过子菜单选择日志 new项目。
79868ff030c4143e1ea0c41718ef8820146a2ef5

设置DNS 日志查询条件，分别是：

日志源：DNS
字段：qtype
判断条件：包含（目前只能选包含）
关键字：A
再设置好查询时间，点击搜索就可以啦。
32e4409d2c1421e18a808bb7aa85849919dba71a

系统很快就能返回查询结果，通过右上角导出结果将当前页（没错，，是当前页，，一次100条-_-）日志导出到Excel 中。如果需要更多数据，得依次翻页导出-_-。当然也有程序化解决方案，请往后看。

37b9661975617ecf553c9a3184ff1c8eaf8959af

定制返回 JSON 串的数据源API

对导出的 Excel 文件进行数据抽取，关键是：

源地址：src_ip
DNS Server：dst_ip
尝试解析的域名：qname
dec7b6fdd794365fda16886c6420aa9afcb7d985

将源地址、DNS 地址、域名三项都纳入节点范畴，同时将源地址->DNS 地址、DNS 地址->域名纳入关系范畴，通过 HTTP 将节点 nodes 和关系 links 输出为 JSON 就是一个可用的API数据输入源。

别着急，作为良心分享，怎么能少了技术细节呢？为了不影响阅读，我把数据格式化和 API 相关的具体内容放在后面环节。

定制 DataV 大屏，指定 API 数据源

通过阿里云控制台大数据（数加）|DataV数据可视化进入定制界面，直接选择新建可视化。

06f71fe7327b7d0384d9f1b86123c272e1a3feec

创建大屏模板，设置一个你喜欢的名字。
4ad7f38b57e50d3e90c2e57c1edf8c8260107992

向大屏图层添加数据展示组件， 这里可以选择关系网络或原生的 Echarts 网络图。

bf0bbc7d5b0ddfae17909f2fab3f43b4ec80fd9f

点选图表组件，进入右侧数据选项卡，修改默认的数据源类型静态数据为 API。

7afa1438c7508972837e86ca23be57f50160585f

填写满足系统要求的 API，如：http://www.test.com/datav.json，鼠标离开输入框，左侧设计区会即时展现效果。
6d7da3fdba59a4f5ea043407422ffd4abb5ac00c

发布监控大屏，看效果

数据调试和预览成功后，可通过右上角的发布按钮，正式发布报表。DataV 考虑得很周到，为报表提供了密码和 Token 两种安全保护机制。
8d4d7faad5f1ff87873a290008f6d1cf11560689

访问发布后的报表链接：http://datav.aliyun.com/share/ef9aa**********a3fd8（这是他们的秘密不可访问的哈）

ddfb119fb66d11fb430f4f9126352aae9770ed50

交互式发现
好吧，放一些我在测试环境模拟出来的数据。下面是一段时间内，所有 DNS 日志的节点（源地址、DNS服务器地址、要解析的域名）关系图。
原文链接： http://click.aliyun.com/m/26676/