Then the next high-profile security in the cloud environment, cloud technology and how situational awareness for the safety escort escort it? In the future we have the kind of development trend? To this end, Liang ocean clouds Jingdong R & D, product manager, specifically for the cloud interpret the situational awareness of the theory of evolution.
01 emerging situational awareness technology background
Although situational awareness in recent years, some new security terms, but for people who have a background in security, situational awareness is not new, it is with the SOC (Security Operations Center) of the underlying product.
Prior to 2010, the security threat is not particularly large, mainly concentrated at the network level, so when the SOC product or remain in the NOC (Network Operations Center) infrastructure stage.
At that time more famous product is the Cisco-MARS product, mainly to all Cisco switches, routers, firewalls, IDS, IPS data are collected up and put inside MARS to correlate the analysis, the attack topology. This is the most situational awareness initialization prototype, which is to collect data to network-level security products among the NOC. In the security technology is not yet mature in 2010, this technology is enough to brighten.
Due to the ever-changing security threat scenarios, ordinary products can not be analyzed NOC APT attack, coupled with the sudden increase in security equipment and security events, the traditional NOC has been unable to meet demand, so in 2010 - the 2015 and gradually rise SIEM / SOC platform. SIEM is a security information and log management platform. The security log can include login log on the host are stored to collect up to SIEM, the attack scene of great help for analysis.
However, some domestic security vendors not to SOC standard output, leading to collect log format is not uniform, the association behind the analysis of user needs reach the final 80% of the SOC projects ended in failure.
Then the new SOC platform situational awareness What are the differences compared to what?
The first is the detection engine, safety probes to enhance their detection capability and accuracy. Host installed in the terminal level by EDR product or the next generation of antivirus software, to collect more accurate and simple association of the logs, which will help to better detect security threats. The network level to match the new technology Crisis intelligence and sandboxing by NTA (full amount log analysis product) for analysis. web log level will have WAF based on semantic analysis, this collection of correlation analysis played a significant role, to enhance the detection level.
其次是大数据架构方面的提升。由于现有的SOC平台用传统的MySQL和Oracle来进行关联分析，这种关联分析的技术扩展性相对较差。所以随着大数据技术的发展，搜集的时候用Flume，存储的时候用ES，在关联分析的时候用Spark，达到大数据云架构的改变。
最后是在云上更有优势。可以高度规划实时的采集日志，并且通过Kafka这种方式发送到态势感知的安全操作中心，这样在以后的关联分析时就占有了主动权。基于这些因素，才让态势感知产品出现。
随着技术的发展，态势感知会继续往下发展，下一个极端是基于安全运营的SOC，比上一代的威胁感知SOC多了基础日志收集丰富程度。通过智能分析架构来做处理，例如机器学习、图分析等技术。
02态势感知技术的发展趋势
态势感知首先通过网络层面进行决策，通过搜集了大约十款产品来进行调研分析，发现网络层面的能力主要有核心能力、扩展能力和增强安全运营能力。
态势感知的核心能力包括持续抓包取证、流量/威胁可视化、网络入侵检测系统规则匹配、WebIDS规则匹配。扩展能力主要体现在威胁情报、动态行为检测和机器学习自动检测引擎，机器学习自动检测引擎里面又分为分类分析、聚类分类和KDE时序分析。
增强安全运营能力就是对安全实体进行分析，通过分析探针来查看攻击的用户，比如SOAR、Kill-Chain、UEBR。而态势感知在主机层面上的能力，除了有核心能力、扩展能力和增强安全运营能力外，还具有未知威胁检测能力。
针对于云上，态势感知的核心能力主要是做云工作的负载肩负，包括配置/漏洞管理、网络隔离防火墙流量可视化、系统完整性测量认证和监控、应用程序控制、补充性内存和漏洞攻击防护。
扩展能力中的行为监控HIDS/EDR能力是云端主机层面防护软件中最重要的，其它还包括静态加密KMS、HIPS漏洞屏蔽、欺骗能力和反恶意软件。增强安全运营能力包括工作负载外部的漏洞和配置评估、IAM/MFA、日志管理和监控。未知威胁检测能力需终端集成威胁情报、AI/沙箱云查杀。
03京东云态势感知功能优势
京东云的态势感知产品可帮助用户进行大数据安全分析。最底层是基础数据层，进行NetFlow搜集、网络流量、DNS、HTTP/S日志收集。第二层是威胁感知层，通过安全的探针检测，包括DDoS/高防、全量日志分析、NIDS、威胁情报匹配、机器学习异常检测、沙箱、主机安全/EDR和漏洞扫描/蜜罐里的数据都搜集上来。
第三层是关联分析层，包括实时针对性攻击分析、APT攻击分析、自动化编排研判、精准画像UEBA和图分析。针对性攻击是在一分钟之内发现了攻击的关联分析，而APT攻击会把攻击时间相对拉长，拉长成一小时或者一天的时间，给黑客足够攻击时间，便于检测黑客攻击的情况。
自动化编排研判是目前比较好的解决方案，由于黑客的攻击手段千奇百怪，只能更细化调度的引擎，细化到每个功能点像积木一样组合在一起，形成关联链。通过关联链更好的去分析、丰富查询关联分析的过程。
而UEBA主要是针对云上的数据，以数据层面来进行切入，比如说OSS、RDS或用户自建的数据库对它进行监控，包括用户对数据库的访问、对象存储的访问进行分析。底层的（OpenAPI）的访问也都会进行关联分析或机器学习分析。
图分析是在主机层面检测信息、网络信息、用户信息可以用图的方式展现给用户，可以挖掘出攻击的路径，是一种很好的分析手段。
第四层是威胁展示层，主要是通过告警事件、威胁事件、热点事件、安全大坪、自动化攻击溯源给用户展示，降低用户调查取证的时间，提升效率。
通过云上日志可以分析出更有价值的安全威胁以及安全问题。
底层基础网络信息是五元组、DNS、HTTP、LB信息，在攻击路径的时候可能会通过NAT的转换，转换之后便不可查找主机ID。同时，NAT数据可用于对资产进行再补齐。通过VPC Log获取VPC里数据流传输，还可以分析出横向攻击。
在主机基本信息中，通过上传的进程、端口、账号、软件、文件、系统日志，关联出更有价值的信息。比如说异常网络连接、肉鸡行为、可移操作、敏感文件篡改都可以进行分析。安全产品例如Anti-DDos、WAF、扫描器、HIDS、NIDS、数据库审计、堡垒机都可以上传。有利于分析DDoS攻击、Web漏洞、SQL注入、病毒木马等。
云产品组件的云产品基线，配置失败可能引起的漏洞；还可以对OSS审计日志、RDS审计日志、OpenAPI日志的风险访问行为进行分析。还有人员信息中的VPN、登录日志和权限日志。这些都可以帮助态势感知更好的进行分析。
04云态势感知技术攻击链分析
攻击链分析分简单规则关联分析和复杂规则关联分析。
云态势感知技术的计算层采用Spark，这样数据分析产生的警告会随着时间流入到大数据处理引擎（Spark）里，通过Spark里的滑动窗口对所有输入的数据流来分析。遭受到暴力破解并成功，第一个从网络的IDS会产生警告，接下来会有EDR告警，同时安装系统后门。整个操作是连贯的，这便是简单规则关联分析。
那复杂规则关联分析是什么样的呢？首先黑客会使用扫描集群，扫描RDS端口进行暴力破解。如果未授权访问上控制云服务器的基础服务器，便会将公钥写入基础服务器，之后就能自动化操作，比如说装一些黑客工具、DDoS工具或挖矿、勒索工具。
恶意服务器长时间扫描会被威胁情报检测到服务器的IP地址，然后态势感知在本地检测的时候会对这些IP进行扫描。在扫描暴力破解的时候，利用NIDS ET规则来进行检测，接下来会用Redis弱口令/开启认证，口令是弱口令或者没有开启认证，会产生告警事件。写入C&C服务器公钥的时候会使用sshkey目录，在动目录的时候会产生一条非法文件篡改的告警事件。
再往后会有反弹shell，可以对可疑连接或者是失陷主机主机进行检测。在挖矿程序的时候我们会通过云沙箱来进行检测，DDoS也可以通过肉鸡行为进行检测。这样对用户每一步操作都形成了告警事件，然后把这些告警事件关联在一起。这就是比较复杂的规则和时序分析的过程。
05云态势感知技术机器学习&深度学习分析
异常检测是怎么做的呢？这里以DGA检测为例。首先要把外部训练数据导进来，有黑数据和白数据，然后把DNS的数据导进来进行特征提取，再往下是用Spark训练模型，训练之后会把模型放在集群里面进行检测，这样就形成了DGA运行检测的流程。
那么模型做好之后怎么用呢？
首先检测通过两条路，第一条路是NIDS的DNS流数据，通过程序补齐账号之后发到Spark里面进行特征提取匹配，然后进行预测；第二条路是云主机上，比如说自己设定了公网DNS解析的话，它发送的数据也是通过DNS解析来进行补齐资产来进行实时检测。
通过这两个数据会把DGA预测做一下，之后把数据放在实时管理分析引擎中进行分析。分析之后才会把它放到ES topic里面，给用户看到最终的分析结果，这样就实现了DGA域名检测流程。
图分析技术就是把所有的数据导到图分析，通过图的方式关联出来，再通过图的搜索算法检测出来。例如下面这个真实的入侵案例；
首先通过挖矿进程发现其中有一台服务器（Test-001）已经高负载，查看高负载CPU所定义的进程的时候，发现它是一个异常进程，所以进行告警。告警之后会进入到观察列表里，通过某个点找出挖矿进程的程序是怎么运行起来的，又是怎么进到服务器里的。
, Carried out by the passage of time by way of context-sensitive detection, found a command line auditing rules after the association, which is the process by which a suspicious mining to download the script and run. Vice process mining script is a process of creating your own custom Hadoop, which is Yarn process. Yarn is actually a process of unauthorized access of Hadoop RCE vulnerabilities. At the same time be detected by a scanner to scan this host, we found that the host does exist Hadoop RCE vulnerabilities, which is the automatic attack source tracing technology, which is the core technology of chart analysis.
Jingdong cloud situational awareness product application scenario is a public cloud market, the other is the private cloud market.
Private cloud market corresponding products are situational awareness JDStack version, is embedded in a proprietary cloud-tenant cloud to detect, it is for users inside each tenant safety testing. There is a version for the proprietary cloud to cloud platforms, or perception for the IDC traditional security management product called trend scenario presented.
Click " Jingdong cloud " is understood Jingdong cloud situational awareness products
