文章目录
使用公共信息模型(CIM)插件组件
1. 目标
- 描述Splunk公共信息模型
- 列出Splunk CIM插件随附的知识对象
- 使用CIM插件组件规范化数据
2. 什么是通用信息模型(CIM)?
- Splunk公共信息模型提供了一种标准化数据的方法
- 在创建字段提取,字段别名,事件类型和标签时利用CIM来确保:
- 多个应用程序可以共存于一个Splunk部署中
- 可以将对象权限设置为全局,以供多个应用程序使用
- 来自不同来源和来源类型的数据的关联更轻松,更有效
3. Splunk CIM如何工作
4. 规范化的字段名称 – 电子邮件数据
字段名 | 数据类型 | 描述 | 可能的值 |
---|---|---|---|
action | string | 报告设备采取的措施。 | delivered, blocked, quarantined, deleted, unknown |
duration | number | 完成消息传递事件的时间,以秒为单位。 | |
src | string | 发送消息的系统。可以从更特定的字段(例如src_host,src_ip或src_name)别名。 |
5. 规范化的字段名称 – 网络流量
字段名 | 数据类型 | 描述 | 可能的值 |
---|---|---|---|
aciton | string | 网络设备采取的操作。 | allowed, blocked, dropped, unknown |
bytes | number | 此设备/接口处理的字节总数(bytes_in + bytes_out)。 | |
bytes_in | number | 该设备/接口接收到多少字节。 | |
bytes_out | number | 该设备/接口传输了多少字节。 | |
src | string | 网络流量的源(客户端请求连接)。可以从更特定的字段(例如src_host,src_ip或src_name)别名。 |
6. 规范化的字段名称 – Web数据
字段名 | 数据类型 | 描述 | 可能的值 |
---|---|---|---|
action | string | 服务器或代理采取的操作。 | |
duration | numner | 代理事件花费的时间(以毫秒为单位)。 | |
http_method | string | 请求中使用的HTTP方法。 | GET, PUT, POST, DELETE, 等。 |
src | string | 网络流量的源(客户端请求连接)。 | |
status | string | HTTP响应代码,指示代理请求的状态。 | 404, 302, 500, 等 |
7. Splunk CIM插件
- 一组22个预配置的数据模型
- 字段和事件类别标签
- 感兴趣域的最小公分母
- 利用CIM,以便多个应用程序中的知识对象可以在单个Splunk部署中共存
- 在splunkbase上可用:
- https://splunkbase.splunk.com/app/1621/
- 使用CIM参考表
- https://docs.splunk.com/Documentation/CIM/4.5.0/User/Howtousethesereferencetables
备注:
CIM附件中包含的数据模型是在关闭数据模型加速的情况下配置的。
8. 使用CIM插件组件
- 检查您的数据
- 前往Settings > Data Models
- 确定与您的数据集相关的数据模型
最佳实践:
在单独的标签中让“Splunk文档中的CIM参考表”页面保持打开状态。
- 创建事件类型和标签
- 识别与事件相关的CIM数据集
- 观察该数据集或任何父数据集需要哪些标签
- 使用事件类型将这些标签应用于事件
- 创建字段别名
- 确定数据中的任何现有字段的名称是否与数据模型期望的名称不同
- 定义字段别名以在原始数据中捕获具有不同名称的字段,并将其映射到CIM期望的字段名称
- 添加缺少的字段
- 创建字段提取
- 编写查找以添加字段并规范化字段值
- 根据数据模型进行验证
- 使用datamodel命令
- 在Splunk Web中使用数据透视
备注:
有关更多信息,请参见《通用信息模型附加手册》
9. datamodel命令
- 搜索指定的数据模型对象
- 返回所有或指定数据模型及其对象的描述
- 它是个生成命令,应该是管道中的第一个命令
重点:
除非在数据模型名称之前,否则对象名称和搜索关键字无效。命令搜索不能用搜索字符串或名称代替。
10. datamodel命令 - 例子
| datamodel Web Web search | fields Web*
datamodel:命令
Web:数据模型名称
Web:数据模型数据集名称
fields:命令
Web*:查找带有Web前缀的字段名称
数据模型名称在数据集名称之前*
备注:
使用datamodel命令时,数据模型名称和数据集名称区分大小写。
11. from命令
- 从数据模型或命名数据集中检索数据
- 必须是搜索中的第一个命令
- 不同于仅使用数据模型
- datamodel返回所有以数据模型名称开头的字段
- from datamodel仅返回特定字段
| from datamodel:"internal_server.splunkdaccess"
- from还可以从保存的搜索,报告或查找文件中检索数据
| from savedsearch:mysecurityquery
12. 其他CIM资源
- 了解和使用CIM附加组件
http://docs.splunk.com/Documentation/Splunk/latest/Knowledge/UnderstandandusetheCommonInformationModel - Splunk CIM概述
http://docs.splunk.com/Documentation/CIM/latest/User/Overview - 使用CIM在搜索时规范化数据
http://docs.splunk.com/Documentation/CIM/latest/User/UsetheCIMtonormalizedataatsearchtime