什么是日志分析？
计算机、网络和其他IT系统生成审计跟踪记录或记录系统活动的日志。日志分析是对这些记录的评估，帮助公司缓解各种风险并满足合规性法规。
日志分析如何工作？
日志通常由网络设备、应用程序、操作系统以及可编程/智能的设备创建。包含按时间顺序排列的，并存储在磁盘、文件或日志收集器之类的应用程序中的消息。
分析人员需要确保日志涵盖完整的消息范围，并根据上下文进行解释。应使用相同的术语对日志元素进行规范化，以避免混淆并保证内聚性。例如，一个系统可能使用“警告（warning）”而另一个系统使用“关键（critical）”。确保术语和数据格式同步将有助于简化分析并减少错误。规范化还可确保不同来源的统计数据和报告有意义且准确。
收集、清理和结构化日志数据后，可以对其进行适当分析，以检测模式和异常情况，如网络***。
用于日志分析的案例
日志分析有几个不同的用途：
遵守内部安全政策和外部法规、审计
理解、响应数据泄露和其他安全事故
对系统，计算机或网络进行故障排除
了解用户的行为
在进行调查时取证
如果公司希望拿到完全符合法规的认证，则需要进行日志分析。不仅如此，日志分析还可以帮助公司在尝试诊断问题、解决问题或管理其基础架构/应用程序时节省时间。
日志分析软件
可以为几乎任何事物生成日志：CDN流量，数据库查询，服务器正常运行时间，错误等等。日志分析工具可帮助您从日志中提取数据并查找趋势和模式，以指导您的业务决策，调查和安全规则。这些工具可帮助您制定由数据驱动的决策，对系统管理员、网络管理员、DevOps、安全专业人员、Web开发人员和可靠性工程师尤其有用。
日志分析的最佳实践
日志分析是一个复杂的过程，包括以下技术和处理过程：
1.模式检测和识别：根据模式册过滤消息。了解数据中的模式可以辅助检测异常。
2.规范化：将不同的日志元素转换为相同的格式。
3.标记和分类：使用关键字标记日志元素并将其分类为多个类，以便您可以过滤和调整显示数据的方式。
4.相关性分析：整理不同来源和系统的日志，并对与特定事件相关的有意义的消息进行排序。相关性分析有助于发现单个日志中不可见的数据之间的连接，尤其是因为存在多个安全事故记录。例如，如果您刚刚经历过网络***，则相关性分析会将您的服务器、防火墙、网络设备和其他来源生成的日志放在一起，并查找与该特定***相关的消息。警报与此相关，因为您从相关性分析中收集的数据可以帮助您在日志中出现某些模式时制作警报。
5.故意忽略：是一种机器学习过程，用于识别和“忽略”无用的日志条目并检测异常。它将忽略常规日志消息，例如常规系统更新，但允许检测新标志或异常消息，并标记好以供调查。故意忽略也可以提醒你应该发生但不会发生的例行事件。
除了这些技术和过程之外，日志数据应该以有意义的方式集中化和结构化，以便人们可以理解它们并由机器学习系统解释。通过聚合各种来源的所有日志数据，您可以将日志关联起来，以更轻松地查明相关趋势和模式。在所有系统组件（包括基础架构、应用程序和最终用户客户端）上实践端到端日志记录，以获得完整的概述。
日志分析是监视和警报、判断安全政策合规性、审计和法规遵从性、安全事件响应甚至取证调查的重要功能。通过分析日志数据，企业可以更轻松地识别潜在威胁和其他问题，找到根本原因，并启动快速响应机制以降低风险。