大数据day22
日志监控告警系统
定义： 基于的日志进行监控，监控需要一定的规则，对触发监控的规则的日志信息进行告警，告警的方式，是短信和邮件。
什么是规则：
应用程序日志信息捕获
应用程序日志信息捕获：log4j---->error,info,debug 应用程序程序的日志 error级别 TimeOutException 角标越界IndexXXXException ......Error
业务日志信息捕获：当订单量触发一千万时，告警通知，让大家庆祝下。OrdertotalNum：1000万
规则的判定：
对一条一条输入的日志信息，进行字符串比较
String.contains.(" taskList ") String.equals.(" taskList ") String.match.(" 正则表达式 ")
触发规则后：
告警，发短信，发邮件。
数据分析的步骤：
1.明确分析的目标
2.根据目标收集数据
3.对数据进行清洗和标准化
4.使用工具对数据进行计算
5.展示分析的结果，给业务人员进行抉择。
数据处理流程： flume+kafka+storm+redis
1.先有一个系统（订单系统），对系统的日志进行采集，通过哦日志采集插件（flume）进行数据采集。
2.通过flume 采集的数据存放到kafka 中，flume2kafka
3.Storm 消费kafka的数据， kafka2storm
4. Storm 操作redis 保存结果 storm2redis
Storm 程序如何编写：
1.kafkaSpout 获取kafka 集群中的某个topic 信息
2.FilterBolt对一行一行的日志进行过滤规则校验
3.NotifyBolt 触发规则之后，发短信，发邮件
4.Save2MysqlBolt管理平台的数据展示
2.架构图
实时架构系统架构图
当前worker中的线程安全问题
相关的工具：
http://blog.csdn.net/github_25679381/article/details/51497789
上传附件：