大数据日志分析主要是对开源大数据组件进行整合开发而成，分为：数据采集层、数据预处理层、数据存储层、数据处理层和数据分析层等5个层次。
01数据采集层
数据采集层主要利用开源组件Flume对日志文件进行采集。Flume是一个分布式、高可靠、高可用的海量日志采集软件，支持定制各类的数据发送方，在收集数据的同时能够对数据进行简单的处理，然后写到各种数据接收方。
目前我们是对Flume采集的日志文件做两个操作，一是直接发送给kafka进行缓存，二是将数据进行压缩后写入HDFS供之后的分析用。
在这里我还是要推荐下我自己建的大数据学习交流qq裙：522189307 ， 裙 里都是学大数据开发的，如果你正在学习大数据 ，小编欢迎你加入，大家都是软件开发党，不定期分享干货（只有大数据开发相关的），包括我自己整理的一份最新的大数据进阶资料和高级开发教程，欢迎进阶中和进想深入大数据的小伙伴。
02数据预处理
数据预处理主要对日志文件进行初步的简单处理。目前采用Storm从Kafka接收数据，然后对数据进行实时统计。
Storm是一个分布式、容错的实时计算系统。它的编程模型非常简洁，主要包括三个组件：Topology、Spout和Bolt。Topology是一个由多个计算节点构成的拓扑图，Spout和Bolt是两种结算节点，它们一起构成了一个完整的数据流向图。
目前常用的大数据解决方案包括以下几类
一、Hadoop。Hadoop 是一个能够对大量数据进行分布式处理的软件框架。但是 Hadoop 是以一种可靠、高效、可伸缩的方式进行处理的。此外，Hadoop 依赖于社区服务器，因此它的成本比较低，任何人都可以使用。
二、HPCC。HPCC，High Performance Computing and Communications(高性能计算与通信)的缩写。HPCC主要目标要达到：开发可扩展的计算系统及相关软件，以支持太位级网络传输性能，开发千兆 比特网络技术，扩展研究和教育机构及网络连接能力。
三、Storm。Storm是自由的开源软件，一个分布式的、容错的实时计算系统。Storm可以非常可靠的处理庞大的数据流，用于处理Hadoop的批量数据。 Storm支持许多种编程语言，使用起来非常有趣。Storm由Twitter开源而来，其它知名的应用企业包括Groupon、淘宝、支付宝、阿里巴巴、乐元素、Admaster等等。
四、Apache Drill。为了帮助企业用户寻找更为有效、加快Hadoop数据查询的方法，Apache软件基金会近日发起了一项名为“Drill”的开源项目。该项目帮助谷歌实现海量数据集的分析处理，包括分析抓取Web文档、跟踪安装在Android Market上的应用程序数据、分析垃圾邮件、分析谷歌分布式构建系统上的测试结果等等。
大数据时代下，政府、企业、个人应该如何保护隐私
隐私安全的保护，不仅需要先进的技术来保护，也需要国家政府不断完善规章制度，企业也要遵守行业规范，个人也要提高对隐私保护的意识。
1、国家政府应该完善相关的规章制度。6月1日，《网络安全法》正式实施，保障网络安全，维护网络空间主权和国家安全、社会公共利益，保护公民、法人和其他组织的合法权益，促进经济社会信息化健康发展。同时，政府也要加强监管力度，加强政策法规的落实，不断完善《网络安全法》。
2、企业应当遵守行业规法。企业应该加强数据使用的监管，保证数据安全不泄露，防止不法分子获取数据，减少用户对数据安全的担忧，建立强而有效的数据隐私保护机制。
3、个人应该提高自身隐私安全保护意识。除了国家、企业应当保护隐私以外，个人也应该提高自身的隐私安全保护意识，切勿轻易把个人隐私信息交给他人，从源头上防止个人隐私泄露。
大数据近年来确实在许多方面改进了商业模式，促进了经济的发展。但是，发展是好，我们也要不能忽略掉大数据带来的隐私问题，隐私保护才是重中之重。
大数据处理需要用上的语言
R语言：它的有点在于简单易上手，通过R语言，你可以从复杂的数据集中筛选你想要的数据，从负责的模型函数中操作数据，建立有序的图表呈现数字，只需要几行代码就可以了，比如说，像是好动版本的Excel表格。
Pythom语言：Python结合了R语言的快速，处理复杂数据的能力以及更务实的语言特质，迅速地成为主流，也更简单和直观了，尤其是近几年的成长很快。在数据处理范畴内，通常在规模与复杂之间要有个取舍，Python以折中的姿态出现，是相当好的数据处理工具。
java语言：java没有和Python和R语言一样好的可视化功能，也不是统计建模的最佳工具，但是如果你需要建立一个庞大的系统，使用过去的原型，java是最基本的选择了。
Hadoop pand Hive：为了迎合大量数据处理的需求，以java为基础的大数据开始了。Hadoop为一批数据处理，发展以java为基础的架构关键，相对于其他处理工具，Hadoop慢许多，但是无比的准确可被后端数据库分析广泛使用，和Hive搭配的很好。