版权声明：原创不易，转载请标明出处谢谢。 https://blog.csdn.net/shaock2018/article/details/88816230
用户行为日志
- 用户每次访问网站时所有的行为数据（访问、浏览、搜索、点击…）
- 用户行为轨迹、流量日志
日志数据主要内容
- 访问的系统属性： 操作系统、浏览器等等
- 访问特征：点击的url、从哪个url跳转过来的(referer)、页面上的停留时间等
- 访问信息：session_id、访问ip(访问城市)等
离线数据处理架构
数据处理流程五大步骤
-
数据采集
Flume： 使用Flume对数据进行采集，将web日志写入到HDFS -
数据清洗
使用Spark、Hive、MapReduce或者其他的一些分布式计算框架
清洗完之后的数据可以存放在HDFS或者Hive、Spark SQL里 -
数据处理
按照我们的需要进行相应业务的统计和分析（使用Spark、Hive、MapReduce、Flink等框架） -
数据处理结果入库
结果可以存放到RDBMS、NoSQL等数据库 -
数据的可视化
通过图形化展示的方式展现出来：饼图、柱状图、地图、折线图
工具：ECharts、HUE、Zeppelin、Kibana等
用户行为日志分析的意义
- 网站的眼睛：能够看到用户的主要来源、喜好网站上的哪些内容，以及用户的忠诚度等
- 网站的神经：通过分析用户行为日志，我们能对网站的布局、功能进一步的优化，以提高用户的体验等
- 网站的大脑：通过分析结果，进行推广预算的划分，以及重点优化用户群体的倾向点等
模拟日志生成请参考此篇文章：Java实现定时生成日志到文件