En:事件名称
Ver是版本号
Pl是平台
Sdk数据来源
B_rst浏览器相关信息
B_iev浏览器相关信息
I客户端语言
U_mid会员id
U_sd回话信息
P_url当前页面url
P_ref上一个页面的url
Ca :event时间的category
Tt:标题
Ac:action
Du:持续睡醒
Oid:订单的id
On:订单名称
Cua:支付金额
项目架构:日志分析平台
先理解基础架构,然后再做优化。
Web前端是用来展示的
Db是存储分析结果
Ji_sdk和java_sdk是数据的主要来源
Nginx:
本地log:是存储数据,是一个文件,隔一段时间存储到一个新的文件。
Flume:专门收集日志,动态的在hdfs上边帮我们创建目录。收集的数据源是任意的。
ETL:
MapReduce和hive是来分析数据
Hbase是用来存储数据
本地log可以存储20万的数据
Lvs.nginx,zookeeper等,是解决高并发的。
Elk:三个技术合并在一起所做的日志平台。
E:elasticsearch,索引,搭建简单,配置比较少。
建立索引,就是偏移量。
Platform平台
某某公司电商map电商日志分析平台。
数据量,10G,20G以下,随便说。10多个G。
构思项目规模的时候,数据量已经成型了。。
8080:tomcat的端口号
80:Nginx的端口号