第一个项目里边琐碎的知识点

En:事件名称

Ver是版本号

Pl是平台

Sdk数据来源

B_rst浏览器相关信息

B_iev浏览器相关信息

I客户端语言

U_mid会员id

U_sd回话信息

P_url当前页面url

P_ref上一个页面的url

Ca  :event时间的category

Tt:标题

Ac:action

Du:持续睡醒

Oid:订单的id

On:订单名称

Cua:支付金额

项目架构:日志分析平台

先理解基础架构,然后再做优化。

Web前端是用来展示的

Db是存储分析结果

Ji_sdk和java_sdk是数据的主要来源

Nginx:

本地log:是存储数据,是一个文件,隔一段时间存储到一个新的文件。

Flume:专门收集日志,动态的在hdfs上边帮我们创建目录。收集的数据源是任意的。

ETL:

MapReduce和hive是来分析数据

Hbase是用来存储数据

本地log可以存储20万的数据

Lvs.nginx,zookeeper等,是解决高并发的。

Elk:三个技术合并在一起所做的日志平台。

E:elasticsearch,索引,搭建简单,配置比较少。

建立索引,就是偏移量。

 

Platform平台


某某公司电商map电商日志分析平台。

数据量,10G,20G以下,随便说。10多个G。

构思项目规模的时候,数据量已经成型了。。

 

 

8080:tomcat的端口号

80:Nginx的端口号



猜你喜欢

转载自blog.csdn.net/wyqwilliam/article/details/80945858
今日推荐