大数据离线阶段Day5之多彩缤纷数据源

典型的数据分析系统,要分析的数据种类其实是比较丰富的。依据来源可大体分为以下几个部分:

图:数据分析系统数据来源

1. 业务系统数据

业务系统产生的数据是不可忽视的,比如电商网站,大量的订单数据看似杂乱无章,实则蕴含潜在的商业价值,可以从中分析进而进行商业推广,产品推荐等。

另一角度来看,业务系统数据获取成本低、方式容易,属于公司内部范畴。业务系统的数据一般保存在关系型数据库当中。获取形式有:

接口调用:直接获取业务系统数据库的数据,但是要注意不能影响业务系统数据库的性能,比如大量获取数据增大数据库读数据压力。

数据库dump:非高峰时段,或者在数据库从库上dump出全部数据。一般企业中会定时进行数据库的备份、导出工作,那么就可以共享使用这些数据。

比如MySQL数据库,使用mysqldump工具就可以进行数据库的导出。

mysqldump -uroot -pPassword [database name] [dump file]

mysqldump命令将数据库中的数据备份成一个文本文件。表的结构和表中的数据将存储在生成的文本文件中。

2. 爬虫数据

在进行网站数据分析的时候,除了内部数据之外,还有一部分数据是我们不能够忽视的。那就是所谓的外部数据。当然这是相对公司网站来说的。拥有了外部数据可以更好的帮助我们进行数据分析。

爬虫(Web crawler),是指一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。它们被广泛用于互联网搜索引擎或其他类似网站,可以自动采集所有其能够访问到的页面内容,以获取或更新这些网站的内容和检索方式。

电子商务行业最初的爬虫需求来源于比价。这是某些电商网站的核心业务。大家如果买商品的时候,是一个价格敏感型用户的话,很可能会使用比价功能。毫无悬念,会使用爬虫技术来爬取所有相关电商的价格。

当然,这并不意味着大家喜欢被爬取。于是需要通过技术手段来做反爬虫。

猜你喜欢

转载自blog.csdn.net/qq_39581763/article/details/82625883
今日推荐