海量结构化数据的计算探讨

电信运营商每天需要对生产系统产生的海量数据进行分析,首先要从各远端生产系统提取数据,清洗加工等等(ETL),后续就是数据的运算处理,数据量相当大,每天都是TB级,但主要以结构化数据为主,故对于此类有钱的主必然使用oracle。

据我观察对于数据的处理基本上都是采用存储过程进行处理,举个简单的例子,抽取用户的3个月消费数据进行一些类似平均本地通话时长,平均本地通话费用...等等诸如此类的运算。最直接的思路就是写个存储过程,分别取这3个月的消费数据放入表A中,通过分组、求和、平均即可得出指标,然后将运算结果插入目标结果表B。

在此,请问各位大牛,在遇到此种场景如何进行处理的?

<!--EndFragment-->

猜你喜欢

转载自shaomeng95.iteye.com/blog/1317884