大数据的思维方式

思维方式不同

传统/互联网
功能实现,响应速度及时就ok了

大数据
需要考虑数据的拆分 -- 一份大文件进来需要拆分成很多个小文件
server/worker的关系
有些逻辑放在server端方便
比如并发逻辑的控制(顺序执行Map<String,BlockingQueue>, 只分配给一个worker来更新某张表的逻辑-->避免使用乐观锁了)

有些逻辑放在worker端方便
每次操作都需要访问的表,用hbase来查询会快很多。

--------------------------------

猜你喜欢

转载自tristan-s.iteye.com/blog/2229386