人人网爬虫

随着数据量的增大, 千万级数据量, G 级数据规模.

设计不合理的表结构与 SQL 语句, 性能十分低下.

对原始数据过滤后, 实行分库存储的策略, 类似 MapReduce.

shadding 之类的数据库技能太弱.

自己写代码分库.

转载于:https://www.cnblogs.com/misspy/p/4047122.html

猜你喜欢

转载自blog.csdn.net/weixin_34023863/article/details/93789749