海量数据的解决方案

缓存和页面静态化

数据库优化

常见的数据库优化方式有表结构优化、SQL语句优化、分区和分表、索引优化、使用存储过程代替直接操作等。

分离活跃数据

虽然有些数据总数据量非常大,但是活跃数据并不多,这种情况就可以将活跃数据单独保存起来从而提高处理效率。比如,对网站来说,用户很多时候就是这种数据,注册用户很多,但是活跃用户却不多,而不活跃的用户中有的偶尔也会登录网站,因此还不能删除。这时就可以通过一个定期处理的任务将不活跃的用户转移到别的数据表中,在主要操作的数据表中保存活跃用户,查询是先从默认表中查找,如果找不到再从不活跃用户表中查找,这样就可以提高查询的效率。判断活跃用户可以通过最近登录时间,也可以通过制定时间段内登录次数。除了用户还有很多这种类型的数据,如一个网站上的文章(特别是新闻类的)、企业业务系统中按时间记录的数据等。

批量读取和延迟修改

批量读取和延迟修改的原理是通过减少操作的次数来提高效率,批量读取是将多次查询合并到一次中进行。

延迟修改主要针对高并发而且频繁修改(包括新增)的数据,如一些统计数据。这种情况可以先将需要修改的数据暂时保存到缓存中,然后定时将缓存中的数据保存到数据库中,程序在读取数据时可以同时读取数据库中和缓存中的数据。

读写分离

分布式数据库

Hadoop

猜你喜欢

转载自blog.csdn.net/pbyang_love/article/details/81674299