大规模服务中的问题小记

大规模web服务要点：

1）可靠性、负载均衡问题

由于web服务的访问量巨大，一台服务器无法承担负载，而近十几年来的趋势表明，“横向扩展”（scale out）是解决此类问题的基础。采用横向扩展策略，及通过增加服务器数量来提高系统整体处理能并分担负载，无疑是解决了访问量巨大的问题，然而这时就需要考虑用户请求分配、数据同步、网络通信延迟等问题。

2）冗余性问题

系统冗余性是必要的，不论哪台服务器出现故障，服务必须能继续运行。对于某台服务器坏掉就导致服务出现故障或者负载急剧上升的状况是坚决要避免的。

3）运维成本问题

对于只有一台服务器的服务，只需时不时看看服务器状态即可掌握好服务运行状况，而服务器超过100台时，就需要使用信息管理工具等自动化进行监控，否则要掌握各台服务器的状况是十分辛苦的，诸如服务器负载是否有问题、有没有出现故障、磁盘空间是否充裕、安全设置是否有漏洞等等。

4）大规模数据量问题

计算机要从磁盘上读出数据并存储到内存上，然后CPU会从内存上取得数据进行处理。而且从内存上取得的指令会缓存到更高速的cpu缓存中。所以，数据要经过磁盘->内存->缓存->CPU多层才能被处理。

由于磁盘的物理动作（磁头移动和盘片旋转）影响，其与内存的读取速度差异能达到10^6~10^9倍，为了减小这种速度差，通常使用内存中缓存解决，然而当数据量大的时候，缓存不命中的概率也大，数据仍然从磁盘获取，影响了系统整体速度。

不论是减小数据大小，还是将其分散到多台服务器上，或者是把数据读取次数降到最低，这些都是大规模web服务中需要解决的问题。