Distro
它是 Nacos 社区自研的一种 AP 分布式协议(也是最终一致性协议)。它面向临时实例,保证了在某些 Nacos 节点宕机后,整个临时实例处理系统依旧可以正常工作。作为一种有状态的中间件应用的内嵌协议,Distro 保证了各个 Nacos 节点对于海量注册请求的统一协调和存储。
设计思想如下:
- Nacos 每个节点都是平等的,都可以处理写请求,同时把新数据同步到其它节点。
- 每个节点只负责部分数据,定时发送自己负责数据的校验值到其它节点来保持数据一致性。
- 每个节点独立处理读请求,及时从本地发出响应。
数据初始化
源码参考 DistroConsistencyServiceImpl
新加入的 Distro 节点会进行全量数据拉取。轮询所有的 Distro 节点,通过向其它机器发送请求拉取全量数据。
在全量拉取操作完成之后,Nacos 的每台机器上都维护了当前的所有注册的临时实例数据。
数据校验
源码参考 TimedSync
在 Distro 集群启动之后,每台机器会定期发送心跳。心跳信息主要为各个机器上的所有数据的元数据。这种数据校验会以心跳的形式进行,即每台机器在固定时间间隔(默认 5 秒)会向其它机器发起一次数据校验请求。
一旦在数据校验过程中,某台机器发现其它机器上的数据与本地数据不一致,则会发起一次全量拉取请求,将数据补齐。
写数据
源码参考 DistroConsistencyServiceImpl、DistroFilter、TaskScheduler
对于一个已经启动的 Distro 集群,在一次客户端发起写操作的流程中,当注册临时实例的写请求打到某台 Nacos 服务器时,Distro 集群的处理流程如下:
-
前置的 Filter 拦截请求,并根据请求中的包含的 IP 和 port 信息计算其所属的 Distro 责任节点。当该节点接收到不属于该节点负责的实例的写请求时,将在集群内部路由,转发给对应的节点,从而完成读写。
-
责任节点上的 Controller 将写请求进行解析。
-
Distro 协议定期执行 sync 任务,将本机所负责的所有实例信息同步到其它节点上。
读数据
由于每台机器上(数据存储在缓存中)都存放了全量数据,因此在每一次读操作中,Distro 机器会直接从本地拉取数据,快速响应。这种机制保证了 Distro 协议可以作为一种 AP 协议,对于读操作可以及时响应,即使出现网络分区的情况下,也能正常返回。等到网络恢复时,各个 Distro 节点会把各数据分片的数据进行合并恢复。这一段暂时没有找到对应的源码。
关于一致性的操作抽离在 ConsistencyService 接口上,并且在实现具体的一致性协议时实现了插件可插拔的形式。
public interface ConsistencyService {
/**
* Put a data related to a key to Nacos cluster.
*
* @param key key of data, this key should be globally unique
* @param value value of data
* @throws NacosException nacos exception
*/
void put(String key, Record value) throws NacosException;
/**
* Remove a data from Nacos cluster.
*
* @param key key of data
* @throws NacosException nacos exception
*/
void remove(String key) throws NacosException;
/**
* Get a data from Nacos cluster.
*
* @param key key of data
* @return data related to the key
* @throws NacosException nacos exception
*/
Datum get(String key) throws NacosException;
/**
* Listen for changes of a data.
*
* @param key key of data
* @param listener callback of data change
* @throws NacosException nacos exception
*/
void listen(String key, RecordListener listener) throws NacosException;
/**
* Cancel listening of a data.
*
* @param key key of data
* @param listener callback of data change
* @throws NacosException nacos exception
*/
void unListen(String key, RecordListener listener) throws NacosException;
/**
* Tell the status of this consistency service.
*
* @return true if available
*/
boolean isAvailable();
}