《设计数据密集型应用》第四章(2) 数据流

上一节我们介绍关于数据编码的知识,这节将继续介绍数据如何在不同进程间进行传输,通常有以下三种方法:

  • 数据库
  • 服务调用
  • 异步消息传递

通过数据库

通过数据库进行数据流传输,需要同时保证后向兼容和前向兼容:

  • 后向兼容:后续升级的版本需要能够读取之前版本写入的数据;
  • 前向兼容:新旧版本的代码可能会同时运行,旧版本的代码需要能够读取新版本代码写入的数据。

要注意一个问题:旧版本代码在修改新版本代码写入的数据时,需要保证新添加字段的值不变。由于旧版本代码读取出新字段的值为null,因此要特别留意这个问题,防止修改后新字段的值为null。


10148685-59b8d42891b9f2d9.png
旧版本代码修改新数据

另外由于数据和代码的版本更新问题,可能出现数据存在的时间比代码更早,这些可以在数据归档时,由新版本的代码重新处理一遍数据。

通过服务调用:REST和RPC

REST这里并不是一个协议,而是基于HTTP的概念构建的设计方式。它强调简单的数据结构,使用URL定义资源,使用HTTP的特性进行缓存管理、鉴权和内容类型的协调。

RPC模型强调像请求本地资源一样请求远程资源,简化编程实现。但一个网络请求和本地请求是有区别的,原因如下:

  • 本地方法调用时可预测的,网络请求可能由于网络的原因变得不可预测;
  • 本地方法调用返回的是一个结果,或异常,或不返回。网络请求有一些其他的返回结果,比如返回空结果,或者超时;
  • 网络请求的重试,可能会发生在请求成功发出,但返回丢失,因此可能导致动作重复执行;
  • 本地方法调用的时间是稳定的,但网络请求更慢且返回时间变化较大;
  • 本地方法调用的参数可以通过本地存储和指针的方式传递,但网络请求是需要将参数通过网络传输过去;
  • 不同语言的RPC实现可能支持不同的数据类型。

RPC的发展趋势也是在解决以上问题,比如捕获可能失败的异步操作。但目前来看,REST是公共API的主流实现方式,RPC更多的用在企业内部的服务请求。

REST和RPC的升级

RPC的升级依赖于使用的编码格式的升级,因此也支持后向兼容和前向兼容。Restful API的升级,一般会采用在URL或者Http Header中增加一个版本号参数,或者在服务器端记录客户端使用的版本,为客户端进行版本选择等方式实现。

通过消息传输

通过异步的消息队列进行数据流的传输,更像是介于RPC和数据库两种方式之间。像RPC是因为客户端的请求以低延迟发送到另一个进程,像数据库是由于请求并不是由直接的网络连接发送。使用消息队列的好处如下:

  • 可作为一个缓存,当接收方出现故障时提高可用性;
  • 在进程崩溃时可自动重新发送请求,防止消息丢失;
  • 发送方不需要知道接收方的IP和端口;
  • 允许一条消息发送给多个接收方;
  • 实现了发送方和接收方的解耦。
消息队列

消息队列的实现方式很多,但核心的几个原则都是不变的:

  • 发送方将消息发送到queue或者topic中;
  • 消息被发送给一个或多个,或者订阅这个queue或者topic的消费方;
  • 同一个topic有多个发送方和接收方;
  • 消息可以用任何数据编码方式。

总结

学完了本章的内容,应该掌握的是:

  • 常见的数据编码方式,JSON、XML和二进制编码方式Thrift、Protobuf和Avro等,它们的区别和各自的使用场景。
  • 数据的传输方式,REST和RPC,以及它们各自的特点。

猜你喜欢

转载自blog.csdn.net/weixin_34162228/article/details/86957561