免开发跨系统数据对接方案

需求场景

由于产品业务发展,催生出了一个需求:
      线上平台与线下某些软件系统要实现数据对接和数据互传,并且不能影响软件系统的正常运行。
    
      其实很多互联网产品中都这样的需求,很多平台运营商吸引线下商家、客户入驻线上某些平台、
    Sass服务等产品,帮助商家或客户拓展线上业务。在这个前提下,商家或客户实际以在线下开展业务多年,
    有一套完整、成熟、稳健的线下业务流程、线下软件系统(ERP、CRM等)。可以说站在客户的业务角度出
    发,现在业务发展已经演变为线下、线上双箭齐发的场景。由此衍生出数据对接、互通数据的需求。
    
    1.线上平台需要线下基础资料:
        在入驻线上系统初期,很多基础资料来自线下软件系统,例如:线下业务中的客户数据、
        商品数据、库存数据、价格数据等。
    
    2.线下软件需要线上订单数据:
        在完成线下基础资料的数据上传线上平台后,线上平台已经可以正常开展业务,由此产生的线上数据
        例如订单数据需要及时准确的下发传输给线下软件系统。

在这里插入图片描述

技术分析

开放API 方式:

通常线上平台都会伴随系统开发一个开放平台,提供一些基础的数据传输API、业务对接API等。
    这是最常见的也是最容易实施和落地的。这些开放的API接口往往基于Http协议、WebService等,
    常见的大厂向,微信、阿里、饿了么、美团 等等
    这样的方案同时也存在几个致命的缺点:
        1.必须要求客户对接
            谁对接意味着谁来开发对接程序,很多客、商家是不具备开发能力的。
        2.数据下发被动、实时性低
            对线上数据的获取由线下对接程序根据需要调取线上API接口获取。数据的产生
            与数据的下发不同步现象明显,对实时性要求比较高的业务场景如订单,这种方案是不可取的。

免开发方式

客户是上帝,现在客户说了:什么平台,让我来开发对接。有没有搞错,我是用户,我要是能开发软件,
    还用花钱买你们的软件服务吗!

负责的平台都不应该把本来属于应该自己来解决的问题,推给客户。再者说,如果平台不能提供解决方案,
    来解决这个普遍性的问题,还要什么发展,还能发展吗。

言归正传,免开发对接方案严格意义上,也不是一点开发都不做。它的好处在于不用修改、二开线下软件,
    而是通过部署一个运行在线下的对接程序来完成数据中继。自然,这个对接程序有平台运营商开发并
    提供对接服务。
    
    我们分析一下,线上、线下各运行者一套软件系统,实现两个不想关的系统间数据对接,首先要思考
    两个系统间的数据对接标准是什么,规范是什么。而数据对接的标准和规范应当从业务开展角度出发,
    从实际需求出发。很多线上平台都有成熟的标准,而这些标准都是从一线业务场景中沉淀、总结出来的。
    简单说,平台负责定义数据对接标准,具体说,平台提供商品表、订单表、客户表等数据结构定义、字段
    类型定义、字段长度定义等。
    除此之外,按照数据对接标准开发数据对接客户端程序,来完成线上、线下不同系统间的数据传输工作。

客户端技术特点:

在这里插入图片描述
    客户端部署在线下,要求能够访问数据对接中间数据库。客户端中运行者若干定时任务,用来按固定频率
    向线上传输数据。同时客户端也监听者线上平台的MQ异步消息,完成线上数据到线下中间库的数据下发。
    这里提到来一个概念:“中间库”。
    所谓中间库,就是部署在线下的数据对接用的数据库,客户端整个运行都围绕着中间数据库开展业务。
    上传数据:
        1.在中间库中根据业务编写不同的存储过程,来访问线下软件的业务库数据
        2.数据对接中间程序运行着定时任务,负责调取存储过程中的线下数据,通过MQ、API等方式
             抽送到线上平台
     下发数据:
         1.线上平台产生业务数据,将数据存放到MQ服务中的指定消息队列
         2.数据对接客户端监听数据下发消息队列,获取消息中的数据后,写入到中间库、或者调用存储过程完成
           数据写入到线下业务数据库中
     
     由此,可得出结论。数据对接客户端,对接数据依赖数据库编程(存储过程),消息服务MQ以及接口API。
     整个流程并不需要对客户的线下软件系统进行改造和二开。

免开发实时性方案思考

综合开放API方案、数据对接客户端方案不难发现,都无法完美的实现数据对接绝对实时。
        于是笔者认为,要解决线下数据上传过程的数据监听问题,可能有些读者已经考虑到数据的触发器了。
        对于数据库的数据变动触发器能够及时的捕捉到,并且提供了数据编程的可能。那么剩下来的问题
        就是如何实现将触发器捕获的数据变动通知给数据对接客户端。如果能够实现此一步,那么对于线下
        软件产生的业务数据就能够在第一时间上传给线上平台了。
        通过与负责实施的同时沟通了解到,可以在触发器中向数据对接客户端发起Http 调用,将数据传送给
        数据对接客户端。目前向Oracle、SQLServer、Mysql 都可以做到。
        到此可以得出结论,只要业务需要,无论是对数据的上传还是下发,线上、线下两个系统间都可以通过
        技术手段实现数据实时传递。
        遗憾的是我们业务上允许上行数据的小幅度延迟,没有得到实际的将想法思路通过实际进行检验。
        我想理论方案可行,将我的想法思路分享给各位奋斗在一线开发的小伙伴们!
在这里插入图片描述

猜你喜欢

转载自blog.csdn.net/yanghui555/article/details/114880052