对象实时数据库

第1章 平台概述
    彩虹智慧物联网云平台是一款采用大数据,人工智能 等先进技术，基于软件即服务(SAAS)理念， 依托公有云资源的免费工业物联网服务平台。 云平台拥有智慧物联、商业智能、专家系统、智慧管理、预测决策等智慧子系统。云平台提供了智慧能源 、 智慧物联 、数字化油库 三个应用样例。 云平台构建了完整的知识图谱 ，建立了知识表示、知识获取、知识应用的智慧解决方案。 平台具备智能感知、实时监控、数据增值、数据分析等物联网核心功能，平台具备强大的用户组态功能 ，是一款Web组态软件 。 通过简单的配置，就可以实现您个性化的应用。平台是一个共享和自我学习的智能平台，平台可以自动的从项目中进行学习，获取行业知识，从而形成各种各样的行业应用 。 云平台建立了基于AI的对象实时数据库。实时数据库具备丰富数据感知方式 。通过modbus协议支持485信号的获取；通过opc获取自动化系统中的设备信息；通过rtsp协议获取视屏音频信号； 支持NB_iot、lora、mqtt、rtu、dtu等多种通讯方式。实时数据库支持1000万级别以上的设备同时在线，支持毫秒级别的设备通信，数据监控与报警，能充分的保证监控的实时性；实时数据库采用Nosql技术，支持秒级数据归档，支持长达50年的数据连续存储，储存的历史数据记录条数可以达万亿条，从而很好的支持历史回播。 云平台实时监测采用SingalR、canvas、svg技术路线，不需要任何第三方插件支持。具备设备监控组态、工艺监控组态、综合监控组态等监控组态工具，拥有实时文本、实时表格、实时曲线、仪表盘、图表、泵阀釜行业监控图元；平台提供了丰富的实时监控组态样例，您只需要通过简单的配置，就可以配置个性化的实时监控画面。 云平台已经内置了物联网行业通用的微分、积分、极值、方差等数据增值模型，同时支持脚本编程和第三方插件，具备强大的数据增值能力；云平台提供了商业智能、专家系统、智能预测等强大的数据可视化功能和应用工具 从而使您的物联网应用不仅仅只是具备监控功能，同时也具备强大的管理和决策支持功能。

    第2章 对象实时数据库
          2.1 目标
            物联网软件是在互联网环境下，实现物与物、物与人直接相互交互的一类软件。物联网软件本质是传统工业控制组态软件的一个后续发展，但不是简单的升级关系，彩虹智慧物联网具备强大组态配置功能，因此是一款Web组态软件。Web组态软件和控制组态软件的在功能架构上是级别相同的，都需要具备通信组态、监控画面组态、报警组态、控制组态、数据管理、数据分析应用等功能。但Web组态软件运行在互联网网络环境、采用浏览器用户界面风格，控制组态软件运行在工业控制网络，采用windows通话界面风格；Web组态软件以数据分析应用为重点，控制组态软件则以现场控制为中心；两者在通信、监控、报警等功能上要求，是基本相同的。 工业控制系统一般由控制机构、通信网络、PLC、组态软件、实时数据库五部分组成。彩虹智慧物联网应用由于彩虹智慧物联网重点不在实时控制，因此，彩虹智慧物联网应用没有工业控制类似的PLC部分，同时，彩虹智慧物联网实时数据库的组态部分和实时数据库两部分虽然相对独立，则两者是紧密集成，并且运用在一个进程内。 实时数据库的功能包括三大部分：在内存中保持一份设备实时信息的备份，对实时任务进行调度和运算；对实时数据进行归档操作。彩虹智慧物联网完整的拥有上述3个功能。同时，与传统的实时数据库不同的是，彩虹智慧物联网云云平台采用的是一以设备、指标、值形式，来代替传统实时数据库的变量、值得平面型实时数据库。 控制组态软件是工业控制系统上位机软件的统称，比较著名的有wincc, intouch , 力控组态王等。主要目标是配合下位机，完成工业控制项目的实施。传统的组态软件包括画面组态、报警组态、通信组态、下位机控制组态(梯形图)等，组态软件、实时数据库、下位机、自动化设备共同组成一个完整工业控制系统。在工业控制系统的四个组成部分中，组态软件在工业控制系统中所起的作业主要是完成人机界面的交互，同时，实时数据库和下位机，一般都没有人机界面，因此，对实时数据库的配置和操作都需要通过组态软件来完成。由于工业控制系统一般都运行在集中控制室，并且对实时响应要求高，因此，基本上采用windows风格的用户界面。 工业控制系统的实时数据库将现场每个设备的每个指标都映射到实时数据库的一个变量，工业控制软件以工业实时数据库为核心组件。 物联网软件是在internet网络环境下，完成对设备的动态管理，控制组态软件则是通过工业控制网络完成对设备的动态管理，因此，物联网软件和组态软件都以完成对设备的动态管理来目标。 物联网软件与组态软件都需要完成对设备的动态管理，因此，在核心功能上有很大的重叠部分，都需要与设备进行通信，有监控、报警、控制与数据管理功能。因此，在有些项目上，既可以采用组态软件来实现，也可以采用物联网软件来实现。 由于物联网软件与组态软件所适用的与设备通信的网络不一样，因此，两者也有不同的目标和不同的功能定位。 控制组态软件适用于工业控制网络，工业控制网络一般采用电流、电压信号来进行通信；即使需要采用以太网形式来进行通信，一般也是单独构建光纤环网，因此，工业控制网络可以认为是实时和可靠的，这也是对设备进行控制的要求，因此，组态软件一般定位对设备进行控制，所有功能都以此为核心进行展开，任何不适合控制的功能基本都从组态软件中移除或弱化，包括适应不太稳定的网络，复杂的统计分析等功能、并且所管理的设备数量也受到严格限制。 彩虹智慧物联网云平台是一款Web组态软件，除拥有传统工业控制组态软件常见的通信组态、监控画面组态、报警组态、控制组态、历史数据等功能外，还拥有商业智能、专家系统等高级人工智能功能。
       2.2 设备实时信息映射
           2.2.1 设备、指标、值内存字典 彩虹智慧物联网实时数据库在内存中采用两侧嵌套的字典方式来储存设备的实时信息。最外层的字典为设备标识，外加一个采集时间属性，而值为该设备对应实时指标值字典。内存字典的键值为采集指标表示，内层字典的值为指标的实时值，类型为对象，值类型支持数字、时间、布尔、字符串以及可序列化的对象。同时，系统对实时数据进行定期备份，保证系统重启后，能快速的装置重启前的数据数据。 与传统的工业控制实时库不同的是，工业实时库采用的变量、值平面型数据结构。在实时数据变量比较大时，查询一个变量的值，采用嵌套的字典，就会明显的比平面型字典速度要快一个数量级以上。因此，彩虹智慧物联网云平台能轻松的支持千万级别的设备，亿级以上的指标值。同时，在设备级别，记录设备信息的更新时间，比在指标上记录更新时间，能节省更多的内存空间。彩虹智慧物联网不需要传统实时数据库那样，事先建立变量。彩虹智慧物联网而根据传入的设备实时信息，自动扩充自动值。 2.2.2 最近实时信息池 彩虹智慧物联网在内存中开辟了一个设备最近实时数据的缓存池，缓存池的大小为100. 通过建立缓存池，能很好的支持速度等微分运算实时任务和实时曲线功能。 2.3 实时任务调度 实时任务调度是实现数据增值、和数据应用的重要手段。包括触发器和定时任务两类。
      2.3.1 触发器 触发器是在设备数据发生变化时，执行的任务。一般在接收新的设备数据时触发。 2.3.1.1 数据清洗 数据清洗任务是在实时数据库在接收设备实时信息时，由于设备和通信等原因，可能会产生异常数据，异常数据不应该进入实时数据库，系统提供异常数据日志，方便系统管理员对问题进行诊断。从而保证数据可用性。
      2.3.1.2 实时指标取值 传感器只能提供设备的一些基本的信息，可能会缺失管理所需要的，但需要经过计算的指标值。一些高级传感器会在底层对数据进行处理，常见的是各种积分器。如果底层传感器缺失管理所需要的指标值，这是，就可以在实时数据库中进行运算，从而求取指标的值。平台已经内置了多个微分、积分算法，通过简单配置后，就可以直接调用。当然，也可以通过脚本编程或插件形式，表示指标值的算法。 2.3.1.3 实时报警 与设备直接关联的指标，英文指标值已经存在于实时数据库中，因此，可以在接收数据时，直接判断是否需要报警。而设备的高级指标的值，或者是机构、区域级别的报警，报警指标值并不直接存在于实时数据库中，而是需要通过实时运算才能确定。这些值的算法可能会很复杂，需要大量的计算，因此，在接收设备实时信息时，立即对高级指标进行求值，然后判断是否需要报警，这样需要巨大的计算量，实际上并不可行。因此。采用定时计算高级指标的值，来判断是否需要报警。只有合理的配置定时参数，从而能实现性能与实时的统一。
    2.3.2 定时任务
            2.3.2.1 高级定时报警 与设备直接关联的指标，英文指标值已经存在于实时数据库中，因此，可以在接收数据时，直接判断是否需要报警。而设备的高级指标的值，或者是机构、区域级别的报警，报警指标值并不直接存在于实时数据库中，而是需要通过实时运算才能确定。这些值的算法可能会很复杂，需要大量的计算，因此，在接收设备实时信息时，立即对高级指标进行求值，然后判断是否需要报警，这样需要巨大的计算量，实际上并不可行。因此。采用定时计算高级指标的值，来判断是否需要报警。只有合理的配置定时参数，从而能实现性能与实时的统一。
           2.3.2.2 专家任务 专家预约任务本质上是对一些专家指标进行定时求值，从而判断是否异常，
          2.3.2.3 业务作业 定时业务任务一般与具体的应用相关，相关的算法需要通过脚本编程或第三方 2.3.2.4 数据归档任务

 2.4 数据归档
       2.4.1 归档配置 系统默认的实数数据归档频率为1分钟一次，只有变化的数据才进行归档。系统管理员可以对设备归档的频率进行配置，可以提高归档频率或降低归档频率。最高归档频率为遇变则归。高频率的归档，会带来数据存储压力，建议只对重点设备、重点事件区间进行高频率归档。
      2.4.2 NoSql存储 彩虹智慧物联网实时数据库对实时数据采用基于时序压缩方式进行存储。虽然归档数据还是采用关系数据库进行存储，但由于采用了压缩算法，因此，用户无法直接通过访问关系数据库的方法来获取归档数据，而是需要采用特定的api方式来获取归档数据，具体要求请参加对外接口
2.5 对外接口
          2.5.1 opc server 彩虹智慧物联网云平台实时数据库的设备实时数据，通过配置，可以实时写入多个OPC Server. 但这种方式不能获取实时实时最近缓存池和归档数据。
           2.5.1.1 Rest ful api
           2.5.2 设备实时信息接收 支持通过rest ful api方式接受设备的实时信息，信息包括设备编号、测量时间、指标值集合
           2.5.3 设备实时信息查询 支持通过res ful api获取设备实时信息以及设备最近缓存池的数据。
           2.5.4 实时任务查询 可以查询实时数据库中只需要执行的各种实时任务，并可查询执行异常信息。
               2.5.4.1 时间戳归档数据查询 支持查询在某个时间点多个设备的测量数据。
               2.5.4.2 设备时间段归档数据查询 支持单个设备在一个时间段所有归档数据的查询

第3章 技术参数
        3.1 设备实时指标值 支持设备数量>1000万，支持数据采集频率大于100毫秒。
       3.2 设备实时指标缓存池 最大长度支持200
       3.3 归档数据 归档频率支持分钟级别、数据压缩比例大于95.基于时间戳的设备归档数据查询相应苏打<1000毫秒。设备实时数据归档记录数大于1000亿。
       3.4 并发用户 支持大于1000个以上的并发访问。