Azure数据处理解决方案概述

数据处理解决方案通常分为两大类:分析系统和事务处理系统。

什么是事务系统?

事务系统通常是大多数人所认为的业务计算的主要功能。 事务系统记录事务。 事务可以是财务,如银行系统中帐户之间的资金流动,也可能是零售系统的一部分,跟踪客户对货物和服务的付款。 可将事务视为小型、离散的工作单元。

事务系统通常是大容量的,有时在一天内会处理数百万个事务。 正在处理的数据必须能够非常快速地进行访问。 事务系统执行的工作通常称为联机事务处理 (OLTP)。

为了支持快速处理,事务系统中的数据通常拆分为小单位。 例如,如果使用的是关系系统,则事务中涉及的每个表只包含执行事务任务所需的列。 在银行转账示例中,保存帐户中资金信息的表可能只包含帐号和当前余额。 转账操作中未涉及的其他表保存了客户的姓名和地址等信息,以及帐户历史记录。 像这样将表拆分为多个单独的列组被称为“规范化”。 下一个单元将更详细地讨论此过程。 规范化可以使事务系统缓存大部分在内存中执行事务时所需的信息,并提高吞吐量。

虽然规范化可实现事务的快速吞吐量,但它也可能使查询更复杂。 涉及规范化表的查询经常需要将多个表中保存的数据重新联接在一起。 这会使可能需要检查数据的业务用户感到困难。

什么是分析系统?

与设计为支持 OLTP 的系统相比,分析系统的设计目的是为了支持需要查询数据和需要在宏观层面了解数据库中保存的信息的业务用户,。

分析系统涉及捕获原始数据,并使用它来生成见解。 组织可以使用这些见解做出业务决策。 例如,有关制造公司的详细见解可能表明存在某些趋势,这使他们能够确定要侧重的产品线,以提高盈利能力。

大多数分析数据处理系统都需要执行类似的任务:数据引入、数据转换、数据查询和数据可视化。 下图展示了典型的数据处理系统中的组件。

图像展示了典型数据处理解决方案的各元素

  • 数据引入:数据引入是捕获原始数据的过程。 可以从测量环境信息(例如温度和压力)的控制设备、记录客户在超市中购买的商品的销售点设备、记录银行帐户之间资金流动的财务数据以及来自气象站的天气数据中获取此数据。 其中一些数据可能来自单独的 OLTP 系统。 若要处理和分析此数据,必须首先将数据存储在某种类型的存储库中。 存储库可以是文件存储、文档数据库,甚至是关系数据库。

  • 数据转换/数据处理:原始数据的格式可能不适用于查询。 数据可能包含应筛选掉的异常,或者可能需要以某种方式进行转换。 例如,可能需要将日期或地址转换为标准格式。 将数据引入到数据存储库后,你可能需要执行一些清理操作,删除任何有问题的或无效的数据,或执行一些聚合,如计算利润、利润率和其他关键绩效指标 (KPI)。 KPI 是衡量业务增长和绩效的方式。

  • 数据查询:引入数据并对其进行转换后,可以通过查询数据对其进行分析。 你可能正在寻找趋势,或试图确定系统中出现问题的原因。 许多数据库管理系统提供的工具可用于对数据执行临时查询并生成定期报表。

  • 数据可视化:表中的数据(例如行和列)或文档中数据的呈现并非总是直观的。 通常可利用数据可视化作为检查数据的工具。 可以生成图表,如条形图、折线图,在地理地图上绘制结果,生成饼图或说明数据随时间的变化。 Microsoft 提供可视化工具(如 Power BI)来提供数据的丰富图形表示形式。

参见原文:https://docs.microsoft.com/zh-cn/learn/modules/explore-core-data-concepts/2-identify-need-data-solutions

猜你喜欢

转载自blog.csdn.net/figosoar/article/details/120171702