一、商业银行大数据发展现状
(一)数据容量大，涵盖范围广
在大数据时代，银行业数据迅速膨胀并呈现出几何级数的增长态势。由于行业特性，银行业在长期业务开展过程中积累了海量数据。从数据涵盖范围来看，数据类型包括以工资、公积金、消费贷款等为代表的结构化数据和以文档、图片、音像和地理位置信息等种类繁多的非结构化和半结构化数据。波士顿咨询公司曾指出，银行业每创收100万美元，会平均产生820GB的数据，数据强度高踞各行业之首，而在相同创收条件下，电信、保险和能源行业数据强度分别为490GB、150GB和20GB，由此可知银行业在大数据应用方面具备天然优势。
大数据学习群：716581014
(二)数据处理复杂，充分挖掘困难
商业银行数据体量庞大，在数据处理过程中存在很多问题，主要包括：
(1)数据治理体系化建设匮乏。现阶段商业银行尚未形成系统的数据治理方法和体系，缺乏有效的数据分类、整理和加工。
(2)数据资源管理整合度不高，内部可用信息使用率低下。当前商业银行的数据在组织内部处于割裂状态，缺乏顺畅的共享机制，难以实现数据的有效整合和使用。
(3)数据内容复杂多样，难以充分挖掘数据资源潜在价值。造成这一现状的原因在于商业银行非结构化数据占比不断上升，数据构造方法重复率高，且关系复杂。
(三)数据资产化，应用场景丰富
国内商业银行现处于数据资产化、产业化的起步阶段，且银行运用大数据技术以描述性数据分析为主，预测性数据建模为辅，以自身交易和客户数据为主，外部数据为辅。数据资产目前最主要的作用是趋势预测和决策支持，典型的应用场景集中在营销分析、内部运营和风险管控等方面，具体应用案例包括交叉销售、客户群体划分、信用评分及违约监测等。当前我国商业银行大数据应用深度、广度和频度都与国际先进银行存在着巨大差距，迫切需要拓宽数据应用层面，实现数据资产增值。
(四)数据应用难度大，制约因素多
1.大数据技术框架
大数据技术框架的组成部分包括处理系统、平台基础和计算模型。首先，处理系统必须稳定可靠，同时支持实时处理和离线处理多种应用，支持多源异构数据的统一存储和处理等功能。其次，平台基础要解决硬件资源的抽象和调度管理问题，以提高硬件资源的利用效率，充分发挥设备的性能。最后，计算模型需要解决三个基本问题：模型的三要素(机器参数、执行行为、成本函数)、扩展性与容错性、性能优化。这些要求对构建大数据技术框架提出了非常高的要求。
2.大数据应用推进和落地
商业银行大数据应用虽然在风控、反欺诈、征信等领域初见成效，但在其他层面暂时还处于探索阶段。究其原因，一方面只有当数据分析转变为企业业务方式后才产生价值;另一方面商业银行在新建应用系统的过程中缺乏数据思维，没有充分了解大数据分析的价值、战略和流程。同时大数据应用投资效果难以衡量，领域建模未得到充分重视。
3.数据安全与个人隐私
现阶段用户数据的收集、存储、管理和使用缺乏规范，主要依靠商业银行自律，用户无法确定自己隐私信息的用途。此外，鉴于我国商业银行体制机制限制以及尚未健全的金融法律法规体系，许多金融机构担心擅自使用数据会触犯监管和法律底线，同时数据处理不当可能会给自身带来声誉风险和业务风险，因而在驾驭大数据层面难以付诸实际行动。
二、大数据在商业银行应用状况
(一)工商银行
1、工商银行大数据建设情况
工行最早是在2000年初开始大数据的探索与尝试，目前已从TB级进入PB级的建设阶段，预计在接下来的几年内会进入EB级的庞大体量。工行大数据建设的整个的战略思路是，通过该行的两库一司建设完善大数据体系。具体来说，工行大数据平台建设可以抽象成如下几层：第一层是数据采集，即统一针对外部和内部的数据进行相关的数据收集，包括日志信息、行为信息和业务信息;第二层是计算层，工行不单单提供传统数据仓库的批量计算的能力，也通过一些流数据的技术提供实时的计算能力;第三层是应用层，这一层是大数据相关的应用，包括用户可以自定义的查询功能。通过把这些信息的服务抽象到工行的业务系统中，通过该行的管理会计系统、分析师平台、风险系统、营销系统，为工行在数据的运营、风险控制和营销方面提供相关的支持。
图表 1：工商银行大数据云服务平台
2、非结构化数据信息库建设
工行的信息库建设主要指非结构的数据。目前，工行实现了包括17125个境内机构，39个国家(地区)的383个境外机构，工银瑞信、工银安盛、工银金融、工银租赁、工银国际等综合化子公司组成的集团内境内外机构信息系统的统一和集中管理，建立了全行统一的数据仓库和集团信息库两个大数据基础平台，数据总量超过4500T。
图表 2：工行数据仓库和集团信息库架构
因为非结构化的数据的量是非常大的，所以工行的原则是信息库建设没有把非结构化建设进行物理存储的集中，工行只是通过统一的搜索引擎让用户能够快速地搜索找到需要的非结构化信息。
3、工商银行大数据分析挖掘与应用
1)客户评价
工行在柜面、自助终端以及网上银行等各服务渠道，实现对客户的识别、信息共享、联动营销和产品推介;根据客户的资产、负债、中间业务基本信息、交易信息，实现对公、个人客户的统一星级评价，差异化服务。
图表 3工行客户星级评价模型
2)精准营销
工行利用全球信息资讯平台等系统提供营销信息。利用系统收集整合外部经济信息，客户经理足不出户就能得到市场信息，有效提高了工作效率和营销成果。例如，江苏工行采集工商注册信息为基层营销提供线索，2013年成果转化案例300个，共新增企业账户242个，个人账户4247个，营销客户存款280亿元，手续费及佣金收入11亿元，营销理财产品18亿元，贷款388亿元，全年贷款利息收入60亿元。此外，利用大数据，工行的营销措施更加丰富。工行通过建设关联客户关系信息系统，促进客户供应链研究、关联关系研究，以核心客户为中心，挖掘其上下游客户信息为营销服务，发挥有利因素开发新市场。
图表 4：工行大数据营销模型
3)风险防范
利用大数据使得工行风险防范手段更加丰富。工行通过大数据在事前、事中、事后三个环节的运用进行风险的柔性控制。
一是进一步强化事前的分析论证，突出防患于未然。在信贷准入方面，整合工行CIIS信息、人民银行征信管理信息、银监会风险信息等资源，建立客户准入风险分析模型，对特定高风险客户群进行分析，通过关联信息查询对企业所在客户群的信用总体情况进行分析，及时发现潜在风险点，从而为客户上下游企业对客户经营及信用可能产生的影响做出判断;
二是加强事中监督和风险预警，及时发现潜在风险。通过数据分析，及时发现客户交叉违约现象，开展风险预警分析，如客户贷款在工行正常却在他行存在不良、客户在工行不同专业的贷款中一项正常另一项不良;
三是加强资金运行的跟踪力度，监督不良客户的资金运动，对不良资产进行追欠行动;
四是突出惩戒机制，将不良信息报送有关征信数据库，增加不良客户的违约成本，从而降低其违约的概率。
此外，工行建立全流程经营管理风险防控战略。工行运用大数据跟踪分析全行所有业务数据，为加强经营管理风险防范提供全方位的支持。
一是对事后监督检查提供全面数据支持;
二是为事中监督提供方便，可根据事先设定的条件进行非现场监控，对非正常事件进行自动预警，提升风险防范能力;
三是构建全行重要岗位风险数据模型，回顾并总结多年来各类风险事件相关人员在案件前的各种不良迹象，建立风险评价机制，通过行内信息与行外信息及互联网信息的多项组合，对重要岗位人员的不正常情况进行分析和预警，达到风险防范效果。
图表 5：工商银行人工智能学习平台
(二)招商银行
1、数据驱动的互联网智能获客系统
1)系统业务简介
数据驱动的互联网智能获客由用户从线上发起，招商银行实时进行名单收集及数据承接，随后进入“网上申请，上门服务”或“网上申请，网点核身”的业务流程，通过“线上申请+双线下”的体系化服务模式，帮助用户办理信用卡，在线获取信用卡价值客户。
目前，系统每天实时向各地下发新户申请名单，巨大的数据流量支撑了招商银行全国39个信用卡部门、数千名的信用卡直销队伍及全国所有的招商银行营业网点，使招商银行成为全国率先实现规模化、集约化、成体系运作的商业银行。
2)系统建设的目标
系统基于开放的体系架构，采用闭环的系统流程，通过多维度参数化设计，支持线下不同业务模式的动态接入，通过多渠道的客户信息实时收集及分配，实现对名单流量的无缝承接;通过智能分流决策引擎，激活网点资源，优化资源配置，实现双线下的数据分流以及对名单流量和产能的动态管理;利用外部海量数据，构建实时互联网大数据征信模型，提升内部风险控制水平;通过多场景下的用户行为分析和挖掘、多版本的转化率建模分析，提升系统的智能化水平，促进业务流程的持续升级，实现智慧增长。
图表 6：智能系统建设目标
3)系统应用框架示意图
图表 7：智能获客系统应用框架
业务处理系统：包括接口服务系统(允许合作厂商直接提交用户名单到招商银行系统)、流程管理系统(新旧户流程管理、双线下流程管理等)、决策引擎系统(判断用户的价值所在，比如是否为零售的价值客户)、大数据征信系统。
业务支持系统：包括运营管理系统、智慧营销管理系统和用户行为分析系统。
数据承接系统：包括数据承接(统一承接各个平台的流量数据)、数据检核、数据筛选。
数据驱动系统：包括名单分配系统(将收集到的数据分配到各信用卡部及网点)、业务代表移动服务系统(PAD系统)。
4)数据驱动模型
数据驱动模型以用户数据为核心，形成以数据收集、数据承接、数据驱动、数据经营、数据分析的闭环，从而在不同的阶段以不同的方式和目的，对用户数据的价值进行充分挖掘。
图表 8：数据驱动模型
数据收集：从招商银行主站、手机银行、个人银行专业版、搜索引擎、合作方收集用户数据。
数据承接：有效的用户数据加工后统一收集及整理。
数据驱动：用户数据被分配给各信用卡部的直销人员或网点。
数据经营：通过直销人员上门服务或网点办理，将数据转化为客户，即流量变现。
数据分析：分析用户数据，优化流程及用户体验，更好地收集用户数据。
2、数据驱动的互联网智能获客系统的创新特点
1)智能决策引擎分流机制
实现对流量及产能的动态管理。系统采用了创新的智能决策引擎分流机制，建立了线上名单数据与双线下业务流程的完美对接，激活网点资源，优化资源配置，实现对名单流量及产能的动态管理，防止成熟市场因无法及时响应用户需求而导致名单溢出以及无信用卡部门城市的新增网点流量浪费的现象出现。
图表 9：决策引擎分流机制
2)大数据征信辅助
传统的征信体系是银行业健康发展的基石，在互联网时代，要将风险控制及快速授信做到极致，需要借助于大数据，联合外部优质大数据厂商，组成策略联盟，洞察用户站外行为，完善和丰富用户画像，达到利用外部数据解决内部风险控制的目的。
3)借助大数据的用户行为分析
通过数据采集和监测，根据不同的业务场景进行建模，分析用户站内行为，最终实现可视化的呈现。通过大数据分析，银行可以全面了解用户在使用自身服务过程中的行为特点，从各种层面提供决策支持，实现运营内容优化，提升长尾资源和碎片资源的使用能力，这是银行业在大数据应用方面的有益探索。
4)流量经营为中心的业务模式
流量经营以智能管道和聚合平台为基础，以扩大流量规模、释放流量价值为方向，其最终目的是顺应移动互联网的发展，壮大基础用户规模，占领市场的至高点。通过建立以流量经营为中心的业务模式，基本解除了对人力驱动模式的依赖，极大降低了营销成本，为实现低成本获客提供基础保障。
5)数据驱动为核心的业务模型
在传统的人力驱动模型之下，银行通过差异化的产品、高强度的资源投放，基本可以保障其在商业竞争中占据有利位置，而在移动互联时代，传统的人力驱动成本不断增长，但收益日渐下滑，难以为继。数据驱动的业务模型是信息技术对银行业界的一大改变。银行的经营理念需要从现有的人力驱动方式向数据驱动方式转变，这种转变实际上也是全球产业面临的一场新变革。
图表 10：人力驱动及数据驱动模型对比
通过数据驱动模型，银行线上获取客户的边际成本接近于零，目标客群扩大至所有的互联网用户，直销人员在上门服务时更有目的性，成效显著提高。
6)独创的线下双通道充分挖掘客户的价值
采用决策引擎分流机制，普通用户流向“网上申请，上门服务”的直销模式，而对于零售的价值客户则导向“网上申请，网点核身”的业务模式，在办理信用卡业务的同时，引导客户同时办理招商银行一卡通，通过双线下业务流程的设计，使客户价值得到充分的挖掘，资源得到充分的利用。
7)落实两卡交叉销售打造大零售体系的全行战略
通过流程设计，招商银行创造了信用卡与零售产品交叉销售的自然场景，打通了信用卡部门与全行零售部门交叉销售的关键环节，在获取信用卡客户的同时也为零售部门贡献价值客户，促进打造大零售体系的全行战略，提升客户的综合价值贡献，成功将信用卡获客平台打造成聚合零售客户的流量入口。
3、系统应用效果
1)利润增涨显著
爆发式增长的基础客群推动了招商银行信用卡部门利润翻番的目标。2013—2016年，通过该平台直接获取信用卡新户近千万个，2016年的新户获取量更是达到2013年和2015年的总和，实现了跨越式、爆发式增长，其零售获客能力预计还将进一步提升。
2)领导获客渠道
智能获客系统已成为信用卡获客业务中决定性的领导力量。
招商银行数据驱动的智能获客系统项目突破了传统人力驱动的获客模式，实现了以互联网流量经营为中心，规模化、集约化、体系化运作的数据驱动的互联网智能获客，确立了移动化、数据化、智能化、协同化、模块化、开放化的发展方向，支持低成本、数字化、可度量的持续经营扩张。线上及双线下的系统流程设计创造了与零售产品交叉销售的自然营销场景，奠定了招商银行两卡交叉销售的技术基础和永续经营的驱动力量，支撑了全行大零售体系的战略。
(三)民生银行
1、民生银行大数据平台建设
民生银行通过大数据驱动业务运营及产品创新，搭建低成本、高性能、高可靠且水平扩张的数据平台，通过大数据分析应对金融业的大数据挑战，完善及大力发展银行中间业务，避免产品品种雷同、老旧等情况的出现，初步做到个性化的精准营销。
1)建立数据源
民生银行数据源包括个人特征数据、资产数据和其他数据。其中，个人特征数据包含年龄、性别、职业、收入、工作区域、社会关系等;资产数据包括个人定期存款、活期存款、信用贷款、抵押贷款等;其他数据涵盖个人互联网行为数据、个人位置信息数据、商户数据等。
2)打造不同层面的数据场景
民生银行通过整合客户数据，进行精准营销的设计，降低客户流失率，提高忠诚度;借助大数据技术对不同渠道来源的提供商、客户的交易行为进行全面分析，实现链式反应;搭建有效的数据模型，为客户提供全方位管家式的非金融服务;借助对业务的分析与优化，推动自身的转型与创新。
图表 11：民生银行不同层面的数据场景
一方面，通过大数据相关技术，可以及时了解本行业及关联行业的变化，快速调整自身企业的运营方向及策略，缩小企业运营风险敞口;另一方面，通过整合金融业内部和外部数据，建立起多维度多层次的分析洞察报表，提供市场、销售、用户、舆情等多角度的宏观洞察，辅助战略决策，同时也为企业的运营、产品、市场、销售、服务等一线业务人员提供数据洞察，支持其日常的业务行动。
2、民生银行大数据战略方向
结合国内外先进企业的大数据经验，民生银行充分挖掘大数据价值，以“智能化、云端化、标准化、移动化”建设为主线，努力打造和提升大数据能力，积极推进全行的大数据战略。对于民生银行来说，“四化”建设纵贯数据获取与存储、数据整合、数据挖掘、数据应用整个大数据价值链，是一个影响深远的系统性工程。
1)大数据智能化
为进一步提升客户关系管理与服务水平，营造可持续发展的金融生态环境，切实提高全行对公业务的规划能力、营销能力、产品支持能力、风险管理能力、考核评价能力，民生银行建成智能管家平台，借助互联网思维和大数据分析挖掘工具，运用复杂网络科学、文本挖掘、购物篮分析等数据挖掘技术和力导向布局图、蜗牛图等数据可视化手段，构建了上下游客户推荐模型、智能产品推荐模型、交易网络模型，设计开发了客户推荐、产品推荐等功能，为客户经理、管理人员提供针对性、差异化营销和管理功能。
2)大数据云端化
在金融集团层面上，民生银行已经建成对全行数据用户开放的阿拉丁大数据云平台，这是民生银行大数据应用的基础设施。阿拉丁平台通过大数据的开放与共享，在民生银行内部形成各经营机构运用大数据“大众创业，万众创新”的良好生态。目前，阿拉丁平台注册用户已覆盖民生银行所有分行和事业部，用户发布数据分析成果超过5000项。比如，北京管理部基于大数据对小微客户进行信用评级，重庆分行通过客户通信、居住及出行大数据挖掘出潜在高价值客户等，大数据应用显著改善了经营机构客户获取、产品营销、风险评级和运营管理。
3)大数据标准化
2015年民生银行启动数据标准化工程，旨在提升数据质量，解决由于“前端业务人员操作不规范、关键业务指标定义不统一、业务系统间基础数据项定义不一致”三大主要原因造成的数据质量问题，为此，民生银行制定了数据标准化工程实施路线图。数据标准化工程实施路线图内容包括：分步建立关键基础数据标准以及关键指标标准;实现数据标准在重要业务系统中的落地应用;设计数据标准管理流程，依托数据标准管理系统和组织体系的建设，实现数据标准的系统化、规范化的管理。通过实施数据标准化工程，数据标准管理在平台中通过工作流的方式实现，实现全行关键数据的共享。
4)大数据移动化
为顺应移动互联网时代潮流，民生银行提出移动数据产品发布平台和数据产品研发同时推进战略。通过数据产品在移动端的部署，使数据用户在任何时间(Anytime)、任何地点(Anywhere)接收与业务相关的任何数据结果(Anything)，大幅提升决策效率和前端人员的快速反应能力。在大数据移动化方面，民生银行主要推出四款移动数据产品：蒲公英、啄木鸟、猫头鹰和鸿雁。
“蒲公英”是一款专为民生银行公司业务客户经理拓展客户和营销产品提供支持的移动产品，旨在帮助客户经理提升工作效率与营销成功率。啄木鸟系统通过自动识别可疑交易降低小微业务的操作风险。“猫头鹰”为民生银行支行管理者提供即时获取支行经营状况的移动产品。“鸿雁”是民生银行高层管理层智能化决策提供支持的大数据产品。四款移动数据产品为民生银行战略决策、客户拓展、产品营销、风险识别、业务管理提供数据支持。
3、基于PDMA框架的大数据对公营销
对公客户是商业银行的主要利润来源之一，且该类客户沉淀大量复杂的数据，将大数据技术应用于对公客户服务和对公产品营销具有重要意义。针对移动互联网的大数据营销体系“PDMA”，主要包括认知客户(perceive)、挖掘需求(data-mining)、精准营销(marketing)、营销评估(assessment)，构成一个闭环体系，基于“PDMA”的框架能很好地建立银行产品和客户两个维度。
1)P——认知客户行为
认知企业客户行为可以从三个方面着手。
一是基于客户属性建立客户特征库，包括银行数据库中的所有对公客户相关字段，对客户的自身属性、所在地区、财务状况、与银行合作紧密程度等进行初步分析，掌握客户基本情况。
二是结合客户持有产品情况，认知银行的产品结构。以产品管理系统中的产品库为依据，分析持有不同数量产品的客户分布、各门类产品的客户总体分布、下属分行及其经营机构的客户持有产品情况，以及结合多个时点的各门类产品客户数的变化趋势等。
三是在认知产品的基础上，基于产品记录，分析客户行为习惯，包括客户对产品门类的偏好，对产品购买渠道的偏好，对资金流动性的需求，购买产品时段偏好等。
2)D——挖掘客户需求
需求发现环节应紧密结合产品和客户的数据，挖掘大数据背后客户对产品的需求，是借助大数据实现对公产品营销管理的基础性工作。一方面，基于客户产品持有行为判断不同产品的相关程度，测算出持有某种产品的客户同时使用该产品相关产品的可能性，产品相关分析的结果可以形成定期的产品相关性监测报告和营销建议。同时，结合客户产品的平均持有水平分析，将低于产品平均持有水平的对公客户认为是具有产品潜力的客户群，生成这一类客户清单，根据客户清单中对公客户所在分行进行分类，将这部分产品需求未充分挖掘的客户清单推送到分行，以帮助分行更好地锁定目标营销客户。另一方面，对非结构化的大数据进行分析，全方位挖掘客户的产品需求。非结构化数据可以分为行内数据和行外数据，通过这类交易数据可以形成企业的社会网络关系图，作为供应链金融大数据营销的重要依据。
3)M——产品精准营销
充分挖掘客户需求后，根据需求实施精准营销，具体可以有三方面应用。
一是结合客户的产品门类偏好推荐同一类别的其它产品，提高同一门类产品的渗透率。此外，还可以具体到各分行，分析各分行同类产品使用情况，并将之与全行产品应用情况对比分析，低于全行各门类产品应用水平的分行建议就其薄弱的产品门类进行重点营销。
二是通过产品相关分析梳理出相关度高的产品组合，结合只持有这些产品组合中的部分产品的客户清单，生成各个客户还可进行关联营销的具体产品清单，推送给各分行，指导其根据该客户潜在产品清单对客户进行产品关联推荐。
三是从产品出发，通过聚类法和分类预测法分析持有某种产品的客户群体的共同属性，然后比对具有这些属性但还未持有该种产品的客户，作为该种产品的潜在客户名单，对名单上的客户推荐该种产品，通过分析现有客户成功开发新客户。
4)A——营销效果评估
营销评估是贯穿“PDMA”大数据营销体系全流程的最后一环，也是营销管理流程中承上启下的重要步骤，能及时帮助商业银行掌握大数据分析的效果。银行在精准营销评估过程中，应当加入时间序列，结合产品和客户情况进行综合评估，并定期对基于大数据分析的精准营销实施评估，根据评估效果改善大数据分析和精准营销的成果。对有成效的分析结果形成定期营销报告，对于成果不显著的从业务角度总结原因，调整大数据分析模型和参数，改进结果。
4、民生银行“PDMA”应用实践
2015年3月，民生银行“金融e管家”平台正式上线，平台主要针对国内商业银行客户关系管理系统管理功能、分析功能、应用功能相互脱离的弊端而开发的基于大数据分析的一站式服务平台。“金融e管家”服务于全行对公客户管理，覆盖“PDMA”框架的四个环节，是对公业务应用大数据技术的典范。
首先，认知客户行为(P)。该平台对接民生银行内200多个生产系统和数据中枢，并导入上市公司数据、人行征信数据、工商数据等行外的数据，形成完善的数据结构，通过不同的规则组合数据，如对公客户和产品的交叉组合，或者基于供应链的客户上下游集合等，使用户可从不同角度解读对公客户的特性，同时通过行内资金流和行内外信息流，精确掌握客户的行为习惯。
其次，挖掘客户需求(D)。该平台对客户信息更深层次的挖掘，去除无效信息，将有效信息放大，结合线下业务资源，挑选出最适合营销的企业关系群体，应用多种大数据分析方法，建立关系网络分析模型，识别出群体的特征和相互之间业务重点，并以极具可用性的界面展示客户潜在需求挖掘的结果，帮助客户经理深度挖掘客户的金融需求。
再者，产品精准营销(M)。该平台是一个智能化的融资理财和资源整合平台，主要围绕核心客户，通过后台数据的支撑，建立交易网络模型和上下游客户推荐模型，并据此匹配最适合的金融产品，实现精准营销。该平台上线后，对公产品关联营销的成功率大大提高。
最后，产品营销评估(A)。该平台建立了基于历史记录的客户绩效评价体系，科学全面的评价客户绩效，并根据评价结果改进营销方向。后评价功能涵盖对公业务的不同情况，如对个性化服务方案的综合评价，对集团客户也能建立综合收益的评价，而不仅仅是单独考虑单笔业务的收益，适应了缺资产时代的商业银行经营新思路。
大数据学习群：716581014 ，专注大数据分析方法,大数据编程，大数据仓库，大数据案例，人工智能,数据挖掘，AI等大数据内容分享交流。不定期举办线上线下大数据内容分享活动。同时有R语言，Python语言mysql Spss SAS 等知识课件和内容分享。Hadoop spark linux Hive等知识分享.