你还需要什么来管理自己的数据？

　大数据（bigdata），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。对于“大数据”（Bigdata）研究机构Gartner给出了这样的定义。“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。

　　每个有效的数据库都需要精心设计的模式(Schema)，以保持数据干净，避免冲突，满足用户的各种需求，适应未来的扩展。同样，每个有效的企业数据计划都离不开数据治理，也就是精心设计的政策，以明确职责、解决不同利益相关方之间的冲突，提供维护和扩展，保护敏感信息。

　　数据治理的关注点通常包括：

　　长远规划：识别战略需求，寻求管理层对数据计划的支持，获得多年的预算承诺，除新功能之外还提供维护和升级。

　　架构：预见并调和不同企业部门之间的数据策略冲突。

　　职责：明确研发、运营、基础设施、商业智能和各条业务线等能力领域之间的维护、更新和扩展职责。

　　数据收集：把来自各条业务线的数据整合进公司总体策略，从源头上确保数据干净。

　　安全和合规：识别敏感数据及其相关的监管和专业要求，执行技术和管理保障措施。

　　数据管理方面的权威西米恩·施瓦茨(SimeonSchwarz)分享过一个思维实验：假设你正在为某券商创建新的客户关系管理(CRM)分析系统，你问该系统的各个利益相关方，在他们眼中什么是“账户”?答案各不相同：

　　营销部：“账户是被转化的销售线索。”

　　财务部：“就财务报表而言，账户是拥有存款、能和我们交易的客户。”

　　会计部：“账户是我们结算室、账簿和记录系统中的记录条目。”

　　法律部：“账户是我们通过和客户签署的法律协议，向客户提供的结构化产品。”

　　虽然每个定义在其利益相关方的眼中都是正确的，但这些定义可能无法调和成单一的一个定义。没有数据治理计划，各个部门的工作流程可能会以不同的方式来对待记录。结果将是各个部门的工作流程产生不同版本的真相，具有不同的监管和合规风险。报告和分析变得不可靠，并使冲突加剧。

　　营销部通过网页表单收集销售线索，并为每条线索创建一条新的账户记录，但网页表单上可能有错字。法律部从头开始为每份协议创建一条新的记录，导致某些数据重复，如果其数据与包含错字的营销部数据产生冲突，那么还需要进行清理。

　　由于可追溯至大型主机时代的一个传统，运行整个系统的硬件设施也许是由会计部管理，而会计部可能不想花钱改进营销部的数据收集系统。营销部的人在策划宣传活动时，习惯了直接查看会计部数据库的原始客户记录，这会产生监管和安全风险。

　　从技术上看，大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理，必须采用分布式架构。它的特色在于对海量数据进行分布式数据挖掘。但它必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。

　　随着云时代的来临，大数据（Bigdata）也吸引了越来越多的关注。分析师团队认为，大数据（Bigdata）通常用来形容一个公司创造的大量非结构化数据和半结构化数据，这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起，因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。

　　大数据需要特殊的技术，以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术，包括大规模并行处理（MPP）数据库、数据挖掘、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。

　　数据治理计划不仅为解决这些问题和预见新的问题提供了知识和制度基础，还根据企业战略计划的推进提供相应的扩展。

　　关键的术语和趋势

　　如今首席数据官(CDO)这个职位越来越流行，其诞生就是为了应对数据治理的挑战。负责数据治理的CDO加入企业高管行列，这表明了数据在企业价值和使命中的重要地位。

　　行业组织和供应商已经开发出各种各样的数据治理框架，其中最著名的包括开放组群架构框架(TOGAF)，它以美国国防部较早前一个项目为基础发展而来。TOGAF远远超出了数据治理的范畴，但数据架构是该框架中一个被人们津津乐道的组成部分。此外还有数据治理框架(DGI)，它也是从结构化的角度来看待数据治理。

　　除了上述几种“框架”法以外，有些早期研究项目致力于元数据和情境服务在制定治理政策方面的潜在应用，这是从自下而上的角度来处理问题。

　　现在的社会是一个高速发展的社会，科技发达，信息流通，人们之间的交流越来越密切，生活也越来越方便，大数据就是这个高科技时代的产物。[12]阿里巴巴创办人马云来台演讲中就提到，未来的时代将不是IT时代，而是DT的时代，DT就是DataTechnology数据科技，显示大数据对于阿里巴巴集团来说举足轻重。

　　有人把数据比喻为蕴藏能量的煤矿。煤炭按照性质有焦煤、无烟煤、肥煤、贫煤等分类，而露天煤矿、深山煤矿的挖掘成本又不一样。与此类似，大数据并不在“大”，而在于“有用”。价值含量、挖掘成本比数量更为重要。对于很多行业而言，如何利用这些大规模数据是赢得竞争的关键。