数据库工程师

1.数据库工程师

数据库工程师(Database Engineer)，是从事管理和维护数据库管理系统(DBMS) 的相关工作人员的统称，他属于运维工程师的一个分支，主要负责业务数据库从设计、测试到部署交付的全生命周期管理。

数据库工程师的核心目标是保证数据库管理系统的稳定性、安全性、完整性和高性能。

在国外，也有公司把数据库管理员(Database Administrator ，简称DBA) 称作数据库工程师，两者的工作内容基本相同，都是保证数据库服务7*24小时的稳定高效运转，但是需要区分一下数据库工程师和数据库开发工程师(Database Developer):

1) 数据库开发工程师的主要职责是设计和开发数据库管理系统和数据库应用软件系统，侧重于软件研发;

2) 数据库工程师的主要职责是运维和管理数据库管理系统，侧重于运维管理。

2.主要职责

数据库工程师在不同的公司不同的发展阶段有着不同的职责与定位。一般意义上的数据库工程师只是负责数据库的运营和维护，包括数据库的安装、监控、备份、恢复等基本工作，但是广义上的数据库工程师职责比这个大得多，需要覆盖产品从需求设计、测试到交付上线的整个生命周期，在此过程中不仅要负责数据库管理系统的搭建和运维，更要参与到前期的数据库设计，中期的数据库测试和后期的数据库容量管理和性能优化。

对于初创公司，数据库工程师的工作可能由运维工程师来兼任，从申请域名开始，到服务器上架，配置网络设备，部署操作系统，安装数据库，设计和部署监控，防止漏洞和攻击等等。而大型公司对数据库工程师工作的要求越来越高，以下从各个维度来看数据库工程师工作的职责。

产品生命周期维度

数据库工程师负责了业务数据库从设计、测试到部署交付的全生命周期管理，各个阶段的职责包括:

1. 产品发布前

这个阶段数据库工程师的职责是数据库准入，主要包括:

1)产品的业务熟悉;

2)产品数据库设计评审:包括架构的合理性评估，存储容量和性能是否满足需求，是否需要缓存，是否需要冗余备份等，同时需要提供数据库schema设计的合理性建议以使产品能够满足上线发布并稳定运行的基本要求;

3)资源评估，包括所需的服务器资源、网络资源以及资源的分布等，同时把关产品对资源预算申请的合理性，控制服务成本;

4)资源就位，将申请的服务器及基础环境/域名准备就位。

2. 产品发布

这个阶段数据库工程师负责数据库发布的具体工作，将具体的数据库安装部署和初始化完成后并对外提供服务。对于已在线数据库的升级也属于发布范畴，这个时候的产品发布一般要保障在线发布，在不中断对外服务的情况下完成数据库的升级。对于大型复杂的变更也存在中止服务发布完成后再重新提供服务的情况，但这种情况需要数据库工程师通过尽可能的技术手段来避免。

3. 产品运行维护

这个阶段的工作重点包括:

1)监控:对数据库服务运行的状态进行实时的监控，包括数据库会话、数据库日志、数据文件碎片、表空间监控、用户访问监控等，随时发现数据库服务的运行异常和资源消耗情况;输出重要的日常数据库服务运行报表以评估数据库服务整体运行状况，发现数据库隐患;

2)备份:制定和实施数据库备份计划，灾难出现时对数据库信息进行恢复，维护适当介质上的存档或者备份数据。对数据库的备份策略要根据实际要求进行更改，数据的日常备份情况进行监控。

3)安全审计:为不同的数据库管理系统用户规定不同的访问权限，以保护数据库不被未经授权的访问和破坏。例如，允许一类用户只能检索数据，而另一类用户可能拥有更新数据和删除记录的权限。

4)故障处理:对数据库服务出现的任何异常进行及时处理，尽可能避免问题的扩大化甚至中止服务。这之前数据库工程师需要针对各类服务异常，如机房/网络故障、程序bug等问题制定处理的预案，问题出现时可以自动或手动执行预案达到止损的目的。

5)容量管理:包括数据库规模扩张后的资源评估、扩容、机房迁移、流量调度等规划和具体实施。

4. 数据库性能优化

产品对外提供服务最重要的一点是用户体验，用户体验中非常重要的是产品的可用性和响应速度。而如何用最合理的资源支持产品提供高可用和高速度的用户体验，这也是数据库工程师的重要职责。

3.技术分工

产品的整个生命周期里数据库工程师的职责重要而广泛，这催生了各个纵向的运维技术方向，主要包括:

• 数据库监控技术:包括监控平台的研发、应用，服务监控准确性、实时性、全面性的保障
• 数据库故障管理:包括服务的故障预案设计，预案的自动化执行，故障的总结并反馈到产品/系统的设计层面进行优化以提高产品的稳定性
• 数据库容量管理:测量服务的容量，规划服务的机房建设，扩容、迁移等工作
• 数据库性能优化:从各个方向，包括SQL优化、参数优化、应用优化、客户端优化等，提高数据库的性能和响应速度，改善用户体验
• 数据库安全保障:包括数据库的访问安全、防攻击、权限控制等
• 数据库自动部署:部署平台/工具的研发，及平台/工具的使用，做到安全、高效的发布服务
• 数据库集群管理:包括数据库的服务器管理、分布式集群管理等
• 数据库模型设计:包括数据库逻辑和物理模型的设计，如何实现性能最优，架构可扩展，服务可运维等

等等，凡是关系到数据库质量、效率、成本、安全等方面的工作，及涉及到的技术、组件，都在数据库工程师的技术范畴里。做好每一个技术方向都对履行数据库工程师职责起到积极的作用，对业务的发展发挥关键影响。

4.技术能力

数据库工程师以技术为基础，通过技术保障数据库提供更高质量的服务。数据库工程师工作的职责及在业务中的位置决定了数据库工程师需要具备更加广博的知识和深入的技术能力。在数据库环境的管理与维护中，技术任务可归结成许多不同的分类。下面列出了一名数据库工程师应掌握的一些技能:

1)理解数据备份/恢复与灾难恢复

恢复已损坏的数据库是每一个数据库工程师应掌握的最重要的技能。数据库工程师需要完全理解数据库所有可能的备份与恢复方法，以及不同备份方法与不同恢复策略的对应关系。此外，数据库工程师还需要与业务部门合作，一起确认业务需求，明确用户能够容忍的数据丢失底线。此外，业务用户还需要确定在系统故障情况下，他们的业务能够维持多长时间。理解这些需求可以帮助数据库工程师开发出一个满足业务用户要求的备份/恢复方法。一个优秀的数据库工程师要定期测试备份与恢复流程，保证他们有能力恢复业务数据，满足企业所规定的业务数据丢失与恢复要求。

2)工具集的使用

所谓工具集，指的是一组用于执行不同数据库工程师任务的脚本。这个工具集应该包含不同的小代码片段，它们可以快速诊断问题或执行一个特定的任务。这些工具脚本应该按数据库工程师的活动类型归类，如备份、索引维护、性能优化、容量管理等。由于总是会执行新任务、发现新问题或找到其他人开发的好用脚本，因此一个优秀的数据库工程师会不断地给这个工具集增加新脚本。此外，他还应该了解网上哪里能够找到一些免费的工具和脚本。一个好的数据库工程师知道什么时候可以利用其他人编写的脚本，从而节省自己的时间和改进自己的工具集。

3)知道如何快速寻找答案

数据库每天会面临各种各样故障的挑战，从硬件到网络，从性能压力到程序bug，数据库工程师都要从容应对，一一排除。即使是数据库大牛，也不可能是无所不知的，因此每个数据库工程师一方面需要不断修炼自己，积累操作系统、网络、硬件、存储系统、分布式计算等理论基础，另一方面还要有快速寻找新问题解决方法的能力。如果一个数据库实例不能按预期方式运转，那么快速寻找新问题的解决方法也是一个重要能力。一个好的数据库工程师知道如何快速地在网上查找一个未知问题的解决方法。此外，他们也可能已经知道了一些非常不错的网站，也知道业界专家会提供一些好建议，同时知道什么时候应该忽略一些不好的建议。你可能想象不到，确实有一些建议不值得参考。

4)如何监控和优化数据库性能

对于任何数据库产品，性能都尤其重要，它会直接影响产品的响应速度和用户体验。对于一个数据库工程师来说，性能优化一般需要占用50%的工作时间，因此数据库工程师需要知道如何监控和优化数据性能。

以SQL Server举例，性能是一个关键的问题，因此数据库工程师需要知道如何修复故障和监控性能问题。有许多第三方性能监控工具可以帮助数据库工程师优化性能。如果数据库工程师只使用第三方工具，而不会使用SQL Server自带的原生工具来监控性能，那么相信很快就会出现问题。虽然使用第三方工具来监控性能也很不错，但是数据库工程师一定要理解SQL自带的一些原生工具，如SQL Server Profiler、Database Engine Tuning Advisor、Dynamic Management Views、系统/扩展的存储过程、Extended Events等。许多第三方工具实际上在使用这些底层的原生工具。因此，理解这些自带的原生工具将有利于增强数据库工程师使用第三方工具的经验。

5)研究新版本

在技术领域中，没有什么是一成不变的。每隔两三年，主流数据库厂商都会发布一个大版本的更新。数据库工程师应该紧跟新版本所作的修改，它们可能有许多变化方法，最好的方法是迟早介入这个过程。测试版开放后马上下载和安装，尽快掌握第一手使用经验。一名好的数据库工程师总是走在学习排头兵，总是会第一时间安装和测试新版本。这样他们就可以尽早理解新特性，然后提出一些合理的新建议，帮助组织更好地利用新版本数据库。

6)理解代码最佳实践方法

数据库工程师应该了解如何编写高效的代码。有许多糟糕的编码实践方法会导致拙劣的性能。一名好的数据库工程师要能够理解和识别这些糟糕的编码实践方法，知道如何修改这些烂代码，让它们变成高效代码。此外，他们还要记录下写代码的最佳实践方法，并且将这些实践方法分享给其他人。

7)持续不断地学习

数据库及其组件涉及面非常广。数据库工程师很难理解一个技术的方方面面。数据库工程师需要持续学习如何管理数据库。这个学习过程有很多方法。其中之一就是参加正式培训。但是，并非人人都有这样充裕的时间和金钱，也并非人人都能够放下手头工作专门出去参加正式的培训。但是，还有许多其他方法可以获得培训，而且大多数还是免费的。一名好的数据库工程师一定要订阅一些定期发布数据库新技巧和新文章的社区网站。此外，他还应该加入一些用户组织，可以在周末参加一些当地的免费沙龙活动。

8)数据库安全性

安全性是一个热门话题。数据库工程师应该完全掌握如何实现数据库的安全访问。他们应该理解操作系统身份验证和数据库身份验证的区别，以及它们各自的使用场合。他们应该理解如何使用数据库角色来管理不同类型用户的安全配置。他们应该理解连接数据库的端口与协议。此外，他们还应该理解如何加密整个数据库，或者加密一个数据库中一个表的某一个字段，同时理解关于加密数据的各种问题。

9)数据库设计

决定数据库性能的一个关键问题是数据库设计。数据库工程师需要理解关于数据库设计的各个方面。他们要能够理解设计好坏的区别。他们需要理解为什么使用正确的外键约束、主键、检查约束和使用数据类型能够保持数据库的数据完整性和实现高效的数据查询与更新。

10)索引设计

数据库索引是提高应用程序检索和更新数据速度的重要环节。数据库工程师需要知道索引的工作原理。他们应该知道聚簇索引和非聚簇索引的区别，知道这些索引的物理存储方式。数据库工程师应该知道如何在执行计划中使用这些索引。他们应该理解如何找到索引的使用统计、理解索引碎片及如何发现丢失的索引。他们应该知道如何维护索引，以及索引统计信息对于查询引擎的重要作用。

11)容量监控与规划

数据库往往要使用大量的资源，包括CPU、内存、I/O及磁盘空间。数据库工程师应该理解如何监控数据库所需要的不同主机资源的用量。他们应该能够理解这些资源在不同时间的使用情况，以及利用历史使用数据来规划未来的容量需求。在监控过程中，数据库工程师应该能够预见到容量规划会在将来什么时候出现问题，然后采取必要的措施保持数据库不会因为容量限制而出现中断。

12)数据库许可证

不同的产品有许多不同的许可证授权方式。而且，同一款产品本身又有许多不同的版本。数据库工程师应该理解所负责的数据库版本的不同授权模式。他们应该能够提供指导如何通过合理购买授权来减少数据库总拥有成本，以及如何合理利用授权方法来降低未来版本的升级成本。

13)尽可能实现自动化

数据库工程师每天都需要执行许多的日常任务。其中一些任务需要每天执行，而另一些则每周、每月或每年执行。一名好的数据库工程师需要理解如何高效地安排自己的时间。其中一种方法是建立工作流程，这些日常任务的自动执行。通过实现日常任务的自动化执行，数据库工程师就可以用更多的时间去关注于数据库环境管理中遇到的严重问题。

你具备的特质越多，作为数据库工程师的你就越优秀。成为一名成功数据库工程师的关键是不断地学习与提高，努力去掌握更多关于如何管理和维护数据库环境的知识。

5.性格要求

很多时候管理人员都忽视了数据库工程师的个性特点，他们只关注数据库工程师的技术能力。实际上，上面谈到的每个职责都意味着:数据库工程师需要跟各种人员打交道，这些人员可能是销售商、用户、开发人员或者管理人员。这说明数据库工程师必须具有下面的个性特点:

• 自信心:足够的自信心能够帮助数据库工程师在重要紧急时刻果断下决定，而不是不知所措地看着事故发生
• 好奇心:几乎所有的数据库系统都在不停地更新，但并不是所有的更新都有技术文档，对于优秀的数据库工程师来说，好奇心是必须的。没有好奇心和求知欲的数据库工程师总是等待别人来告诉他们答案。
• 自我驱动:自我驱动对每个人都是很重要的，对数据库工程师尤其如此。数据库工程师要能想办法使问题出现，而不是等待问题的出现。自驱力强的数据库工程师常常设法取得或者自己写一些必要的脚本来监控包括数据表大小(Table Size)、表空间使用(Tablespace Usage)等项目，这些项目如果被忽视，他们将遇到麻烦。
• 坚韧的意志力和沉着的心态:数据库工程师常常会碰到棘手的问题。寻找答案是一个需要坚韧意志力、可以经受摔打的个性特点。同时面对紧急情况时要能处乱不惊，保持平和的心态冷静处理问题。
• 工作认真细致，勤于思考:注意细节的数据库工程师能够深入了解数据库的内核，并能理解视图、表之间的关系，这点非常重要
• 时间管理能力:数据库运维的工作非常繁琐，因此需要将碎片化的时间充分利用起来。
• 良好的沟通能力、具有团队合作精神:数据库工程师的工作需要跨部门、跨工种接触很多工程师，善于沟通、团队协作能够起到良好作用

6.等级

数据库工程师的等级并不是很严格的。按照对数据库的掌握情况，可以分成三个等级:初级Primary、中级Intermediate和高级Senior。

初级数据库工程师又称为DBBS，是英文Database Baby Sitter的缩写。初级数据库工程师常常是兼职的，他们往往同时是程序员或者兼任其他的工作。初级数据库工程师往往把个人简历写得很棒，参与了很多和数据库有关的项目或工作。但是，这些项目或者工作往往是:第三方软件供应商已经安装并配置了数据库，他们只做一些监控的工作。他们能处理一些简单的问题，但大多数时候他们向应用软件供应商求救。初级数据库工程师更喜欢图形化的数据库管理或者监控工具，他们喜欢Access这样的桌面数据库简单易用，并把这些小型数据库的经验简单地应用到大型数据库相关的工作中。

初级数据库工程师是最好区分的。而中级数据库工程师和高级数据库工程师就不太好区分。他们的差别在于经验的不同和个性特点、能力方面的差异。中级数据库工程师比较多，他们可以胜任高级数据库工程师的大部分工作，包括:

1)数据库安装;

2)数据库配置和管理;

3)权限设置和安全管理;

4)监控和性能调节;

5)备份和恢复;

6)解决一般的问题;

中级数据库工程师往往从业一年左右，熟悉某种操作系统环境下的数据库。因为对中级数据库工程师来讲，Windows NT和Unix是有很大差别的。中级数据库工程师对SQL比较熟悉，他们自己购买了几本数据库方面的书籍，并深入钻研。中级数据库工程师往往同时兼任数据库程序员，他们的工作对性能、稳定性、安全性的追求基本上不是很高，往往配合高级数据库工程师做一些例行工作。

高级数据库工程师在国内是非常少的。他们能够熟练阅读数据库方面的英文资料，并且都熟悉很多种操作平台下的几种大型数据库。他们知道各种不同数据库在不同环境下的优势和劣势，并能在数据库平台和数据库环境的选择方面做出决策。他们一般通晓系统架构和数据库设计，并能对数据库进行各种级别的优化。高级数据库工程师一般都配有助手，他们更偏向做决策和计划。高级数据库工程师往往在银行业、保险业、在线交易等对稳定性、安全性、性能都要求比较高的关键业务处理领域大显身手。

很多时候，是否取得数据库专家认证证书并不是很重要。很多数据库厂商的培训只要你去了都会获得证书。有很多的公司提供商业化的培训，他们的服务质量也有好有劣。所以证书并不是特别地有意义。

7.行业竞争力

1)薪酬竞争力

• 影响因素:经验和能力决定数据库工程师的等级，熟悉的数据库系统决定数据库工程师的领域，个性特点和潜力决定你的升值空间。
• 纵向对比:数据库工程师作为专项领域的高质量人才，薪酬竞争力较高，市场需求旺盛，尤其是中高阶数据库工程师，往往紧缺程度高于软件研发工程师。
• 第三方薪酬调查报告，仅供参考:

《2013年数据库工程师薪酬调查报告 》

《Database Administrator Salary 》

2)市场需求

• 数据库运维行业的市场价值:参考ITOM(IT Operation Management) 2013年的市场规模是190亿美金
• 人员需求:由于业务规模较大，中大型公司比较紧缺中高阶数据库工程师，而初创公司由于其新生的业务特点，比较紧缺初级和中级数据库工程师。

8.职业发展

数据库作为整个系统的一部分，它的表现直接受服务器、操作系统、存储、网络、应用程序中SQL语句的质量、数据库设计的质量、以及其它诸多因素的影响，这些因素加在一起非常复杂，经验起着非常重要的作用。因此一个好的数据库工程师除了知识作为基础，经验的多寡、见识的薄广，往往决定了是否合格与优秀。

优秀的数据库工程师不仅关心自己运维的数据库系统的原理和发展，而且紧跟业界数据库前沿技术，并关注数据库领域的顶级会议。其中包括国际著名的数据库三大会议SIGMOD、VLDB、ICDE，还有知名数据库公司Percona主办的Percona Live和Oracle主办的Open World，以及国内知名的数据库工程师盛会中国数据库技术大会(DTCC)等。

从另外一个角度说，数据库工程师工作领域对实践经验和独立工作能力要求较高，没有经过大量的动手实践是很难胜任数据库工程师相关工作的 。

正是由于上述原因，其职场现状是数据库工程师职位不易进入，而用人单位很难找到合适的从业人员，人员缺口非常大。

也正是由于上述原因，随着工作年限的增长，数据库工程师的经验在增加，就像医生一样，其价值会越来越高，可以逐步成长为资深数据库工程师、系统架构师、信息主管(CIO)等等，而不会出现许多软件开发从业人员在一定年龄后面临的转行问题。

另外，从职业前景看，从事数据库工程师有着更多的职场机遇 。一般而言，系统中的软硬件都是IBM、HP、Oracle等业界一流厂商提供的，在与厂商谈判、合作、测试、实施、维护、优化等等过程中，会产生许多极佳的职场机遇，这一点是从事开发工作很难比拟的。

从数据库工程师的工资统计数据看，随着工作经验的积累，数据库工程师工资的增长幅度会远大于其它的计算机方向。

从工作的稳定性上看，系统的复杂性和经验的重要性已经决定了数据库工程师职位的不可替代性。

从知识的积累、更新和替代角度看，数据库的根基始终没变，变的是不断增强的功能和不断扩展的应用范围。因此，在不同时期所学的知识和获得的经验是叠加和累积的关系，而不像IT许多其他职业方向那样"唯一不变的是变化"，其知识是东风压倒西风还是西风压倒东风的关系。

因此， 数据库工程师职业是一个高挑战和高回报的职业，有一定能力的和聪明的技术人员应该挑战自我，进入这个被二十多年事实不断证明的越来越有前景的职业 。