大数据如何改变DBA工作模式

    技术支持团队通常是支持熟悉的软硬件配置。在操作系统和数据库管理软件上特定组合的专业化是很常见的，而且这也允许某些团队成员在一家企业的IT环境中获得极为有价值的深层经验。 大数据是如何改变这种模式的呢？ 数据库支持团队    技术支持团队的目标之一就是要与管理层协作来把他们的工作区分出优先次序。管理层提出战略规划，团队将之转化为所需时间和资源的可估计任务，然后他们共同协作来执行这些任务。    这些任务分为三类：    1.“常规类型”     2.项目相关型     3. 自行决定型     第一类通常是典型的被动任务，它们有一个标准的或固定的周期和操作。这些包括频繁数据库备份，软件升级，参加例会，填写状态报表，完成文档等等。    项目相关的任务也是典型的被动类型，而且对应的工作包括为一个已定义项目配套的技术规范。举例如：设计并创建新的数据库和表;从一个数据库向另一个数据库拷贝数据;检查程序逻辑和SQL;以及在应用程序测试期间对性能进行监控。      最后一类通常是积极型的工作，包括磁盘和CPU容量规划，设计和执行显示趋势的异常报表，分析数据库和SQL以发现性能调优方面的问题。 用大数据来支持数据库    大数据应用程序通常包括：    1. 一个或更多的需要进行存储和分析的大型数据源;     2.一个针对数据存储和高速访问软硬件混合的解决方案（设备）;     3.专用数据分析软件。     为了支持一个或更多的数据应用程序，DBA团队需要技术环境的专业知识，这包括：    1. 大型数据源的业务应用案例;     2.设备的安装，配置和监控;     3.支持对专业分析查询进行性能调优的工具。     这对于DB支持团队来说是新的专业知识。起初可能少数专家会了解这些知识，或是必须参加专门的培训课程。最终，大多数团队必须接受培训并在管理和控制大数据环境上积累丰富的经验。 大数据和DB团队操作    DBA经理仍然对团队提出了战略规划，并且这些规划现在包括设计和实施大数据解决方案。涉及这一支持的任务会跨越所有三个任务类别，尽管这在一开始可能并不明显。    团队现在必须使用新知识通过他们当前的软硬件条件为新的大数据应用程序制定战术规划和任务。这将会有多套与大数据相关的常规任务，但是它们与标准比起来相差迥异。其中有些任务如下：      数据库备份。一般来说，大数据文件是很大的!文件如此之大，执行数据库备份可能并不可行。可能没有足够的磁盘和磁带存储可以装下这些备份，媒质的成本可能会很高，而且执行备份流程很可能会很耗时。    软件升级。大多数软件升级要求在升级期间不能运行软件。这对于一个大型应用程序解决方案来说可能困难重重，因为它们对企业来说通常是非常重要的。大数据架构（磁盘存储，专业软硬件等等。）是昂贵的，而且企业只有在具有投资回报可能性的时候才会实施。    数据拷贝。典型的大数据设备通常会实施所有权数据存储和访问方法。出于性能和数据管理的原因，DBA团队会在数据库管理系统和专业设备上实施大数据存储。从战术上讲，这会转换为同时加载进DB2表和设备的数据。    容量规划。大数据设备相对较新，而且包含存储媒质，CPU，以及高级数据访问通道。DBA团队现在必须意识到如何利用这些资源，监控利用率，以及汇报资源利用趋势。他们会负责选择性能调优和硬件升级的混合方案来取悦企业。 大数据管理的趋势    管理层会看到这样的情况，即随时间的推移DBA团队的知识和技能在他们处理大数据支持的过程中进行传承。而大多数的传承是在多面手和专家间进行的。    多面手通常是新手，或者是尚未掌握专业技能的DBA。对于多面手来说，最适合他们的工作就是由标准流程定义好的那些工作。这主要包括：    1. 开发并维护数据库备份和恢复流程;     2.开发基于DBMS的程序以协助调优，例如用来收集数据分布统计信息的脚本;     3.实现正常和异常报表的自动化，例如资源容量使用情况。     最后一项（自动化）是值得进一步探讨的。自动化的优势不仅仅是速度;将工作自动化可以帮助DBA远离诸如报表和分析之类的被动任务而专注于更加积极的工作。    以下是一个典型的流程列表，很多DBA仍然手工操作，而它其实是可以由一个自动化报表或数据收集流程取代的：    1. 为SQL访问路径分析执行一个EXPLAIN流程     2. 收集诸如System Management Facility（系统管理工具SMF）会计和统计报表质量的性能报表     3. 验证新表拥有遵循标准惯例并与企业数据模型和数据字典兼容的名字和属性列     4. 验证对生产数据的访问是通过正确的授权GRANT予以妥善控制的     5. 监视应用程序线程活动以防止死锁和超时     6. 检查控制台日志和DB2地址空间日志以发现错误消息和潜在问题     大数据专家    大数据为获取和使用专业知识提供了充足的机会。如前所述，以下方面的技能为DBA团队提供了非常强大的支持足以对业务产生积极的影响：    业务用例。对于一个数据建模师来说，首要的是要理解如何使用数据。对大数据DBA来说同样如此。陈旧的数据会被存档还是清除呢？最重要的数据访问会被限制在特定时间段内么？某些数据元素子集是注定被分析最多的么？这些问题的答案会帮助DBA决定数据分区方案，数据库备份频率，表和索引设计等等。    设备管理。虽然大多数设备供应商会倾向于提供钥匙解决方案，但DBA团队仍然有进行监控和调优的责任。如果没有什么可配置和调优，企业还会和供应商继续合作么？未来会看到可调优设备，并且DBA必须时刻跟上行业趋势。可以确定的是你所在的企业需要大数据解决方案在短期内是不会消失的。    分析查询调优工具。大数据应用程序的宣传掩盖了这样一个基本事实：如果一家企业不能及时获得可用数据，那么解决方案的成本会超出收益。大多数供应商的解决方案包括承诺（或预测）以极快的速度运行查询。虽然现在是这样，但是将来也会如此么？如果你实施了多个非常大的额外数据存储呢？如果你开始积累多年的历史数据用于分析呢？如果数百（或数千）额外用户开始运行又新，有长且复杂的查询呢？DBA在这种环境下对查询进行调优就是不可或缺的了。 总结    虽然在DBA团队中有很多类型和层次的专家，对大数据应用程序的支持会改变他们的工作，优先级，以及管理方式。起初可能只是少数专家拥有必要的知识和技能;但是随着企业实施更多的应用程序并加入更多的用户，那么整个团队就必然会参与到对大数据的支持中来。