数据库总结第九章

第九章 关系查询处理和查询优化

9.1 关系数据库系统的查询处理

1. 本章内容： -p
   1. 关系数据库管理系统的查询处理步骤
   2. 查询优化的概念
   3. 基本方法和技术
   4. 查询优化分类 ：
   5. 代数优化：指关系代数表达式的优化
   6. 物理优化：指存取路径和底层操作算法的选择

查询处理步骤

1. 关系数据库管理系统查询处理阶段 ：

1. 查询分析

2. 查询检查

3. 查询优化

4. 查询执行  

实现查询操作的算法示例

1. 选择操作的实现
2. 连接操作的实现

1. 选择操作典型实现方法：

（1） 全表扫描方法 (Table Scan)

1. 1. 1. 对查询的基本表顺序扫描，逐一检查每个元组是否满足选择条件，把满足条件的元组作为结果输出
      2. 适合小表，不适合大表

（2）索引扫描方法 (Index Scan)

1. 1. 1. 适合于选择条件中的属性上有索引(例如B+树索引或Hash索引)
      2. 通过索引先找到满足条件的元组主码或元组指针，再通过元组指针直接在查询的基本表中找到元组
2. 全表扫描算法
   1. 假设可以使用的内存为M块，全表扫描算法思想：
      1. 按照物理次序读Student的M块到内存
      2. 检查内存的每个元组t，如果满足选择条件，则输出t
      3. 如果student还有其他块未被处理，重复①和②
3. 索引扫描算法

1. [例9.1-C2] SELECT *

                     FROM Student

                     WHERE    Sno='201215121'

1. 1. 假设Sno上有索引(或Sno是散列码)
   2. 算法：
      1. 使用索引(或散列)得到Sno为‘201215121’ 元组的指针
      2. 通过元组指针在Student表中检索到该学生
2. [例9.1-C3] SELECT *

                      FROM Student

                      WHERE    Sage>20

1. 1. 假设Sage 上有B+树索引
   2. 算法：
      1. 使用B+树索引找到Sage=20的索引项，以此为入口点在B+树的顺序集上得到Sage>20的所有元组指针
      2. 通过这些元组指针到student表中检索到所有年龄大于20的学生。
2. [例9.1-C4] SELECT *

                      FROM Student

                      WHERE Sdept='CS' AND Sage>20;

1. 1. 假设Sdept和Sage上都有索引
   2. 算法一：分别用Index Scan找到Sdept＝’CS’的一组元组指针和Sage>20的另一组元组指针
      1. 求这两组指针的交集
      2. 到Student表中检索
      3. 得到计算机系年龄大于20的学生
   3. 算法二：找到Sdept=’CS’的一组元组指针，
      1. 通过这些元组指针到Student表中检索
      2. 并对得到的元组检查另一些选择条件(如Sage>20)是否满足
      3. 把满足条件的元组作为结果输出。 
2. 连接操作是查询处理中最耗时的操作之一
3. 本节只讨论等值连接(或自然连接)最常用的实现算法

（1）嵌套循环算法(nested loop join)

（2）排序-合并算法(sort-merge join 或merge join)

（3）索引连接(index join)算法

（4）Hash Join算法

9.2 关系数据库系统的查询优化

1. 查询优化在关系数据库系统中有着非常重要的地位
2. 关系查询优化是影响关系数据库管理系统性能的关键因素
3. 由于关系表达式的语义级别很高，使关系系统可以从关系表达式中分析查询语义，提供了执行查询优化的可能性 

查询优化概述

1. 关系系统的查询优化
   1. 是关系数据库管理系统实现的关键技术又是关系系统的优点所在
   2. 减轻了用户选择存取路径的负担
2. 关系数据库管理系统通过某种代价模型计算出各种查询执行策略的执行代价，然后选取代价最小的执行方案
   1. 集中式数据库
      1. 执行开销主要包括
         1. 磁盘存取块数(I/O代价)
         2. 处理机时间(CPU代价)
         3. 查询的内存开销
      2. I/O代价是最主要的  
   2. 分布式数据库
      1. 总代价=I/O代价+CPU代价+内存代价＋通信代价
3. 查询优化的总目标
   1. 选择有效的策略
   2. 求得给定关系表达式的值
   3. 使得查询代价最小(实际上是较小)

9.3 代数优化

关系代数表达式等价变换规则

1. 代数优化策略：通过对关系代数表达式的等价变换来提高查询效率
2. 关系代数表达式的等价：指用相同的关系代替两个表达式中相应的关系所得到的结果是相同的
3. 两个关系表达式E1和E2是等价的，可记为E1≡E2 
4. 常用的等价变换规则：

1.连接、笛卡尔积交换律

       设E1和E2是关系代数表达式，F是连接运算的条件，则有

        E1  × E2≡E2  × E1

        E1      E2≡E2      E1

        E1      E2≡E2      E1

2.连接、笛卡尔积的结合律

      设E1，E2，E3是关系代数表达式，F1和F2是连接运算的条件

        (E1  × E2) × E3≡E1 × (E2 × E3)

        (E1      E2)      E3≡E1     (E2     E3)

        (E1      E2)      E3≡E1     (E2     E3)

3.投影的串接定律

                  (           (E))≡              (E)

1. 1. E是关系代数表达式
   2. Ai(i=1，2，…，n)，Bj(j=1，2，…，m)是属性名
   3. {A1，A2，…，An}构成{B1，B2，…，Bm}的子集

4.选择的串接定律

            (      (E ))≡             (E)

1. 1. E是关系代数表达式，F1、F2是选择条件
   2. 选择的串接律说明选择条件可以合并,这样一次就可检查全部条件

5.选择与投影操作的交换律

    σF(                (E))≡                  (σF(E))

1. 1. 选择条件F只涉及属性A1，…，An。
   2. 若F中有不属于A1，…，An的属性B1，…，Bm有更一般规则：

                   (σF(E ))≡              (σF (                            (E)))

6. 选择与笛卡尔积的交换律

1. 1. 如果F中涉及的属性都是E1中的属性，则

          σF(E1×E2)≡σF(E1)×E2

1. 1. 如果F=F1∧F2，并且F1只涉及E1中的属性，F2只涉及E2中的属性，则由上面的等价变换规则1，4，6可推出：

          σF(E1×E2)≡    (E1)×    (E2)

1. 1. 若F1只涉及E1中的属性，F2涉及E1和E2两者的属性，则仍有

          σF(E1×E2)≡       (      (E1)×E2)

             它使部分选择在笛卡尔积前先做。

7. 选择与并的分配律

        设E=E1∪E2，E1，E2有相同的属性名，则

      σF(E1∪E2)≡σF(E1)∪σF(E2)

8. 选择与差运算的分配律

        若E1与E2有相同的属性名，则

      σF(E1-E2)≡σF(E1)-σF(E2)

9. 选择对自然连接的分配律

    σF(E1     E2)≡σF(E1)    σF(E2)

F只涉及E1与E2的公共属性

10. 投影与笛卡尔积的分配律

         设E1和E2是两个关系表达式，A1，…，An是E1的属性，  

      B1，…，Bm是E2的属性，则

                          (E1×E2)≡            (E1)×             (E2)

11. 投影与并的分配律

         设E1和E2有相同的属性名，则

                        (E1∪E2)≡            (E1)∪            (E2)

查询树的启发式优化

1. 典型的启发式规则

（1）选择运算应尽可能先做

     在优化策略中这是最重要、最基本的一条。

（2）把投影运算和选择运算同时进行

如有若干投影和选择运算，并且它们都对同一个关系操作，则可以在扫描此关系的同时完成所有的这些运算以避免重复扫描关系。

（3） 把投影同其前或其后的双目运算结合起来，没有必要为了去掉某些字段而扫描一遍关系。

（4） 把某些选择同在它前面要执行的笛卡尔积结合起来成为一个连接运算，连接特别是等值连接运算要比同样关系上的笛卡尔积省很多时间。

（5） 找出公共子表达式

1. 1. 1. 如果这种重复出现的子表达式的结果不是很大的关系
      2. 并且从外存中读入这个关系比计算该子表达式的时间少得多
      3. 则先计算一次公共子表达式并把结果写入中间文件是合算的。
      4. 当查询的是视图时，定义视图的表达式就是公共子表达式的情况
2. 遵循这些启发式规则，应用9.3.1的等价变换公式来优化关系表达式的算法。

       算法：关系表达式的优化

       输入：一个关系表达式的查询树

       输出：优化的查询树

方法：

       （1）利用等价变换规则4把形如σF1∧F2∧…∧Fn(E)变换为

              σF1(σF2(…(σFn(E))…))。

       （2）对每一个选择，利用等价变换规则4～9尽可能把它

              移到树的叶端。

（3）对每一个投影利用等价变换规则3，5，10，11中的一般形式尽可能把它移向树的叶端。

1. 1. 注意：
      1. 等价变换规则3使一些投影消失或使一些投影出现
      2. 规则5把一个投影分裂为两个，其中一个有可能被移向树的叶端

    （4）利用等价变换规则3～5，把选择和投影的串接合并成单个选择、单个投影或一个选择后跟一个投影，使多个选择或投影能同时执行，或在一次扫描中全部完成

（5）把上述得到的语法树的内节点分组。

1. 1. 每一双目运算(×，  ，∪，-)和它所有的直接祖先为一组(这些直接祖先是(σ，π运算)。
   2. 如果其后代直到叶子全是单目运算，则也将它们并入该组
   3. 但当双目运算是笛卡尔积(×)，而且后面不是与它组成等值连接的选择时，则不能把选择与这个双目运算组成同一组

9.4 物理优化

1. 代数优化改变查询语句中操作的次序和组合，不涉及底层的存取路径
2. 对于一个查询语句有许多存取方案，它们的执行效率不同， 仅仅进行代数优化是不够的
3. 物理优化就是要选择高效合理的操作算法或存取路径，求得优化的查询计划
4. 物理优化方法
   1. 基于规则的启发式优化
      1. 启发式规则是指那些在大多数情况下都适用，但不是在每种情况下都是适用的规则。
   2. 基于代价估算的优化
      1. 优化器估算不同执行策略的代价，并选出具有最小代价的执行计划。
5. 物理优化方法（续）
   1. 两者结合的优化方法：
      1. 常常先使用启发式规则，选取若干较优的候选方案，减少代价估算的工作量
      2. 然后分别计算这些候选方案的执行代价，较快地选出最终的优化方案 
6. 基于启发式规则的存取路径选择优化
7. 1.选择操作的启发式规则
8. 2.连接操作的启发式规则

1.选择操作的启发式规则

1. 1. 对于小关系，使用全表顺序扫描，即使选择列上有索引
   2. 对于大关系，启发式规则有：

       （1）对于选择条件是“主码＝值”的查询

1. 1. 1. 查询结果最多是一个元组，可以选择主码索引
      2. 一般的关系数据库管理系统会自动建立主码索引

（2）对于选择条件是“非主属性＝值”的查询，并且选择列上有索引

1. 1. 1. 要估算查询结果的元组数目
      2. 如果比例较小(<10%)可以使用索引扫描方法
      3. 否则还是使用全表顺序扫描

（3）对于选择条件是属性上的非等值查询或者范围查询，并且选择列上有索引

1. 1. 要估算查询结果的元组数目
      1. 如果比例较小(<10%)可以使用索引扫描方法
      2. 否则还是使用全表顺序扫描

（4）对于用AND连接的合取选择条件

1. 1. 如果有涉及这些属性的组合索引
      1. 优先采用组合索引扫描方法
   2. 如果某些属性上有一般的索引，可以用索引扫描方法
      1. 通过分别查找满足每个条件的指针，求指针的交集
      2. 通过索引查找满足部分条件的元组，然后在扫描这些元组时判断是否满足剩余条件
   3. 其他情况：使用全表顺序扫描

（5）对于用OR连接的析取选择条件，一般使用全表顺序扫描

2.连接操作的启发式规则

  （1）如果2个表都已经按照连接属性排序

1. 1. 选用排序-合并算法

  （2）如果一个表在连接属性上有索引

1. 1. 选用索引连接算法

  （3）如果上面2个规则都不适用，其中一个表较小

1. 1. 选用Hash join算法

（4）可以选用嵌套循环方法，并选择其中较小的表，确切地讲是占用的块数(b)较少的表，作为外表(外循环的表) 。

    理由：

1. 1. 设连接表R与S分别占用的块数为Br与Bs
   2. 连接操作使用的内存缓冲区块数为K
   3. 分配K-1块给外表
   4. 如果R为外表，则嵌套循环法存取的块数为Br+BrBs/(K-1)
   5. 显然应该选块数小的表作为外表 

小 结

1. 查询处理是关系数据库管理系统的核心，查询优化技术是查询处理的关键技术
2. 本章主要内容
   1. 查询处理过程
   2. 查询优化
      1. 代数优化
      2. 物理优化
   3. 查询执行
3. 比较复杂的查询，尤其是涉及连接和嵌套的查询
   1. 不要把优化的任务全部放在关系数据库管理系统上
   2. 应该找出关系数据库管理系统的优化规律，以写出适合关系数据库管理系统自动优化的SQL语句
   3. 对于关系数据库管理系统不能优化的查询需要重写查询语句，进行手工调整以优化性能