算法的复杂度——时间复杂度与空间复杂度

通常,对于一个给定的算法,我们要做 两项分析。第一是从数学上证明算法的正确性,这一步主要用到形式化证明的方法及相关推理模式,如循环不变式、数学归纳法等。而在证明算法是正确的基础上,第二步就是分析算法的时间复杂度。算法的时间复杂度反映了程序执行时间随输入规模增长而增长的量级,在很大程度上能很好反映出算法的优劣与否。因此,作为程序员,掌握基本的算法时间复杂度分析方法是很有必要的。
算法执行时间需通过依据该算法编制的程序在计算机上运行时所消耗的时间来度量。而度量一个程序的执行时间通常有两种方法。

一、事后统计的方法

这种方法可行,但不是一个好的方法。该方法有两个缺陷:一是要想对设计的算法的运行性能进行评测,必须先依据算法编制相应的程序并实际运行;二是所得时间的统计量依赖于计算机的硬件、软件等环境因素,有时容易掩盖算法本身的优势。

二、事前分析估算的方法

因事后统计方法更多的依赖于计算机的硬件、软件等环境因素,有时容易掩盖算法本身的优劣。因此人们常常采用事前分析估算的方法。

在编写程序前,依据统计方法对算法进行估算。一个用高级语言编写的程序在计算机上运行时所消耗的时间取决于下列因素:

(1). 算法采用的策略、方法
(2). 编译产生的代码质量
(3). 问题的输入规模
(4). 机器执行指令的速度。

一个算法是由控制结构(顺序、分支和循环3种)和原操作(指固有数据类型的操作)构成的,则算法时间取决于两者的综合效果。为了便于比较同一个问题的不同算法,通常的做法是,从算法中选取一种对于所研究的问题(或算法类型)来说是基本操作的原操作,以该基本操作的重复执行的次数作为算法的时间量度。

算法分析的分类:

算法存在最好、平均和最坏情况:

  • 最坏情况:任意输入规模的最大运行次数(上界)
  • 平均情况:任意输入规模的期望运行次数
  • 最好情况:任意输入规模的最小运行次数,通常最好的情况不会出现(下界)

例如:在一个长度为N的线性表中搜索一个数据x

  • 最坏情况:N次比较
  • 最好情况:1次比较
  • 平均情况:N/2次比较

在实际中通常关注的是算法的最坏运行情况,即:任意输入规模算法的最长运行时间,理由如下:

  1. 一个算法的最坏情况的运行时间是在任意输入下的运行时间上界
  2. 对于某些算法,最坏算法情况较为频繁
  3. 大体看,平均情况与最坏情况一样差

时间复杂度之大O渐进表示法

n称为问题的规模,当n不断变化时,时间频度T(n)也会不断变化。但有时我们想知道它变化时呈现什么规律。为此,我们引入时间复杂度概念。 一般情况下,算法中基本操作重复执行的次数是问题规模n的某个函数,用T(n)表示,若有某个辅助函数f(n),使得当n趋近于无穷大时,T(n)/f(n)的极限值为不等于零的常数,则称f(n)是T(n)的同数量级函数。记作T(n)=O(f(n)),称O(f(n)) 为算法的渐进时间复杂度,简称时间复杂度。

求解算法的时间复杂度的具体步骤是:

⑴ 找出算法中的基本语句;

  算法中执行次数最多的那条语句就是基本语句,通常是最内层循环的循环体。

⑵ 计算基本语句的执行次数的数量级;

  只需计算基本语句执行次数的数量级,这就意味着只要保证基本语句执行次数的函数中的最高次幂正确即可,可以忽略所有低次幂和最高次幂的系数。这样能够简化算法分析,并且使注意力集中在最重要的一点上:增长率。

⑶ 用大Ο记号表示算法的时间性能。

  将基本语句执行次数的数量级放入大Ο记号中。

如果算法中包含嵌套的循环,则基本语句通常是最内层的循环体,如果算法中包含并列的循环,则将并列循环的时间复杂度相加。例如:

for (i=1; i<=n; i++)  
       x++;  
for (i=1; i<=n; i++)  
     for (j=1; j<=n; j++)  
          x++;  

 第一个for循环的时间复杂度为Ο(n),第二个for循环的时间复杂度为Ο(n2),则整个算法的时间复杂度为Ο(n+n2)=Ο(n2)。
 

在计算算法时间复杂度时有以下几个简单的程序分析法则:

(1).对于一些简单的输入输出语句或赋值语句,近似认为需要O(1)时间

(2).对于顺序结构,需要依次执行一系列语句所用的时间可采用大O下”求和法则”

求和法则:是指若算法的2个部分时间复杂度分别为 T1(n)=O(f(n))和 T2(n)=O(g(n)),则 T1(n)+T2(n)=O(max(f(n), g(n)))

特别地,若T1(m)=O(f(m)), T2(n)=O(g(n)),则 T1(m)+T2(n)=O(f(m) + g(n))

(3).对于选择结构,如if语句,它的主要时间耗费是在执行then字句或else字句所用的时间,需注意的是检验条件也需要O(1)时间

(4).对于循环结构,循环语句的运行时间主要体现在多次迭代中执行循环体以及检验循环条件的时间耗费,一般可用大O下”乘法法则”

乘法法则: 是指若算法的2个部分时间复杂度分别为 T1(n)=O(f(n))和 T2(n)=O(g(n)),则 T1*T2=O(f(n)*g(n))

(5).对于复杂的算法,可以将它分成几个容易估算的部分,然后利用求和法则和乘法法则技术整个算法的时间复杂度

另外还有以下2个运算法则:(1) 若g(n)=O(f(n)),则O(f(n))+ O(g(n))= O(f(n));(2) O(Cf(n)) = O(f(n)),其中C是一个正常数

简单总结:
对于一般算法时间复杂度计算方法:

- 用常数1取代运行时间里的所有加法常数
- 在修改的运行次数函数中,只保留最高阶项
- 如果最高阶项存在且不为1,则去掉最高次项的系数

对于递归算法时间复杂度:

递归算法时间复杂度 = 递归总次数 * 每次递归次数

常见的算法时间复杂度由小到大依次为:Ο(1)<Ο(log2n)<Ο(n)<Ο(nlog2n)<Ο(n2)<Ο(n3)<…<Ο(2n)<Ο(n!)

算法复杂度常用术语
这里写图片描述
常见的时间复杂度进行示例说明:

(1)、O(1)

 Temp=i; i=j; j=temp;         

以上三条单个语句的频度均为1,该程序段的执行时间是一个与问题规模n无关的常数。算法的时间复杂度为常数阶,记作T(n)=O(1)。注意:如果算法的执行时间不随着问题规模n的增加而增长,即使算法中有上千条语句,其执行时间也不过是一个较大的常数。此类算法的时间复杂度是O(1)。

(2)、O(n2)

for (int n=0;n<10,n++)
        n++;
for (i=1; i<=n; i++)  
       x++;  
for (i=1; i<=n; i++)  
     for (j=1; j<=n; j++)  
          x++;

因为O(n2+10)=n2;(去掉常数项得到),所以T(n)= =O(n2)

(3)、O(n*m)

void Test(int m,int n)
{   
    int icount=0;
    for(inti=0;i<2*m;i++)
    {
        for(int j=0;j<n;++j)
        {
            icount++;
        }
    }
}

T(n)= =O(2*m*n)–>T(n)= =O(m*n)

(4)、O(n+m)

int icount=0;
for (int n=0;n<m,n++)
        icount++;
for (int i=0; i<n; i++)  
        icount++;  

T(n)=T1(m)+T2(n)=O(m+n))

(5)、求1+2+3+…+N之和

T(n)=O(递归总次数(N)*每次递归次数(1))=O(n)

(6)、求N的阶乘

这是一个递归程,可以看出每递归一次n的规模小一,所是结果是线性的:T(n)=O(n)

空间复杂度

一个算法的空间复杂度(Space Complexity)S(n)定义为该算法所耗费的存储空间,它也是问题规模n的函数。渐近空间复杂度也常常简称为空间复杂度。
空间复杂度(Space Complexity)是对一个算法在运行过程中临时占用存储空间大小的量度。一个算法在计算机存储器上所占用的存储空间,包括存储算法本身所占用的存储空间,算法的输入输出数据所占用的存储空间和算法在运行过程中临时占用的存储空间这三个方面。

一般情况下用O渐进表示法表示空间复杂度。

对于递归算法的空间复杂度 = 递归深度 * 每次递归次数

猜你喜欢

转载自blog.csdn.net/tanrui519521/article/details/80841797