动态规划——五大常用算法之一

动态规划

1、基本概念:

动态规划就是:每走一步,都会根据之前的情况来决定这一步的走向,所以,这种多阶段最优化决策解决问题的过程就称为动态规划。

2、基本思想与策略:

与分治法类似,也是将待求解的问题分解为若干个子问题(阶段),按顺序求解子阶段,前一子问题的解,为后一子问题的求解提供了有用的信息。在求解任一子问题时,列出各种可能的局部解,通过决策保留那些有可能达到最优的局部解,丢弃其他局部解。依次解决各子问题,最后一个子问题就是初始问题的解。

由于动态规划解决的问题多数有重叠子问题这个特点,为减少重复计算,对每一个子问题只解一次,将其不同阶段的不同状态保存在一个二维数组中。

与分治法最大的差别是:适合于用动态规划法求解的问题,经分解后得到的子问题往往不是互相独立的(即下一个子阶段的求解是建立在上一个子阶段的解的基础上,进行进一步的求解)。

3、经典例题:

    这里我们用2个经典例题来解释到底什么是动态规划。

(1)爬楼梯算法:

     爬楼梯——动态规划(java

(2)0-1背包问题:

     0-1背包问题(动态规划)附例题详解

还有很多经典例题:打家劫舍,最大子序列和,买股票的最佳时机,单词拆分等等。

4、适用的情况: 

最优化原理:如果问题的最优解所包含的子问题的解也是最优的,就称该问题具有最优子结构,即满足最优化原理。

无后效性:即某阶段状态一旦确定,就不受这个状态以后决策的影响。也就是说,某状态以后的过程不会影响以前的状态,只与当前状态有关。

有重叠子问题:即子问题之间是不独立的,一个子问题在下一阶段决策中可能被多次使用到。(该性质并不是动态规划适用的必要条件,但是如果没有这条性质,动态规划算法同其他算法相比就不具备优势)

5、求解的基本步骤:

运用一维数组或者二维数组来保存前面的信息,下一步根据前面信息执行。

动态规划所处理的问题是一个多阶段决策问题,一般由初始状态开始,通过对中间阶段决策的选择,达到结束状态。这些决策形成了一个决策序列,同时确定了完成整个过程的一条活动路线(通常是求最优的活动路线)。如图所示。动态规划的设计都有着一定的模式,一般要经历以下几个步骤。

初始状态→│决策1│→│决策2│→…→│决策n│→结束状态

1划分阶段:

按照问题的时间或空间特征,比如背包问题:总容量5kg,一共有3件,那就划分为:只放从0-3件的情况下,放入0-5kg重的东西的最高价值。(具体解释看上面例题讲解)

2确定状态和状态变量:

将问题发展到各个阶段时所处于的各种客观情况用不同的状态表示出来。当然,状态的选择要满足无后效性。

3确定决策并写出状态转移方程:

因为决策和状态转移有着天然的联系,状态转移就是根据上一阶段的状态和决策来导出本阶段的状态。所以如果确定了决策,状态转移方程也就可写出。但事实上常常是反过来做,根据相邻两个阶段的状态之间的关系来确定决策方法和状态转移方程。

4寻找边界条件:

给出的状态转移方程是一个递推式,需要一个递推的终止条件或边界条件。 一般,只要解决问题的阶段、状态和状态转移决策确定了,就可以写出状态转移方程(包括边界条件)。

实际应用中可以按以下几个简化的步骤进行设计:

分析最优解的性质,并刻画其结构特征。

递归的定义最优解。

以自底向上或自顶向下记忆化方式(备忘录法)计算出最优值

根据计算最优值时得到的信息,构造问题的最优解

6、算法实现的说明:

动态规划的主要难点在于递推公式的设计,最后一个步骤,一旦递推公式出来了,实现部分就会非常简单。

使用动态规划求解问题,最重要的就是确定动态规划三要素

问题的阶段 每个阶段的状态

从前一个阶段转化到后一个阶段之间的递推关系(核心)。解决这个问题基本就解决了

递推关系必须是从次小的问题开始到较大的问题之间的转化,从这个角度来说,动态规划往往可以用递归程序来实现,不过因为递推可以充分利用前面保存的子问题的解来减少重复计算,所以对于大规模问题来说,有递归不可比拟的优势,这也是动态规划算法的核心之处

确定了动态规划的这三要素,整个求解过程就可以用一个最优决策表来描述,最优决策表是一个二维表,其中行表示决策的阶段,列表示问题状态,表格需要填写的数据一般对应此问题的在某个阶段某个状态下的最优值(如最短路径,最长公共子序列,最大价值等),填表的过程就是根据递推关系,从11列开始,以行或者列优先的顺序,依次填写表格,最后根据整个表格的数据通过简单的取舍或者运算求得问题的最优解。

f(n,m) = max{ f(n-1,m) , f(n-1,m-w[n]) + P(n,m) }

猜你喜欢

转载自blog.csdn.net/likunkun__/article/details/80724510