小波变换的三种形式

0.产生科学史介绍

（本文主要节选在一本书。小波变换与图像处理，中国科学技术大学出版社，倪林编著。）
$\qquad$小波变换的思想来源于伸缩平移方法,小波概念的提出最早可追溯到20世纪初,1910年,Haar提出规范正交基的概念.1938年, Littlewood- Paley对 Fourier级数建立LーP理论,即按二进制频率成分分组.1965年, Galderon发现了再生公式,其离散形式已接近小波展开,只是无法得到组成一个正交系的结论.1981年,Stormberg对Haar系进行改进,证明了小波函数的存在性.1982年, Battle在构造量子场论中采用了类似于 Galderon再生公式的展开式.
$\qquad$小波的概念真正出现于1984年,法国地球物理学家在分析地震数据时,提出将地震波按一个函数的伸缩平移系
$\qquad\qquad \{ |a|^{-1/2} \varphi ({{x-b} \over a}) \mid a,b\in R,a\neq 0 \}$
展开.随后,他和A. Grossmann共同提出连续小波变换,从而将信号分解成不同的空间和尺度分量.1985年,Y. Meyer、A. Grossmann和I. Daubechies通过对连续小波变换的离散化提出了小波框架( frame)的概念,(框架对应的是离散化下的)但通过小波框架的离散化却得不到一组正交基.1986年,Y. Meyer在寻找同时在时频域都具有一定正则性的正交小波基时,却意外地发现具有一定衰减性的光滑函数 $\varphi$,使得
$\qquad\qquad \{2^{-j/2}\varphi(2^{-j}x-k) \mid j,k∈Z\}$
构成 $L^2(R)$的规范正交基,从而证明了小波正交系的存在性.随后, Lemarie和Battle分别独立地构造出具有指数衰减的小波函数.（至此，应该分割一下。）
$\qquad$ 1987年,S. Malat将计算机视觉中的多分辦率的概念引入到小波变换中,形成了小波变换的多分辨率分析的思想,在此基础上产生 Mallat快速小波变换算法,同时,多分辨率分析也为正交小波基的构造提供了一个统一的框架,1988年,I. Daubechies提出了紧支集正交小波基的构造方法,并于NSF/CBMS主办的小波专题研讨会上,作了著名的10次演讲,将小波的理论发展和实际应用推向一个高潮。
$\qquad$通过十多年的发展,小波変换的理论日臻完善,先后提出了小波包、第二代小波变换和多小波变换等小波变换理论.同时,小波变换的应用也深入到科学研究的各个领域,有效地解决了困扰人们多年的许多疑难问题另外,小波变换还被引入一些国际标准算法中(如JPEG2000).近几年来,基于小波变换的数字产品也不断出现(如指纹识别产品等).可见,小波变换的出现,给科学研究乃致人们的生活带来了深远的影响.并且,从某种程度上来说,它继 Fourier变换之后,为人们开辟了一个信号处理的新时代。
$\qquad$小波变换具有如此“神奇”的力量,那么,小波变换究竟是什么呢?从数学上来看,小波变换和 Fourier变换一样,就是一种数学变換.它之所以“神奇”,就是由于它特殊的变换核,这种变换核就是小波函数、小波函数是由一个小波“母函数”经过伸缩和平移而得到的一簇函数-图2.1(a)为墨西哥草帽小波母函数,(b)和©分别是对(a)的缩和伸的结果.若 $\varphi$(t)为小波母函数,则由其派生出的小波函数为
$\qquad\qquad \varphi_{a,b}(t)=|a|^{-1/2} \varphi ({{x-b} \over a}) \mid a,b\in R,a\neq 0$
图2.1(a)中,|a|=1;(b)中,|aI>1;©中,|al<1.值得一提的是,并非任何函数都可以成为小波母函数,小波母函数必须满足一定的条件.令
$\qquad\qquad C_\varphi=\int_{-\infty}^{+\infty}|\hat{\varphi}(\omega)|^2|\omega|^{-1}d\omega$
其中 $\hat{\varphi}(\omega)$为函数 $\varphi(t)$的 Fourier变换,则9()为小波母函数的必要条件为 $C_{\varphi}<+\infty$, $C_{\varphi}<+\infty$又叫做可容许( admissible)条件.可容许条件说明,当 $\omega=0$时， $\hat{\varphi}(\omega)$一定为0，（如果不为0的话，上面的这个容许条件一定就得不到满足，因为分母为0，分子有值的话，一定会是无穷大）即
$\qquad\qquad\hat{\varphi}(0)=\int_{t\in R}\varphi(t)e^{-i \omega t}dt \mid_{\omega=0}$
$\quad\quad\qquad\qquad=\int_{t \in R}\varphi(t)dt=0$
这说明函数 $\varphi(t)$必须要有一定的波动性。

1.连续小波变换

函数f()的连续小波变换可表示为
$\qquad W_f(a,b)=<f,\varphi_{a,b}>={1 \over |a|^{-1/2}} \int_{t \in R}f(t) \overline{\varphi({t-b \over a})}dt$
$\qquad f(t)={1 \over C_{\varphi}}\int_{a \in R}\int_{b \in R}W_f(a,b)\varphi_{a,b}(t){dadb \over a^2} \ \ (a \neq 0,f(t) \in L^2(R)$
可见,和 Fourier变换相比,由于采用实函数变换核,因而变换结果中没有虚部.另外个最重要的区别就是,小波具有“变焦”特性,在信号的短时高频部分,短支撑的小波函数起较大的作用,而在长时低频部分,长支撑的小波将起较大作用. 连续小波变换结果中,包含两个参数:a和b,其中,a为尺度因子,b为平移因子.a的大小决定了小波函数的支撑长度。实用中,往往用短支撑的小波析取信号的短时高频成分,而用长支撑的小波析取信号的长时低频成分。小波函数的尺度类似于 Fourier变换中的频率参数,在变换结果中,尺度越大说明频率越低,尺度越小则频率越高.参数b是小波窗的时间定位参数,它确定了在小波变换中,小波窗在时间轴上的位置,它使得变换结果中具有一定的时间信息.并且，在低频部分，具有较高的频率分辨率，但时间分辨率较低，这样在普通地方，就可以更快的分析。而在高频部分，频率分辨率较低，但有较高的时间分辨率，这样，在细节的地方就可以分析的更仔细。
$\qquad$和 Fourier变换类似,小波变换也可看作是由一系列的小波函数的线性组合而得到的对原始函数的通近.因此,求某个函数的小波变換,实际上就是求该线性组合表达式中各小波函数项的系数。每个系数的大小，反映出对应的小波函数在原始信号中能量的大小,该系数值实际上也正是运用求相关的方法,从原始函数中析取的。需要说明的是,由于连续小波变换的参数a和b是连续变化的,因此,要用计算机取得某个函数的小波变换,还要对该参数进行一定程度的离散化.

2.离散小波变换

$\qquad$连续小波变换的尺度和位移参数都是连续变化的,因此,这给连续小波变换的实际应用带来两个显著的缺陷.首先,由于连续性的要求,在连续小波变换的数值实现时,必须对尺度和平移参数采用非常小的离散化区间,这就给连续小波变换带来非常大的运算量,从而影响其实际应用.其次,对尺度和平移参数采用极小的量化区间,使得连续小波变换的表示具有很大的冗余度,这种冗余表示增加了数据量,不利于诸如数据压缩的实现。而离散小波变换则能克服上述缺陷,并且具有快速算法。
$\qquad$离散小波变换(DWT)的概念要追溯到1976年,那时, Crosser、 Esteban和Galand设计了一种分解离散时间信号的算法,同时, Crochiere、 Weber和 Flanagan在语音信号的编码中做了同样的工作,他们把这一工作叫做子带编码( subband coding).1983年,Burt提出了类似的概念一塔式编码( pyramidal coding),这就是后来的多分辨率分析.1989年, Vetterli和 Le Gall 对子带编码进行改进,去除了存在于塔式编码中的冗余度.与此同时,S. Mallat从计算机视觉研究的角度出发,提出了多分辨率分析(MRA)的概念,在此基础上提出了离散小波变换的快速算法。本节仅限于介绍离散小波变换的概念,对于MRA,我们将在后续章节作更详细的讨论。
$\qquad$所谓离散小波就是对连续小波的尽度和平移因子进行离散化,如令 $a_0$ >1和 $b_0$ >0,定义离散小波为
$\qquad\qquad\varphi_{m,n}(t)=a_0^{-m/2}\varphi(a_0^{-m}t-nb_0), \ \ \ \ m,n\in Z$
在实际应用中,希望 $\{\varphi_{m,n}(t)\}_{m,n \in Z}$能构成 $L^2(R)$的正交基,为了满足这一要求,除了需要选择适当的小波母函数 $\varphi(t)$外,还要选择适当的离散化方法,既要使得 $\{\varphi_{m,n}(t)\}_{m,n \in Z}$能完备地表示 $L^2(R)$中的任意函数,又要使得 $\{\varphi_{m,n}(t)\}_{m,n \in Z}$是一组正交基,即
$\int_{-\infty}^{+\infty}\varphi_{m,n}(t) \overline {\varphi_{m',n'}(t)}dt=\delta_{mm',nn'}=\left\{ \begin{aligned} 1& , & m=m',n=n' \\ 0& , & 其他. \end{aligned} \right.$以获得一种无冗余的表示.实用中,一般取 $a_0=2,b_0 =1$.之所以这样取尺度和平移参数,是因为除了使得离散小波满足上述完备、正交要求外,还要使得这种小波变换在实用中具有明确的物理意义,如倍频程分割方式适合人的视、听觉特性等。
$\qquad$离散小波变换由Mallat快速算法实现, Mallat算法就是采用小波滤波器对离散信号进行反复的低通和高通滤波过程,每次滤波得到一个低频分量和一个高频分量,再对低频分量分别进行高通和低通滤波,从而得到更大尺度上的高频和低频分量.因此,对一离散信号的离散小波变换,其结果应包含各个尺度上的高频分量和最大尺度上的低频分量。

3.多分辨率分析

$\qquad$ 1988年,S.Mallat从计算机视觉的角度提出了多分辨率分析的概念,多分辨率分析为正交小波基的构造提供了一个统一的框架.
$\qquad$ 多分辨率分析将平方可积函数空间照一定的关系分割为一系列嵌套的子空间，将整个平方可积函数空间中的小波基构造问题简化为其中的一个子空间中的基函数构造问题。
$\qquad$ 直接构造 $L^2(R)$ 的正交小波基,需要满足完备、正交的要求,这似乎不太容易.但我们可以对 $L^2(R)$ 进行适当的分解,使得分解的各个子空间满足一定的关系,再构造其中的一个子空间里的正交基,然后将该子空间里的正交基扩展到其他子空间,从而得到整个 $L^2(R)$ 空间里的正交基.可见, $L^2(R)$ 空间的分解方式是构造正交基的关键,多分辨率分析正是为这种小波基的构造提供了适当的 $L^2(R)$ 的分解方式.
$\qquad$ 设嵌套的 $L^2(R)$ 的子空间 $\{V_j\}_{j \in Z}$满足:
$\qquad$ (1) $\cdots \subset V_1 \subset V_0 \subset V_{-1} \subset \cdots$;
$\qquad$ (2) $clos_{L^2}(\cup_{j \in Z} V_j)=L^2(R)$;
$\qquad$ (3) $\cap_{j \in Z} V_j={0}$;
$\qquad$ (4) $V_{j-1}=V_j\oplus W_j(j \in Z)$;
$\qquad$ (5) $f(x)=V_j \Leftrightarrow f(2x)\in V_{j-1},f(x) \in V_j \Leftrightarrow f(x+{1 \over 2^j})\in V_j (j \in Z)$;
则称 $\{V_j\}_{j \in Z}$为 $L^2(R)$的一个多分辨率分析.其中 $V_j$和 $W_j$常分别称为尺度空间和小波空间, $W_j$为 $V_j$在 $V_{j-1}$中的正交补,并且 $W_i⊥W_j$;(i≠j), $W_j⊥V_j$; $V_j$可表示为
$\qquad V_j=\cdots \oplus W_{j+2} \oplus W_{j+1}$
而 $L^2(R)$可表示为 $W_j$的直和(direct sum)
$\qquad L^2(R)=\oplus _{j \in Z}W_j=\cdots \oplus W_{-1} \oplus W_0 \oplus W_1 \oplus \cdots$
相应地,对任意函数f(x)∈ $L^2(R)$,存在唯一的一种分解
$\qquad ∫(x)= \cdots +g_{-1}(x)+g_0(x)+g_1(x)+ \cdots$
其中 $g_j$(x)∈ $W_j$.

后记

关于这部分的知识，我前前后后看了好几遍，慢慢的才有点理解，数学公式好多，或者是好久没接触数学了，导致理解的巨慢，这里仅仅是将书本的知识抄写一遍，练习练习Latex的书写，注释的地方很少。我个人觉得至此，我知识仅仅可以接受这些知识，至于灵活掌握谈不上，如何将小波引入神经网络也还没想清楚，以及如何用到图像去噪里面也没想好。慢慢努力。