全部笔记的汇总贴(视频也有传送门):中科大-凸优化
例: h ~ \tilde h h~的单调性
g ( x ) = x 2 d o m g = R 凸 h ( z ) = 0 d o m h = [ 1 , 2 ] 凸 不 增 、 不 降 f = h ( g ( x ) ) = { 0 x ∈ [ − 2 , − 1 ] ∪ [ 1 , 2 ] 不 存 在 g(x)=x^2\;\;\;dom\;g=\R\;\;\;凸\\h(z)=0\;\;\;\;dom\;h=[1,2]\;\;凸\;\;不增、不降\\f=h(g(x))=\left\{ \begin{array}{l} 0\;\;\;\;x\in[-\sqrt{2},-1]\cup[1,\sqrt{2}]\\ \\不存在\end{array} \right. g(x)=x2domg=R凸h(z)=0domh=[1,2]凸不增、不降f=h(g(x))=⎩⎨⎧0x∈[−2,−1]∪[1,2]不存在
例:若 g g g为凸, g ≥ 0 , P ≥ 1 g\ge0,P\ge1 g≥0,P≥1,则 g P ( x ) g^P(x) gP(x)为凸
h ( z ) = z P d o m g = R + h ( z ) = { z P z ∈ R + 0 z ∈ R − − h(z)=z^P\;\;\;\;dom\;g=\R_+\;\;\;\;\;\;h(z)=\left\{ \begin{array}{l} z^P\;\;\;\;\;\;z\in \R_+\\ \\0\;\;\;\;\;\;\;\;z\in \R_{--}\end{array} \right. h(z)=zPdomg=R+h(z)=⎩⎨⎧zPz∈R+0z∈R−−
一、函数的共轭(Conjugate)
f : R n → R f ∗ : R n → R f:\R^n\rightarrow\R\;\;\;f^*:\R^n\rightarrow\R f:Rn→Rf∗:Rn→R
f ∗ ( y ) = sup x ∈ d o m f ( y T x − f ( x ) ) f^*(y)=\sup_{x\in dom\;f}(y^Tx-f(x)) f∗(y)=x∈domfsup(yTx−f(x))
- f ( x ) f(x) f(x)若可微,则 f ∗ ( y ) f^*(y) f∗(y)对应的 x x x必是 f ′ ( x ) = y f'(x)=y f′(x)=y的一点;( y − f ′ ( x ) = 0 y-f'(x)=0 y−f′(x)=0)
- 函数的共轭一定是凸函数
例
f ( x ) = a x + b , d o m f = R f ∗ ( y ) = sup x ∈ d o m f ( y x − ( a x + b ) ) = sup x ∈ d o m f ( ( y − a ) x − b ) = { − b y = a + ∞ y ≠ a f(x)=ax+b,dom\;f=\R\\f^*(y)=\sup_{x\in dom\;f}(yx-(ax+b))=\sup_{x\in dom\;f}((y-a)x-b)=\left\{ \begin{array}{l} -b\;\;\;\;\;\;y=a\\ \\+\infty\;\;\;\;y\neq a\end{array} \right. f(x)=ax+b,domf=Rf∗(y)=x∈domfsup(yx−(ax+b))=x∈domfsup((y−a)x−b)=⎩⎨⎧−by=a+∞y=a
例
f ( x ) = − log x d o m f = R + + f ∗ ( y ) = sup x > 0 ( y x + log x ) = { − 1 − log ( − y ) y < 0 + ∞ y ≥ 0 f ′ ( x ) = y ⇒ y + 1 x = 0 ⇒ x = − 1 y f(x)=-\log x\;\;\;dom\;f=\R_{++}\\f^*(y)=\sup_{x>0}(yx+\log x)=\left\{ \begin{array}{l} -1-\log (-y)\;\;\;\;\;\;y<0\\ \\+\infty\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;y\ge0\end{array} \right.\\f'(x)=y\Rightarrow y+\frac1x=0\Rightarrow x=-\frac1y f(x)=−logxdomf=R++f∗(y)=x>0sup(yx+logx)=⎩⎨⎧−1−log(−y)y<0+∞y≥0f′(x)=y⇒y+x1=0⇒x=−y1
例
f ( x ) = 1 2 X T Q X , Q ∈ S + + n , d o m f = R n f ∗ ( y ) = sup ( y T x − 1 2 X T Q X ) = y T Q − 1 y − 1 2 y T ( Q − 1 ) T Q Q − 1 y = 1 2 y T Q − 1 y ∂ ( y T x − 1 2 x T Q x ) ∂ x = y − Q x ⇒ x = Q − 1 y f(x)=\frac12X^TQX,Q\in S_{++}^n,dom\;f=\R^n\\f^*(y)=\sup(y^Tx-\frac12X^TQX)\\=y^TQ^{-1}y-\frac12y^T(Q^{-1})^TQQ^{-1}y\\=\frac12y^TQ^{-1}y\\\frac{\partial(y^Tx-\frac12x^TQx)}{\partial x}=y-Qx\Rightarrow x=Q^{-1}y f(x)=21XTQX,Q∈S++n,domf=Rnf∗(y)=sup(yTx−21XTQX)=yTQ−1y−21yT(Q−1)TQQ−1y=21yTQ−1y∂x∂(yTx−21xTQx)=y−Qx⇒x=Q−1y
( a + b j ) ∗ = ( a − b j ) ( a − b j ) ∗ = ( a + b j ) (a+bj)^*=(a-bj)\;\;\;\;\;\;\;\;(a-bj)^*=(a+bj) (a+bj)∗=(a−bj)(a−bj)∗=(a+bj)
f ∗ ∗ ≠ f f^{**}\neq f f∗∗=f(例如:若 f f f不是凸函数,就不成立)
若 f f f非凸, f ∗ ∗ ≠ f f^{**}\neq f f∗∗=f
若 f f f凸, f f f闭函数, f ∗ ∗ = f f^{**}=f f∗∗=f
下一章传送门:中科大-凸优化 笔记(lec18)-拟凸函数(上)