多元分析

多元分析是多变量的统计分析方法，是数理统计的一个分支。

1. 聚类分析

聚类分析又称群分析，是对多个样本或指标进行定量分类的一种多元统计分析方法。对样本进行分类称为Q型聚类分析，对指标进行分类称为R型聚类分析。

1.1 Q型聚类分析
1.1.1 样本相似性度量
对一群有待分类的样本点需用p个变量描述，每个样本点可以看成是${\mathbf{R}}^p$空间中的一个点，用距离来度量样本点间的相似度。
在聚类分析中，对于定量变量，最常用的是闵氏距离，即$$d_q(\mathbf{x},\mathbf{y})=[\sum _{k=1}^p|x_k-y_k{|}^q{]}^{\frac{1}{q}},q>0$$当$q=1,2$或$q\to +\infty$时，分别得到：

1. 绝对值距离：$d_1(\mathbf{x},\mathbf{y})={\sum }_{k=1}^p|x_k-y_k|$
2. 欧几里得距离：$d_2(\mathbf{x},\mathbf{y})=[{\sum }_{k=1}^p|x_k-y_k{|}^2{]}^{\frac{1}{2}}$
3. 切比雪夫距离：$d_{\infty }(\mathbf{x},\mathbf{y})=\underset{1⩽k⩽p}{\max }|x_k-y_k|$

在闵氏距离中，最常用的是欧式距离，其主要优点是当坐标轴进行正交旋转时，欧式距离保持不变。
在使用闵氏距离时，一定要采用相同量纲的变量，还应尽可能地避免变量的多重相关性，否则会片面强调某些变量的重要性。由于闵氏距离的这些缺点，一种改进为马氏距离$$d(\mathbf{x},\mathbf{y})=\sqrt{(\mathbf{x}-\mathbf{y}{)}^{\mathbf{T}}{\mathbf{\Sigma }}^{\mathbf{T}}(\mathbf{x}-\mathbf{y})}$$式中$\mathbf{x},\mathbf{y}$为来自p维总体Z的样本观测值，$\mathbf{\Sigma }$为Z的协方差矩阵，在实际中$\mathbf{\Sigma }$往往未知，需要样本协方差来估计。马氏距离对一切线性变换是不变的，故不受量纲的影响。

1.1.2 类与类的相似性度量
如果有两个样本$G_1$和$G_2$，可以用如下方法度量他们之间的距离

1. 最短距离法： D ( G 1 , G 2 ) = m i n x i ∈ G 1 , y j ∈ G 2 { d ( x i , y j ) } D(G_1,G_2)=\mathop{min}\limits_{x_i\in G_1,y_j\in G_2}\left\{d(\bm{x_i,y_j}) \right\} D(G1​,G2​)=xi​∈G1​,yj​∈G2​min​{ d(xi​,yj​)}，直观意义为两个类中最近两点的距离
2. 最长距离法： D ( G 1 , G 2 ) = m a x x i ∈ G 1 , y j ∈ G 2 { d ( x i , y j ) } D(G_1,G_2)=\mathop{max}\limits_{x_i\in G_1,y_j\in G_2}\left\{d(\bm{x_i,y_j}) \right\} D(G1​,G2​)=xi​∈G1​,yj​∈G2​max​{ d(xi​,yj​)}，直观意义为两个类中最远两点的距离
3. 重心法：$D(G_1,G_2)=d(\bar{\mathbf{x}},\bar{\mathbf{y}})$，式中$\bar{\mathbf{x}},\bar{\mathbf{y}}$分别为$G_1,G_2$的重心
4. 类平均法：$D(G_1,G_2)=\frac{1}{n_1{n}_2}\sum _{x_i\in G_1}\sum _{x_j\in G_2}d({\mathbf{x}}_{\mathbf{i}},{\mathbf{x}}_{\mathbf{j}})$，它等于$G_1,G_2$中两样本点距离的平均，$n_1,n_2$分别为$G_1,G_2$中样本点的个数
5. 离差平方和法：$D(G_1,G_2)=D_{12}-D_1-D_2$，其中$D_{12},D_1,D_2$分别为$G_1\cup G_2,G_1,G_2$的离差平方和，离差平方和为方差的n倍，n为样本数

1.1.3 聚类图
Q型聚类结果可由聚类图展示出来，根据给定的阈值距离，可将点分为不同聚类

聚类图生成步骤：

1. 计算n个样本点两两之间的距离$d_{ij}$，记为矩阵$\mathbf{D}=(d_{ij}{)}_{n\times n}$
2. 首先构造n个类，每个类中只包含一个样本点，每一类的平台高度均为0
3. 合并距离最近的两类为新类，并且以这两类间的距离值作为聚类图中的平台高度
4. 计算新类与当前各类的距离，若类的个数已经等于1，转入步骤5，否则回到步骤3
5. 画聚类图
6. 决定类的个数和类

y=pdist(a,'cityblock')		%a为m*n矩阵，m为数据个数，n为数据维度，求a的两两行向量间的绝对值距离
							%函数输入第二项可指定距离计算方法，输出y为行向量
yc=squareform(y)		%将向量y变换成距离方阵（对称方阵）
z=linkage(y,'method')		%生成等级聚类树，输入第二项指定类的相似性度量方法，y为pdist输出的行向量，z为(m-1)*3的矩阵
%z中第1列和第2列包含了被两两连接生成一个新类的所有对象的索引，第3列包含了相应的在类中的两两对象间的连接距离
dendrogram(z)		由linkage产生的数据矩阵z画聚类图，p为节点数，默认30
T=cluster(z,'maxclust',3)	%把对象分成3类，返回值T为长m列向量，表示每个数据所在的类别

1.2 R型聚类法
1.2.1 变量相似性度量：常用的有两种

1. 相关系数：用两变量${\mathbf{x}}_{\mathbf{j}}$与${\mathbf{x}}_{\mathbf{k}}$的样本相关系数作为他们的相似性度量
2. 夹角余弦：用两变量${\mathbf{x}}_{\mathbf{j}}$与${\mathbf{x}}_{\mathbf{k}}$的样本夹角余弦作为他们的相似性度量

1.2.2 类与类的相似性度量：与Q型聚类法类似，常用有最长距离法、最短距离法等

b=zscore(a)		%数据标准化，矩阵a为m*n矩阵，m为数据个数，n为数据维度
r=corrcoef(b)	%计算相关系数矩阵

用聚类进行数据分析时，先用R型聚类法从变量中所有变量中选取几个有代表性的变量（剔除相关性较强的变量），再对所选取的变量的取值进行Q型聚类分析，得到所有数据的聚类情况。

1.3 动态聚类法
上述先将样品各自作为一类，重复将最近的两类合并，直至所有样品合并为一类的方法称为系统聚类法。
先选择一个初始的分类和一批凝聚点，让样品按某种原则向凝聚点凝聚，对凝聚点不断地修改迭代，直至分类合理或迭代稳定，该方法称为动态聚类法。动态凝聚法中最常用的为k均值法（k-mean）。

2. 主成分分析

2.1 基本思想及方法
主成分分析将许多相关性很高的变量转化成彼此相互独立或不相关的变量，并用以解释资料的综合性指标。
设$X_1,X_2,\cdots ,X_p$表示以$x_1,x_2,\cdots ,x_p$为样本观测值的随机变量，若能找到$c_1,c_2,\cdots ,c_p$，使得$$Var(c_1{X}_1+c_2{X}_2+\cdots +c_p{X}_p)s.t.c_1^2+c_2^2+\cdots +c_p^2=1$$的值达到最大，由于方差反映了数据差异的程度，也就表明我们抓住了这p个变量的最大变异。此时得到的解是p维空间的一个单位向量，代表一个主成分方向。
一个主成分不足以代表原来的p个变量，因此需要寻找多个主成分，而每个主成分之间不应该包含相互之间的信息，统计上描述为两个主成分间的协方差为0，几何上描述为两个主成分的方向正交。
注意事项：

1. 主成分分析的结果受量纲的影响，实际中应先把各变量的数据标准化，再用协方差矩阵或相关系数矩阵进行分析。
2. 使方差达到最大的主成分分析不用转轴（区别于因子分析）。
3. 主成分的保留：用相关系数求主成分时，主张将特征值小于1的主成分放弃（也是SPSS的默认值）。
4. 由于主成分的目的是降维，实际分析中一般选取少量主成分（不超过5个或6个），只要它们能解释变异的70%~80%（累积贡献率）即可。

2.2 特征值因子的筛选
设有p个指标变量$x_1,x_2,\cdots ,x_p$，在第i次试验中的取值为$a_{i1},a_{i2},\cdots ,a_{ip},i=1,2,\cdots ,n$，将它们写成矩阵形式为$$\mathbf{A}=\left[\begin{array}{cccc}{a}_{11}& a_{12}& \cdots & a_{1p}\\ a_{21}& a_{22}& \cdots & a_{2p}\\ ⋮& ⋮& \ddots & ⋮\\ a_{n1}& a_{n2}& \cdots & a_{np}\end{array}\right]$$矩阵$\mathbf{A}$称为设计阵，将${\mathbf{A}}^{\mathbf{T}}\mathbf{A}$的特征值按从大到小的次序排列，取前面的特征值使所取特征值所占比重超过85%，每个特征值所对应的特征向量即为一个主成分方向。
注：使用${\tilde{x}}_i=(x_i-{\mu }_i)/{\sigma }_i$对数据进行标准化后，得到的矩阵为$\tilde{\mathbf{A}}$，此时矩阵$\mathbf{R}={\tilde{\mathbf{A}}}^{\mathbf{T}}\tilde{\mathbf{A}}/(n-1)$即为相关系数矩阵。
单纯考虑累积贡献率有时是不够的的，还需要考虑选择的主成分对原始变量的贡献值，用相关系数的平方和来辨识，若选取的主成分为$z_1,z_2,\cdots ,z_r$，则它们对原变量$x_i$的贡献值为${\rho }_i={\sum }_{j=1}^r{r}^2(z_j,x_i)$，式中$r(z_j,x_i)$为$z_j$和$x_i$的相关系数。

2.3 主成分回归分析
主成分回归分析是为了克服最小二乘估计在数据矩阵$\mathbf{A}$存在多重共线性时表现出的不稳定性。
主成回归分析将原本的回归自变量变换到另一组变量，即主成分，然后用最小二乘法对选取主成分后的模型参数进行估计，最后再变换回原来的模型求出参数的估计。

hg1=[ones(m,1),x0]\y0		%计算最小二乘法回归系数
%"\":反斜线符号，矩阵左除。对可逆矩阵而言，右除代表对右边矩阵取逆，左除代表对左边矩阵取逆A\B=inv(A)*B，但是算法不同。
%对X=A\B如果A是m*n的矩阵，那么X就是AX=B的最小二乘解
r=corrcoef(x0)		%计算相关系数矩阵，行数为数据个数，列数为变量个数
xd=zscore(x0); yd=zscore(y0);	%对设计矩阵和y0进行标准化处理
[vec1,lamda,rate]=pcacov(r)		%主成分分析，vec1为r的特征向量，lamda为r的特征值，rate为各个主成分的贡献率
f=repmat(sign(sum(vec1)),size(vec1,1),1)		%构造与vec1同维数的元素为±1的矩阵
vec2=vec1.*f		%修改特征向量的正负号，使得特征向量的所有分量和为正
%上述两步保证了所有特征向量的分量和为正，这对回归分析而言并没有作用，但对评价每个数据的得分是必要的
hg21=df(:,[1:num])\yd		%计算主成分变量的回归系数。这里由于数据标准化，回归方程的常数项为0
hg22=vec2(:,1:num)*hg21		%计算标准化变量的回归方程系数
hg23=[mean(y0)-std(y0)*mean(x0)./std(x0)*hg22, std(y0)*hg22'./std(x0)]	%计算原始变量回归方程的系数

2.4 利用主成分分析对每个样本进行评价的步骤

1. 数据标准化：$X\to X_0\in n\times m$，其中$X$为原数据矩阵，$X_0$为标准化后的数据矩阵，n为数据个数，m为变量个数
2. 计算相关系数矩阵：$R\in m\times m$，其中$R$为相关系数矩阵
3. 主成分分析：$\eta \in m\times m,\lambda \in m,rate\in m$，其中$\eta$为特征向量矩阵，每列代表一个特征向量，$\lambda$为特征值，rate为各主成分的贡献率
4. 将所有特征向量的分量和改为正：$\eta \to {\eta }^{+}\in m\times m$，由于特征向量的特性，在特征向量上加正负号结果都正确，但是若要根据该特征向量对每个数据（标准化后的数据）进行打分，则需要使特征向量的所有分量和为正打分才有意义
5. 选取主成分个数：${\eta }^{+}\to {\eta }_p^{+}\in m\times p$
6. 计算所有数据在各主成分上的得分：$s=X_0\ast {\eta }_p^{+}\in n\times p$
7. 计算所有数据的综合得分：$S=sum(s,1)\in n$，根据该得分可以对所有数据进行排名从而分析结果

3. 因子分析

因子分析通过研究众多变量之间的内部依赖关系，探求观测数据中的基本结构，用少数几个假想变量来表示其基本数据结构。这几个假想变量能够反映原来众多变量的主要信息，原始的变量时可观测的显在变量，而假想变量是不可观测的潜在变量，称为因子。
因子分析可看成主成分分析的推广，也是一种降维方式，与PCA的差别在于：

1. PCA把方差划分为不同的正交成分，而因子分析则把方差划分为不同的起因因子。
2. PCA仅是变量变换，而因子分析需要构造因子模型。
3. PCA中原始变量的线性组合表示新的综合变量，即主成分。因子分析中潜在的假想变量和随机影响变量的线性组合表示原始变量。

3.1 因子分析模型
3.1.1 数学模型
设p个变量$X_i(i=1,2,\cdots ,p)$可以表示为$$X_i={\mu }_i+{\alpha }_{i1}{F}_1+\cdots +{\alpha }_{im}{F}_m+{\epsilon }_i,m⩽p$$或$$\mathbf{X}-\mathbf{\mu }=\mathbf{\Lambda }\mathbf{F}+\mathbf{\epsilon }$$其中$\mathbf{X}\in p\times 1,\mathbf{\mu }\in p\times 1,\mathbf{\Lambda }\in p\times m,\mathbf{F}\in m\times 1,\mathbf{\epsilon }\in p\times 1$，称$F_1,F_2,\cdots ,F_m$为公共因子，是不可观测的变量，它们的系数称为载荷因子，${\epsilon }_i$为特殊因子，是不能被前m个公共因子包含的部分。且满足$$E(\mathbf{F})=0,E(\mathbf{\epsilon })=0,\mathrm{Cov}(\mathbf{F})={\mathbf{I}}_m,D(\mathbf{\epsilon })=\mathrm{Cov}(\mathbf{\epsilon })=\mathrm{diag}\left({\sigma }_1^2,{\sigma }_2^2,\cdots ,{\sigma }_p^2\right),\mathrm{Cov}(\mathbf{F},\mathbf{\epsilon })=0$$该模型与回归模型在形式上很相似，但因子分析中的因子是抽象的概念，而回归变量有明确的实际意义。因子分析的首要任务就是估计因子载荷${\alpha }_{ij}$和方差${\sigma }_i$，然后给因子$F_i$一个合理的解释，若难以进行合理的解释，则需要进一步作因子旋转，希望旋转后能发现比较合理的解释。

3.1.2 因子分析模型的性质

1. 原始变量$\mathbf{X}$的协方差矩阵的分解。由$\mathbf{X}-\mathbf{\mu }=\mathbf{\Lambda }\mathbf{F}+\mathbf{\epsilon }$，得$\mathrm{Cov}(\mathbf{X}-\mathbf{\mu })=\mathbf{\Lambda }\mathrm{Cov}(\mathbf{F}){\mathbf{\Lambda }}^{\mathbf{T}}+\mathrm{Cov}(\mathbf{\epsilon })$，即$$\mathrm{Cov}(\mathbf{X}-\mathbf{\mu })=\mathbf{\Lambda }{\mathbf{\Lambda }}^{\mathbf{T}}+\mathrm{diag}\left({\sigma }_1^2,{\sigma }_2^2,\cdots ,{\sigma }_p^2\right)$$${\sigma }_1^2,{\sigma }_2^2,\cdots ,{\sigma }_p^2$的值越小，则公共因子共享的成分越多。
2. 载荷矩阵不是唯一的。设$\mathbf{T}$为一个$p\times p$的正交矩阵，令$\tilde{\mathbf{\Lambda }}=\mathbf{\Lambda }\mathbf{T},\tilde{\mathbf{F}}={\mathbf{T}}^{\mathbf{T}}\mathbf{F}$，则模型可以表示为$$\mathbf{X}=\mathbf{\mu }+\tilde{\mathbf{\Lambda }}\tilde{\mathbf{F}}+\mathbf{\epsilon }$$

3.1.3 因子载荷矩阵中的几个统计性质

1. 因子载荷${\alpha }_{ij}$的统计意义：因子载荷${\alpha }_{ij}$是第i个变量和第j个公共因子的相关系数，反映了第i个变量和第j个公共因子的相关重要性。绝对值越大，相关的密切程度越高。
2. 变量共同度的统计意义：变量$X_i$的共同度是因子载荷矩阵第i行的元素的平方和，记为$h_i^2={\sum }_{j=1}^m{\alpha }_{ij}^2$，对原模型的公式的两边求方差，得$$1=\sum _{j=1}^m{\alpha }_{ij}^2+{\sigma }_i^2$$式中，特殊因子的方差${\sigma }_i^2(i=1,2,\cdots ,p)$称为特殊方差。可以看出所有的公共因子和特殊因子对变量$X_i$的贡献为1。若${\sum }_{j=1}^m{\alpha }_{ij}^2$非常接近1，${\sigma }_i^2$非常小，则因子分析的效果好，从原变量空间到公共因子空间的转化效果好。
3. 公共因子$F_i$方差贡献的统计意义：因子载荷矩阵中各列元素的平方和$$S_j=\sum _{i=1}^p{\alpha }_{ij}^2$$称为$F_j(j=1,2,\cdots .m)$对所有的$X_i$的方差贡献和（可解释方差），用于衡量$F_j$的相对重要性。列元素的平方和除以变量总个数可得到该公共因子的贡献率，用PCA法算出的贡献率总和为1，用主因子法和最大似然法算得的总贡献率小于1。

3.2 因子载荷矩阵的估计方法
因子分析的一个基本问题是如何估计因子载荷，下面介绍常用的因子载荷矩阵的估计方法。

3.2.1 主成分分析法（主要使用）
设${\lambda }_1⩾{\lambda }_2⩾\cdots ⩾{\lambda }_p$为样本相关系数矩阵$\mathbf{R}$的特征值，${\mathbf{\eta }}_1,{\mathbf{\eta }}_2,\cdots ,{\mathbf{\eta }}_{\mathbf{p}}$为相应的标准正交化特征向量。设m<p，则因子载荷矩阵$\mathbf{\Lambda }$为$$\mathbf{\Lambda }=[\sqrt{{\lambda }_1}{\mathbf{\eta }}_1,\sqrt{{\lambda }_2}{\mathbf{\eta }}_2,\cdots ,\sqrt{{\lambda }_m}{\mathbf{\eta }}_{\mathbf{m}}]$$特殊因子的方差用$\mathbf{R}-\mathbf{\Lambda }{\mathbf{\Lambda }}^{\mathbf{T}}$的对角元来估计，即$${\sigma }_i^2=1-\sum _{j=1}^m{\alpha }_{ij}^2$$

3.2.2 主因子法
主因子法是对主成分方法的修正，输入变量标准化后有$\mathbf{R}=\mathbf{\Lambda }{\mathbf{\Lambda }}^{\mathbf{T}}+\mathbf{D},\mathbf{D}=\mathrm{diag}\left({\sigma }_1^2,{\sigma }_2^2,\cdots ,{\sigma }_p^2\right)$，记$${\mathbf{R}}^{\ast }=\mathbf{\Lambda }{\mathbf{\Lambda }}^{\mathbf{T}}=\mathbf{R}-\mathbf{D}$$式中，${\mathbf{R}}^{\ast }$为约相关系数矩阵，其对角线上的元素都是$h_i^2$。在实际应用中，特殊因子的方差一般都是未知的，可通过一组样本来估计，估计的方法有以下2种：

1. 取${\hat{h}}_i^2=1$，此时主因子解与主成分解等价。
2. 取${\hat{h}}_i^2=\underset{j\ne i}{\max }|r_{ij}|$，此时取$X_i$与其余的$X_j$的简单相关系数的绝对值最大者。记$${\mathbf{R}}^{\ast }=\mathbf{R}-\mathbf{D}=\left[\begin{array}{cccc}{\hat{h}}_1^2& r_{12}& \cdots & r_{1p}\\ r_{21}& {\hat{h}}_2^2& \cdots & r_{2p}\\ ⋮& ⋮& \ddots & ⋮\\ r_{p1}& r_{p2}& ⋮& {\hat{h}}_p^2\end{array}\right]$$直接求${\mathbf{R}}^{\ast }$的前p个特征值${\lambda }_1^{\ast }⩾{\lambda }_2^{\ast }⩾\cdots ⩾{\lambda }_p^{\ast }$，和对应的正交特征向量${\mathbf{u}}_1^{\ast },{\mathbf{u}}_2^{\ast },\cdots ,{\mathbf{u}}_{\mathbf{p}}^{\ast }$，得到如下的因子载荷矩阵$$\mathbf{\Lambda }=[\sqrt{{\lambda }_1^{\ast }}{\mathbf{u}}_1^{\ast },\sqrt{{\lambda }_1^{\ast }}{\mathbf{u}}_1^{\ast },\cdots ,\sqrt{{\lambda }_1^{\ast }}{\mathbf{u}}_1^{\ast }]$$

3.2.2 最大似然估计法
MATLAB工具箱求因子载荷矩阵使用的是最大似然估计法

[Lambda,Psi] = factoran(r,1,'xtype','cov')		%Lambda返回的是因子载荷矩阵，Psi返回的是特殊方差
%第二个输入参数为公因子数，'xtype'后接输入矩阵的类型，'cov'表示数据矩阵为正的协方差或相关矩阵
%该函数对公共因子数目有限制，需满足m<=d且df>=0，其中m为要计算的公因子数，d为原始变量个数，df为自由度
%自由度计算公式为degree_freedom=((d-m)^2-(d+m))/2，当原始变量为3个时只能求得一个主因子，当原始变量为5个时至多求得2个主因子

3.3 因子旋转（正交变换）
建立因子分析数学模型的目的不仅要找出公共因子，更重要的是要知道每个公共因子的含义，以便进一步的分析。由于因子载荷矩阵不唯一，为使每个公共因子含义清晰，需对因子载荷矩阵进行旋转，目的是使因子载荷矩阵的结构简化，使载荷矩阵每列或行的元素平方值向0和1两极分化。有3种主要的正交旋转法：

1. 方差最大法（主要使用）：方差最大法从简化因子载荷矩阵的每一列出发，使和每个因子有关的载荷的平方的方差最大。当只有少数几个变量在某个因子上有较高的载荷时，对因子的解释最简单。方差最大的直观意义是希望通过因子旋转后，使每个因子上的载荷尽量拉开距离，一部分载荷趋于$\pm 1$，另一部分趋于0。
2. 四次方最大旋转：四次方最大旋转是从简化载荷矩阵的行出发，通过旋转初始因子，使每个变量只在一个因子上有较高的载荷，在其他因子上有尽可能低的载荷。如果每个变量只在一个因子上有非零的载荷，这时的因子解释是最简单的。四次方最大法是使因子载荷矩阵中每一行的因子载荷平方的方差达到最大。
3. 等量最大法：等量最大法是把四次方最大法和方差最大法结合起来，求它们的加权平均最大。

对两个因子的载荷矩阵$\mathbf{\Lambda }=({\alpha }_{ij}{)}_{p\times 2},i=1,\cdots ,p;j=1,2$，取正交矩阵$$\mathbf{T}=\left[\begin{array}{cc}cos\varphi & -sin\varphi \\ sin\varphi & cos\varphi \end{array}\right]$$这是逆时针旋转，若将$\mathbf{T}$次对角线上的两个元素对换，则作顺时针旋转。记$\hat{\mathbf{\Lambda }}=\mathbf{\Lambda }\mathbf{T}$为旋转因子载荷矩阵，此时模型变为$$\mathbf{X}-\mathbf{\mu }=\hat{\mathbf{\Lambda }}({\mathbf{T}}^{\mathbf{T}}\mathbf{F})+\mathbf{\epsilon }$$同时公共因子$\mathbf{F}$也随之变为${\mathbf{T}}^{\mathbf{T}}\mathbf{F}$，现在希望通过旋转，使因子的含义更加明确。
当公共因子数$m>2$时，可以每次考虑不同的两个因子的旋转，从m个因子中每次选取两个旋转，共有m(m-1)/2种选择，这样共有m(m-1)/2次旋转，做完这么多次旋转后就算完成了一个循环，然后可以重新开始第二个循环，直到每个因子的含义都比较明确为止。

[lambda2,t]=rotatefactors(lambda(:,1:num),'method', 'varimax')		%对载荷矩阵按照方差最大法进行旋转
%其中lambda2为旋转载荷矩阵，t为变换的正交矩阵

3.4 因子得分
在因子分析中，一般关注的重点是估计因子模型的参数，即载荷矩阵，有时公共因子的估计（即因子得分）也是需要的，因子得分可用于模型诊断，也可作下一步分析的原始数据。因子得分并不是通常意义下的参数估计，它是对不可观测的随机变量$F_i$取值的估计。通常可以用加权最小二乘法和回归法来估计因子得分。

3.4.1 因子得分的概念
在因子分析的数学模型中，原变量被表示为公共因子的线性组合。因子得分则需要把公共因子表示为原变量的线性组合，因子得分函数：$$F_j=c_j+{\beta }_{j1}{X}_1+\cdots +{\beta }_{jp}{X}_p,j=1,2,\cdots ,m$$可见，要求得每个因子的得分，必须求得分函数的系数，而由于$p>m$，所以不能得到精确的得分，只能通过估计。

3.4.2 巴特莱特因子得分（加权最小二乘法，主要使用）
把$X_i-{\mu }_i$看作因变量，把因子载荷矩阵看成自变量的观测。由于特殊因子的方差相异，所以用加权最小二乘法求得分，使$$\sum _{i=1}^p[(X_i-{\mu }_i)-({\alpha }_{i1}{\hat{F}}_1+\cdots +{\alpha }_{im}{\hat{F}}_m){]}^2/{\sigma }_i^2$$最小的${\hat{F}}_1,\cdots ,{\hat{F}}_m$是相应个案的因子得分，用矩阵表示则要使$$(\mathbf{X}-\mathbf{\mu }-\mathbf{\Lambda }\mathbf{F}{)}^{\mathbf{T}}{\mathbf{D}}^{-1}(\mathbf{X}-\mathbf{\mu }-\mathbf{\Lambda }\mathbf{F})$$达到最小，计算得$$\hat{\mathbf{F}}=({\mathbf{\Lambda }}^{\mathbf{T}}{\mathbf{D}}^{-1}\mathbf{\Lambda }{)}^{-1}{\mathbf{\Lambda }}^{\mathbf{T}}{\mathbf{D}}^{-1}(\mathbf{X}-\mathbf{\mu })$$

3.4.3 回归方法
对正规化后的原始变量，因子得分函数的计算公式变为$F_j={\beta }_{j1}{X}_1+\cdots +{\beta }_{jp}{X}_p,j=1,2,\cdots ,m$，由于$$\begin{array}{l}{\alpha }_{ij}={\gamma }_{x_i{F}_j}=E\left(X_i{F}_j\right)=E\left[X_i\left({\beta }_{j1}{X}_1+\cdots +{\beta }_{jp}{X}_p\right)\right]\\ ={\beta }_{j1}{\gamma }_{i1}+\cdots +{\beta }_{jp}{\gamma }_{ip}=\left[{\gamma }_{i1},{\gamma }_{i2},\cdots ,{\gamma }_{ip}\right]\left[\begin{array}{c}{\beta }_{j1}\\ {\beta }_{j2}\\ ⋮\\ {\beta }_{jp}\end{array}\right]\end{array}$$因此有$$\left[\begin{array}{cccc}{\gamma }_{11}& {\gamma }_{12}& \cdots & {\gamma }_{1p}\\ {\gamma }_{21}& {\gamma }_{22}& \cdots & {\gamma }_{2p}\\ ⋮& ⋮& \ddots & ⋮\\ {\gamma }_{p1}& {\gamma }_{p2}& \cdots & {\gamma }_{pp}\end{array}\right]\left[\begin{array}{c}{\beta }_{j1}\\ {\beta }_{j2}\\ ⋮\\ {\beta }_{jp}\end{array}\right]=\left[\begin{array}{c}{\alpha }_{1j}\\ {\alpha }_{2j}\\ ⋮\\ {\alpha }_{pj}\end{array}\right],j=1,2,\cdots ,m$$式中3个矩阵分别为：原始变量的相关系数矩阵、第j个因子得分函数的系数、载荷矩阵的第j列。用矩阵表示，有$$\left[\begin{array}{cccc}{\beta }_{11}& {\beta }_{21}& \cdots & {\beta }_{m1}\\ {\beta }_{12}& {\beta }_{22}& \cdots & {\beta }_{m2}\\ ⋮& ⋮& \ddots & ⋮\\ {\beta }_{1p}& {\beta }_{2p}& \cdots & {\beta }_{mp}\end{array}\right]={\mathbf{R}}^{-1}\mathbf{\Lambda }$$因此，因子得分的估计为$$\hat{\mathbf{F}}={\mathbf{X}}_0{\mathbf{R}}^{-1}\mathbf{\Lambda }$$

3.5 因子分析的步骤与PCA的对比
3.5.1 因子分析的步骤

1. 选择分析的变量：因子分析的前提条件是观测变量间有较强的相关性，因为如果变量间无相关性或相关性较小，它们之间就不会有共享因子。
2. 计算所选原始变量的相关系数矩阵：相关系数矩阵描述了原始变量之间的相关关系，是估计因子结构的基础。
3. 提出公共因子：确定因子求解的方法和因子的个数，需要根据研究者的设计方案以及有关的经验或知识事先决定。因子个数的确定可以根据因子方差的大小，只取方差大于1（或特征值大于1）的那些因子。因子的累计方差贡献率一般要达到60%才能符合要求。
4. 因子旋转：通过坐标变换使每个原始变量在尽可能少的因子之间有密切的关系，并为每个潜在因子赋予有实际含义的名字。
5. 计算因子得分：求出各样本的因子得分，就可以在许多分析中使用这些因子。如以因子得分做聚类分析的变量，做回归分析中的回归因子。

3.5.2 PCA与因子分析法的比较

4.判别分析

判别分析是根据所研究个体的观测指标来推断该个体所属类型的一种统计方法。用统计的语言表达，就是已知有q个总体$X_1,X_2,\cdots ,X_q$，它们的分布函数分别为$F_1(x),F_2(x),\cdots ,F_q(x)$，每个$F_i(x)$都是p维函数，对给定的样本X，要判断它来自哪个总体。常用的基本判别法有：距离判别、Bayes判别、Fisher判别。

4.1 距离判别
距离判别适用于连续型随机变量的判别类，对变量的概率分布没有限制。
通常定义的距离为欧氏距离，但在统计分析与计算中，就不适用了。
设$\mathbf{x},\mathbf{y}$是从均值为$\mathbf{\mu }$，协方差为$\mathbf{\Sigma }$的总体A中抽取的样本，则总体A内两点$\mathbf{x},\mathbf{y}$的马氏距离定义为$$d(\mathbf{x},\mathbf{y})=\sqrt{(\mathbf{x}-\mathbf{y}{)}^{\mathbf{T}}{\mathbf{\Sigma }}^{\mathbf{T}}(\mathbf{x}-\mathbf{y})}$$定义样本x和总体A的马氏距离为$$d(\mathbf{x},\mathbf{A})=\sqrt{(\mathbf{x}-\mathbf{\mu }{)}^{\mathbf{T}}{\mathbf{\Sigma }}^{\mathbf{T}}(\mathbf{x}-\mathbf{\mu })}$$讨论两个总体的距离判别时，分协方差相同和协方差不同两种情况进行讨论。设总体A和B的均值向量分别为${\mathbf{\mu }}_1$和${\mathbf{\mu }}_2$，协方差矩阵分别为${\mathbf{\Sigma }}_1$和${\mathbf{\Sigma }}_2$，给定一个样本x，要判断x来自哪一个总体。

1. 当${\mathbf{\Sigma }}_1={\mathbf{\Sigma }}_2=\mathbf{\Sigma }$时，根据x到总体A和B的马氏距离大小进行判断$$\mathbf{x}\in \{\begin{array}{l}\mathbf{A},d(\mathbf{x},\mathbf{A})⩽d(\mathbf{x},\mathbf{A})\\ \mathbf{B},d(\mathbf{x},\mathbf{B})>d(\mathbf{x},\mathbf{B})\end{array}$$引入l两总体的距离判别函数$$w(\mathbf{x})=(\mathbf{x}-\bar{\mathbf{\mu }}{)}^{\mathbf{T}}{\mathbf{\Sigma }}^{-1}({\mathbf{\mu }}_1-{\mathbf{\mu }}_2)\sim d^2(\mathbf{x},\mathbf{B})-d^2(\mathbf{x},\mathbf{A})$$，因此判别准则变为$$\mathbf{x}\in \{\begin{array}{l}\mathbf{A},w(\mathbf{x})⩾0\\ \mathbf{B},w(\mathbf{x})<0\end{array}$$在实际中，总体的均值和协方差阵是未知的，因此总体的均值和协方差用样本的均值和协方差来代替，判别函数也用$\hat{w}(\mathbf{x})$来代替。要注意的是，求样本的协方差$\hat{\mathbf{\Sigma }}$不能直接将两总体数据混在一起计算，而是要分别计算出${\hat{\mathbf{\Sigma }}}_1,{\hat{\mathbf{\Sigma }}}_2$，然后利用公式$$\hat{\mathbf{\Sigma }}=\frac{1}{n_1+n_2-2}((n_1-1){\hat{\mathbf{\Sigma }}}_1+(n_2-1){\hat{\mathbf{\Sigma }}}_2)$$
2. 当${\mathbf{\Sigma }}_1\ne {\mathbf{\Sigma }}_2$时，判别函数为$$w(\mathbf{x})=(\mathbf{x}-{\mathbf{\mu }}_2{)}^{\mathbf{T}}{\mathbf{\Sigma }}_2^{-1}(\mathbf{x}-{\mathbf{\mu }}_2)-(\mathbf{x}-{\mathbf{\mu }}_1{)}^{\mathbf{T}}{\mathbf{\Sigma }}_1^{-1}(\mathbf{x}-{\mathbf{\mu }}_1)$$

4.2 Fisher判别
Fisher判别的基本思想是投影，即将表面上不易分类的数据通过投影到某个方向上，使得投影类与类之间得以分类的一种判别方法。
考虑两个p维总体$X_1,X_2$，Fisher的判别思想是变换多元观测$\mathbf{x}$到一元观测y，使得由总体$X_1,X_2$产生的y尽可能地分离开来。设$\mathbf{a}$为p维实向量，$\mathbf{x}$的线性组合为$y={\mathbf{a}}^{\mathbf{T}}\mathbf{x}$，$X_1,X_2$的均值为${\mathbf{\mu }}_1,{\mathbf{\mu }}_2$，且有公共的协方差矩阵$\mathbf{\Sigma }$，则线性组合的均值和方差为$${\mu }_{y1}={\mathbf{a}}^{\mathbf{T}}{\mathbf{\mu }}_1,{\mu }_{y2}={\mathbf{a}}^{\mathbf{T}}{\mathbf{\mu }}_2,{\sigma }_y^2={\mathbf{a}}^{\mathbf{T}}\mathbf{\Sigma }\mathbf{a}$$考虑比$$\frac{({\mu }_{y1}-{\mu }_{y2}{)}^2}{{\sigma }_y^2}=\frac{[{\mathbf{a}}^{\mathbf{T}}({\mathbf{\mu }}_1-{\mathbf{\mu }}_2){]}^2}{{\mathbf{a}}^{\mathbf{T}}\mathbf{\Sigma }\mathbf{a}}$$根据Fisher的思想，要选择$\mathbf{a}$使得该式达到最大。当选取$\mathbf{a}={\mathbf{\Sigma }}^{-1}({\mathbf{\mu }}_1-{\mathbf{\mu }}_2)$时达到最大，此时线性函数$$y={\mathbf{a}}^{\mathbf{T}}\mathbf{x}=({\mathbf{\mu }}_1-{\mathbf{\mu }}_2{)}^{\mathbf{T}}{\mathbf{\Sigma }}^{-1}\mathbf{x}$$称为Fisher线性判别函数。令$K=\frac{1}{2}({\mu }_{y1}+{\mu }_{y2})$，有${\mu }_{y1}-K>0,{\mu }_{y2}-K<0$，得到Fisher判别规则为$$\mathbf{x}\in \{\begin{array}{l}{\mathbf{X}}_1,{\mathbf{a}}^{\mathbf{T}}\mathbf{x}⩾K\\ {\mathbf{X}}_2,{\mathbf{a}}^{\mathbf{T}}\mathbf{x}<K\end{array}$$定义判别函数$$W(\mathbf{x})=({\mathbf{\mu }}_1-{\mathbf{\mu }}_2{)}^{\mathbf{T}}{\mathbf{\Sigma }}^{-1}\mathbf{x}-K=[\mathbf{x}-\frac{1}{2}({\mathbf{\mu }}_1+{\mathbf{\mu }}_2){]}^{\mathbf{T}}{\mathbf{\Sigma }}^{-1}({\mathbf{\mu }}_1-{\mathbf{\mu }}_2)$$则判别规则可改写成$$\mathbf{x}\in \{\begin{array}{l}{\mathbf{X}}_1,W(\mathbf{x})⩾0\\ {\mathbf{X}}_2,W(\mathbf{x})<0\end{array}$$这里的Fisher判别与距离判别一样不需要知道总体的分布类型，但量总体的均值向量必须有显著的差异，否则判别无意义。

4.3 Bayes判别
Bayes判别假定对研究对象已有一定的认识，这种认识常用先验概率来描述。当取得一个样本后，就可以用样本来修正已有的先验概率分布，得出后验概率分布，再通过后验概率分布进行各种统计推断。
误判概率：设有两个总体$X_1$和$X_2$，分别具有概率密度函数$f_1(\mathbf{x})$和$f_2(\mathbf{x})$，根据某个判别规则，将实际上为$X_1$的个体判为$X_2$，或将实际上为$X_2$的个体判为$X_1$的概率就是误判概率。一个好的判别规则应该使误判概率最小。
误判损失：一般把$X_1$的个体判为$X_2$，和把$X_2$的个体判为$X_1$所造成的损失不同。因此一个好的判别规则还必须使误判损失最小。
某样本实际是来自$X_1$，但是被判给$X_2$的概率为$P(2|1)$，来自$X_2$，但是被判给$X_1$的概率为$P(1|2)$。类似地，来自$X_1$被判给$X_1$的概率为$P(1|1)$，来自$X_2$被判给$X_2$的概率为$P(2|2)$。设$p_1,p_2$分别表示总体$X_1,X_2$的先验概率，有$p_1+p_2=1$，于是有$$\begin{gathered} P(正确判给X_1)=P(1|1)\cdot p_1,P(误判给X_1)=P(1|2)\cdot p_2, \\ P(正确判给X_2)=P(2|2)\cdot p_2,P(误判给X_2)=P(2|1)\cdot p_1 \end{gathered}$$设$L(1|2)$表示来自$X_2$误判给$X_1$引起的损失，$L(2|1)$表示来自$X_1$误判给$X_2$引起的损失，并规定$L(1|1)=L(2|2)=0$。定义平均误判损失ECM为：$$\mathrm{ECM}(R_1,R_2)=L(2|1)P(2|1)p_1+L(1|2)P(1|2)p_2$$一个合理的判别规则应使ECM达到最小。记$\Omega$为x的所有可观测值得全体，称为样本空间，$R_1$为要判为$X_1$的那些x全体，$R_2=\Omega -R_1$为要判为$X_2$的那些x全体。要选择样本空间$\Omega$的一个划分$R_1,R_2$使平均误判损失达到最小。两总体的Bayes判别准则为：$$\mathbf{x}\in \{\begin{array}{l}{\mathbf{X}}_1,\frac{f_1(\mathbf{x})}{f_2(\mathbf{x})}⩾\frac{L(1|2)}{L(2|1)}\cdot \frac{p_2}{p_1}\\ {\mathbf{X}}_2,\frac{f_1(\mathbf{x})}{f_2(\mathbf{x})}<\frac{L(1|2)}{L(2|1)}\cdot \frac{p_2}{p_1}\end{array}$$应用此准则时仅需计算：① 新样本点${\mathbf{x}}_0$的密度函数比$f_1({\mathbf{x}}_0)/f_2({\mathbf{x}}_0)$ ② 损失比$L(1|2)/L(2|1)$ ③ 先验概率比$p_2/p_1$ 。

将上述的两总体Bayes判别应用于正态总体$X_i\sim N_p({\mathbf{\mu }}_{\mathbf{i}},{\mathbf{\Sigma }}_{\mathbf{i}}),i=1,2$，分方差是否相等来讨论：

1. ${\mathbf{\Sigma }}_1={\mathbf{\Sigma }}_2=\mathbf{\Sigma }$，此时使平均误判损失极限的划分为 { R 1 = { x : W ( x ) ⩾ β } R 2 = { x : W ( x ) < β } \begin{cases} R_1=\left\{ \bm{x:W(x)}\geqslant \beta\right\} \\ R_2=\left\{ \bm{x:W(x)}<\beta\right\} \end{cases} { R1​={ x:W(x)⩾β}R2​={ x:W(x)<β}​式中$W(\mathbf{x})=[\mathbf{x}-\frac{1}{2}({\mathbf{\mu }}_1+{\mathbf{\mu }}_2){]}^{\mathbf{T}}{\mathbf{\Sigma }}^{-1}({\mathbf{\mu }}_1-{\mathbf{\mu }}_2),\beta =\ln \frac{L(1|2)\cdot p_2}{L(2|1)\cdot p_1}$，称为Anderson线性判别函数。可以发现$\mathbf{W}(\mathbf{x})$与Fisher判别和马氏距离判别的线性判别函数是一致的，判别规则仅是判别限不一样。
2. ${\mathbf{\Sigma }}_1\ne {\mathbf{\Sigma }}_2$，此时使平均误判损失极限的划分为 { R 1 = { x : W ( x ) ⩾ K } R 2 = { x : W ( x ) < K } \begin{cases} R_1=\left\{ \bm{x:W(x)}\geqslant K\right\} \\ R_2=\left\{ \bm{x:W(x)}<K\right\} \end{cases} { R1​={ x:W(x)⩾K}R2​={ x:W(x)<K}​式中$$\begin{array}{l}W(\mathbf{x})=-\frac{1}{2}{\mathbf{x}}^{\mathrm{T}}\left({\mathbf{\Sigma }}_1^{-1}-{\mathbf{\Sigma }}_2^{-1}\right)\mathbf{x}+\left({\mathbf{\mu }}_1^{\mathrm{T}}{\mathbf{\Sigma }}_1^{-1}-{\mathbf{\mu }}_2^{\mathrm{T}}{\mathbf{\Sigma }}_2^{-1}\right)\mathbf{x}\\ K=\ln \left(\frac{L(1|2)p_2}{L(2|1)p_1}\right)+\frac{1}{2}\ln \frac{\left|{\mathbf{\Sigma }}_1\right|}{\left|{\mathbf{\Sigma }}_2\right|}+\frac{1}{2}\left({\mathbf{\mu }}_1^{\mathrm{T}}{\mathbf{\Sigma }}_1^{-1}{\mathbf{\mu }}_1-{\mathbf{\mu }}_2^{\mathrm{T}}{\mathbf{\Sigma }}_2^{-1}{\mathbf{\mu }}_2\right)\end{array}$$此时判别函数$\mathbf{W}(\mathbf{x})$是关于$\mathbf{x}$的二次函数，比${\mathbf{\Sigma }}_1={\mathbf{\Sigma }}_2$时得情况复杂得多。

syms x1 x2;	x=[x1 x2];		%定义x1,x2为变量
%sym函数：可通过t=sym('x');f=t^2;将f定义为变量x的二次函数，返回值为sym类型（符号类型）
%syms函数：可通过syms x1,x2定义变量，或通过syms f(x);f=x^2;直接定义f为x的二次函数
%想绘制符号函数可使用ezplot()绘制二维函数，或ezsurf()绘制三维函数
wx=(x-0.5*(mu1+mu2))*inv(sig)*(mu1-mu2)';		%构造判别函数
wx=vpa(wx,6)		%将函数wx的每个元素计算到6位有效数字
ahat=subs(wx,{
    
    x1,x2},{
    
    a(:,1),a(:,2)})';		%用输入的第3项代替第2项以计算第1项
%%%%%%%%%%%%%还可以直接用MATLAB工具箱中的分类函数classify用其他方法进行分类%%%%%%%%%%%%
[x1,y1]=classify(sample,train,group,'linear',prior)		%线性分类
[x2,y2]=classify(sample,train,group,'quadratic',prior)		%二次分类
%输入参数sample一般为未知样本，也可以回代检验误判；train为已知样本；group为样本类别标识；priority为已知样本的先验概率
%返回值x1为sample的分类类别，y1为误判率，输入的第4个参数为'mahalanobis'代表马氏距离分类

5. 典型相关分析

通常情况下，为研究两组变量的相关关系，可以用最原始的方法，分别计算两组变量之间的全部相关系数，这样既繁琐又不能抓住问题本质。于是采用类似PCA的思想，分别找出两组变量各自的某个线性组合，使该对线性组合有最大相关性，然后在两组变量中找出第二对线性组合，使其分别与本组内第一对线性组合不相关，第二对线性组合本身具有次大相关性。如此继续下去，直至进行到r步，两组变量的相关性被提取完为止，可得到r组变量。

5.1 典型相关的数学描述
描述两组随机变量$\mathbf{X}=[x_1,x_2,\cdots ,x_p{]}^T$与$\mathbf{Y}=[y_1,y_2,\cdots ,y_q{]}^T$之间的相关程度使用复相关系数。先将每一组随机变量线性组合，成为两个随机变量$$\mathbf{u}={\mathbf{\rho }}^{\mathbf{T}}\mathbf{X}=\sum _{i=1}^p{\rho }_i{x}_i,\mathbf{v}={\mathbf{\gamma }}^{\mathbf{T}}\mathbf{Y}=\sum _{j=1}^q{\gamma }_j{y}_j$$再研究$\mathbf{u}$和$\mathbf{v}$的相关系数$r_{uv}$，取在${\mathbf{\rho }}^{\mathbf{T}}{\mathbf{\Sigma }}_{\mathbf{X}\mathbf{X}}\mathbf{\rho }=1$和${\mathbf{\gamma }}^{\mathbf{T}}{\mathbf{\Sigma }}_{\mathbf{Y}\mathbf{Y}}\mathbf{\gamma }=1$的条件下使$r_{uv}$达到最大的$\mathbf{\rho },\mathbf{\gamma }$作为投影向量，这样得到的相关系数为复相关系数$$r_{uv}=\underset{\genfrac{}{}{0ex}{}{{\mathbf{\rho }}^{\mathbf{T}}{\mathbf{\Sigma }}_{\mathbf{X}\mathbf{X}}\mathbf{\rho }=1}{{\mathbf{\gamma }}^{\mathbf{T}}{\mathbf{\Sigma }}_{\mathbf{Y}\mathbf{Y}}\mathbf{\gamma }=1}}{\max }{r}_{uv}(\mathbf{\rho },\mathbf{\gamma })=\underset{\genfrac{}{}{0ex}{}{{\mathbf{\rho }}^{\mathbf{T}}{\mathbf{\Sigma }}_{\mathbf{X}\mathbf{X}}\mathbf{\rho }=1}{{\mathbf{\gamma }}^{\mathbf{T}}{\mathbf{\Sigma }}_{\mathbf{Y}\mathbf{Y}}\mathbf{\gamma }=1}}{\max }{\mathbf{\rho }}^{\mathbf{T}}{\mathbf{\Sigma }}_{\mathbf{X}\mathbf{Y}}\mathbf{\gamma }$$根据条件极值的求法引入拉格朗日乘数，将问题转化为求$$S(\mathbf{\rho },\mathbf{\gamma })={\mathbf{\rho }}^{\mathbf{T}}{\mathbf{\Sigma }}_{\mathbf{X}\mathbf{Y}}\mathbf{\gamma }-\frac{\lambda }{2}({\mathbf{\rho }}^{\mathbf{T}}{\mathbf{\Sigma }}_{\mathbf{X}\mathbf{X}}\mathbf{\rho }-1)-\frac{\omega }{2}({\mathbf{\gamma }}^{\mathbf{T}}{\mathbf{\Sigma }}_{\mathbf{Y}\mathbf{Y}}\mathbf{\gamma }-1)$$的极大值，其中$\lambda ,\omega$是拉格朗日乘数。由极值的必要条件为$$\frac{\partial S}{\partial \mathbf{\rho }}=0,\frac{\partial S}{\partial \mathbf{\gamma }}=0$$由该式计算得$\lambda =\omega ={\mathbf{\rho }}^{\mathbf{T}}{\mathbf{\Sigma }}_{\mathbf{X}\mathbf{Y}}\mathbf{\gamma }=r_{uv}$，带入可得$$({\mathbf{\Sigma }}_{\mathbf{X}\mathbf{Y}}{\mathbf{\Sigma }}_{\mathbf{Y}\mathbf{Y}}^{-1}{\mathbf{\Sigma }}_{\mathbf{Y}\mathbf{X}}-{\mathbf{\lambda }}^2{\mathbf{\Sigma }}_{\mathbf{X}\mathbf{X}})\mathbf{\rho }=0,({\mathbf{\Sigma }}_{\mathbf{Y}\mathbf{X}}{\mathbf{\Sigma }}_{\mathbf{X}\mathbf{X}}^{-1}{\mathbf{\Sigma }}_{\mathbf{X}\mathbf{Y}}-{\mathbf{\lambda }}^2{\mathbf{\Sigma }}_{\mathbf{Y}\mathbf{Y}})\mathbf{\gamma }=0$$记$${\mathbf{M}}_1={\mathbf{\Sigma }}_{\mathbf{X}\mathbf{X}}^{-1}{\mathbf{\Sigma }}_{\mathbf{X}\mathbf{Y}}{\mathbf{\Sigma }}_{\mathbf{Y}\mathbf{Y}}^{-1}{\mathbf{\Sigma }}_{\mathbf{Y}\mathbf{X}},{\mathbf{M}}_2={\mathbf{\Sigma }}_{\mathbf{Y}\mathbf{Y}}^{-1}{\mathbf{\Sigma }}_{\mathbf{Y}\mathbf{X}}{\mathbf{\Sigma }}_{\mathbf{X}\mathbf{X}}^{-1}{\mathbf{\Sigma }}_{\mathbf{X}\mathbf{Y}}$$得$${\mathbf{M}}_1\mathbf{\rho }={\mathbf{\lambda }}^2\mathbf{\rho },{\mathbf{M}}_2\mathbf{\gamma }={\mathbf{\lambda }}^2\mathbf{\gamma }$$说明${\lambda }^2$既是$M_1$又是$M_2$的特征根，$\mathbf{\rho },\mathbf{\gamma }$就是其相应于$M_1,M_2$的特征向量。$M_1,M_2$的特征根非负，均在[0,1]上，非零特征根的根数为$s=\min (p,q)$，设特征根排序为${\lambda }_1^2⩾{\lambda }_2^2⩾\cdots ⩾{\lambda }_s^2$，称${\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_s$为典型相关系数。相应地，由所解出的特征向量线性组合得到的变量$u_i,v_i,i=1,2,\cdots ,s$，称每一对变量为典型变量，记$\mathbf{U}=[u_1,u_2,\cdots ,u_s],\mathbf{V}=[v_1,v_2,\cdots ,v_s]$。求典型相关系数和典型变量归结为求$M_1,M_2$的特征根和特征向量。计算时也可用相关系数矩阵$\mathbf{R}$代替协方差阵进行求解。
还可以证明$$\mathrm{Cov}(u_i,u_j)=\mathrm{Cov}(v_i,v_j)={\delta }_{ij},\mathrm{Cov}(u_i,v_j)={\lambda }_i{\delta }_{ij}$$

5.2 原始变量与典型变量之间的相关性
5.2.1 原始变量与典型变量之间的相关系数$$\begin{gathered} r(x_i,u_j)=\sum _{k=1}^p{\alpha }_{kj}\mathrm{Cov}(x_i,x_k)/\sqrt{D(x_i)},j=1,\cdots ,s \\ r(x_i,v_j)=\sum _{k=1}^q{\beta }_{kj}\mathrm{Cov}(x_i,y_k)/\sqrt{D(x_i)},j=1,\cdots ,s \\ r(y_i,u_j)=\sum _{k=1}^p{\alpha }_{kj}\mathrm{Cov}(y_i,x_k)/\sqrt{D(y_i)},j=1,\cdots ,s \\ r(y_i,v_j)=\sum _{k=1}^q{\beta }_{kj}\mathrm{Cov}(y_i,y_k)/\sqrt{D(y_i)},j=1,\cdots ,s \end{gathered}$$式中${\alpha }_{kj}$为向量${\mathbf{\rho }}_j$的第k个数，${\beta }_{kj}$为向量${\mathbf{\gamma }}_j$的第k个数。

5.2.2 各组原始变量被典型变量所解释的方差
$\mathbf{X}$组原始变量被$u_i$解释的方差的比例为：$m_{u_i}={\sum }_{k=1}^p{r}^2(u_i,x_k)/p$
$\mathbf{X}$组原始变量被$v_i$解释的方差的比例为：$m_{v_i}={\sum }_{k=1}^p{r}^2(v_i,x_k)/p$
$\mathbf{Y}$组原始变量被$u_i$解释的方差的比例为：$n_{u_i}={\sum }_{k=1}^q{r}^2(u_i,y_k)/q$
$\mathbf{Y}$组原始变量被$v_i$解释的方差的比例为：$n_{v_i}={\sum }_{k=1}^q{r}^2(v_i,y_k)/q$

5.3 典型相关系数的检验
在实际应用中，总体的协方差矩阵常常是未知的，类似于其他的统计分析方法，需要从总体中抽出一个样本，根据样本对总体的协方差或相关系数矩阵进行估计，然后利用估计得到的协方差或相关系数矩阵进行分析。由于估计中抽样误差的存在，所以估计以后还需要进行有关的假设检验。

1. 计算样本的协方差矩阵$$\hat{\mathbf{\Sigma }}=\left[\begin{array}{cc}{\hat{\Sigma }}_{XX}& {\hat{\Sigma }}_{XY}\\ {\hat{\Sigma }}_{YX}& {\hat{\Sigma }}_{YY}\end{array}\right]$$
2. 整体检验$$\begin{gathered} H_0:{\lambda }_1={\lambda }_2=\cdots ={\lambda }_s=0,s=\min (p,q),即{\mathbf{\Sigma }}_{\mathbf{X}\mathbf{Y}}=0 \\ {H}_1:{\lambda }_i(i=1,2,\cdots ,s)中至少有一个非零,即{\mathbf{\Sigma }}_{\mathbf{X}\mathbf{Y}}\ne 0 \end{gathered}$$记$${\Lambda }_1=\frac{|\hat{\mathbf{\Sigma }}|}{|{\hat{\mathbf{\Sigma }}}_{\mathbf{X}\mathbf{X}}||{\hat{\mathbf{\Sigma }}}_{\mathbf{Y}\mathbf{Y}}|}=\prod _{i=1}^s(1-{\lambda }_i^2)$$在原假设为真的情况下，检验的统计量$$Q_1=-[n-1-\frac{1}{2}(p+q+1)]\ln {\Lambda }_1$$近似服从自由度为pq的${\chi }^2$分布。在给定的显著水平$\alpha$下，如果$Q_1⩾{\chi }_{\alpha }^2(pq)$，则拒绝原假设，认为至少第一对典型变量之间的相关性显著。
3. 部分总体典型相关系数为零的检验$$\begin{gathered} H_0:{\lambda }_2=\cdots ={\lambda }_s=0 \\ {H}_1:{\lambda }_i(i=2,\cdots ,s)中至少有一个非零 \end{gathered}$$若原假设$H_0$被接受，则认为只有第一对典型变量是有用的，否则认为第二对典型变量也是有用的。如此进行下去，一直到检验第k对典型变量是否有用。记$${\Lambda }_k=\prod _{i=k}^s(1-{\lambda }_i^2)$$在原假设为真的情况下，检验的统计量$$Q_k=-[n-k-\frac{1}{2}(p+q+1)]\ln {\Lambda }_k$$近似服从自由度为(p-k+1)(q-k+1)的${\chi }^2$分布。在给定的显著水平$\alpha$下，如果$Q_1⩾{\chi }_{\alpha }^2[(p-k+1)(q-k+1)]$，则拒绝原假设，认为至少第k对典型变量之间的相关性显著。

5.4 典型相关分析案例
5.4.1 讨论两组指标是否相联系

1. 计算X组向量和Y组向量间的4个相关系数矩阵（协方差矩阵）${\mathbf{R}}_{\mathbf{X}\mathbf{X}},{\mathbf{R}}_{\mathbf{X}\mathbf{Y}},{\mathbf{R}}_{\mathbf{Y}\mathbf{X}},{\mathbf{R}}_{\mathbf{Y}\mathbf{Y}}$，并计算$M_1,M_2$。
2. 求出$M_1,M_2$的特征向量${\mathbf{\rho }}_{\mathbf{i}},{\mathbf{\gamma }}_{\mathbf{i}}$和特征值${\lambda }_i^2$，将特征向量归一化并保证所有分量和为正。
3. 计算特征值的平方根，从大到小排列，提出前s个即为典型相关系数${\lambda }_i$，并对典型相关系数进行显著性检验。
4. 保存由典型相关系数组成的向量，以及由前s个特征向量组成的$\mathbf{u},\mathbf{v}$的系数矩阵。
5. 由$\mathbf{u},\mathbf{v}$系数矩阵以及X,Y的相关系数矩阵可求得原始变量和典型变量之间的相关系数${\mathbf{R}}_{\mathbf{X}\mathbf{U}},{\mathbf{R}}_{\mathbf{X}\mathbf{V}},{\mathbf{R}}_{\mathbf{Y}\mathbf{U}},{\mathbf{R}}_{\mathbf{Y}\mathbf{V}}$。
6. 根据原始变量和典型变量之间的相关系数可求得原始变量被典型变量所解释的方差比例，前s个典型变量解释原始变量总方差的累计百分比即为$M_U,M_V,N_U,N_V$。其中$M_U,N_V$代表典型变量对本组原始变量解释程度，$M_V$为第一组典型变量的冗余程度（被第二组典型变量重复解释），$N_U$为第二组典型变量的冗余程度，冗余程度同时也是典型变量对另一组原始变量的解释程度。

[a1,b1,r,u1,v1,stats]=canoncorr(x,y)		%做典型相关分析，a1,b1返回的是典型变量的系数，r返回的是典型相关系数
%u1,v1返回的是典型变量的值，stats返回的是假设检验的一些统计量的值
[V,D] = eig(A)		%返回特征值的对角矩阵D和矩阵V，其列是对应的右特征向量，使得 A*V = V*D
xlswrite(filename,A)		%将矩阵A写入Excel电子表格工作簿filename中的第一张工作表，从单元格 A1开始写入

6. 对应分析

对应分析是在R型和Q型因子分析基础上发展起来的多元统计分析方法，又称R-Q型因子分析。R型用于研究变量的相互关系，Q型用于研究样本的相互关系，但两者都未能很好地揭示变量和样品间的双重关系。且当样本容量n很大时，进行Q因子分析时计算n阶方阵的特征值和特征向量过于复杂。且进行数据处理时，常先进行标准化处理，而这种标准化处理对变量和样本是非对等的。
由于R型和Q型因子分析都是反映一个整体的不同侧面，因而它们之间存在内在的联系。对应分析就是通过对应变换后的标准化矩阵B将两者有机地结合起来。

6.1 对应分析的原理
6.1.1 对应分析的数据变换方法
设有n个样品，每个样品观测p个指标，原始数据阵$\mathbf{A}\in n\times p$，对应分析采用数据的变换方法可克服原始标准化变换的不对称性。数据变换方法的具体步骤如下

1. 化数据矩阵为规格化的概率矩阵$\mathbf{P}=\frac{1}{T}\mathbf{A}$，其中$T={\sum }_{i=1}^n{\sum }_{j=1}^p{a}_{ij}$，有$0⩽p_{ij}⩽1$，且${\sum }_{i=1}^n{\sum }_{j=1}^p{p}_{ij}=1$，因此$p_{ij}$可理解为数据$a_{ij}$出现的概率，并称$\mathbf{P}$为对应阵。
   记$p_{\cdot j}$为第j个变量的边缘概率，$p_{i\cdot }$为第i个样本的边缘概率。记$\mathbf{r}=[p_{1\cdot },\cdots ,p_{n\cdot }{]}^T,\mathbf{c}=[p_{\cdot 1},\cdots ,p_{\cdot p}{]}^T$，则$$\mathbf{r}=\mathbf{P}{1}_{\mathbf{p}},\mathbf{c}={\mathbf{P}}^{\mathbf{T}}{1}_{\mathbf{n}}$$式中$1_{\mathbf{p}}=[1,1,\cdots ,1{]}^T$为元素全为1的p维向量。
2. 进行数据的对应变换，令$$\mathbf{B}=(b_{ij}{)}_{n\times p}，式中b_{ij}=\frac{p_{ij}-p_{i\cdot }{p}_{\cdot j}}{\sqrt{p_{i\cdot }{p}_{\cdot j}}}$$
3. 计算有关矩阵，记$${\mathbf{S}}_{\mathbf{R}}={\mathbf{B}}^{\mathbf{T}}\mathbf{B},{\mathbf{S}}_{\mathbf{Q}}=\mathbf{B}{\mathbf{B}}^{\mathbf{T}}$$考虑R型因子分析时使用${\mathbf{S}}_{\mathbf{R}}$，考虑Q型因子分析时使用${\mathbf{S}}_{\mathbf{Q}}$。若把所研究的p个变量看成一个属性变量的p个类目，把n个样品看成另一个属性变量的n个类目，此时原始数据阵$\mathbf{A}$就可以看成一张由观测得到的频数表或计数表。从代数学角度看$\mathbf{B}$为数据标准化矩阵$$\mathbf{B}={\mathbf{D}}_{\mathbf{r}}^{-1/2}(\mathbf{P}-\mathbf{r}{\mathbf{c}}^{\mathbf{T}}){\mathbf{D}}_{\mathbf{c}}^{-1/2}$$式中${\mathbf{D}}_{\mathbf{r}}=\mathrm{diag}(p_{1\cdot },\cdots ,p_{n\cdot }),{\mathbf{D}}_{\mathbf{c}}=\mathrm{diag}(p_{\cdot 1},\cdots ,p_{\cdot p})$，经对应变换后多得到的新数据矩阵$\mathbf{B}$可以看成是由对应阵$\mathbf{P}$经中心化和标准化后得到的矩阵。

设用于检验行与列两个属性变量是否不相关的${\chi }^2$统计量为$${\chi }^2=\sum _{i=1}^n\sum _{j=1}^p\frac{(a_{ij}-m_{ij}{)}^2}{m_{ij}}=\sum _{i=1}^n\sum _{j=1}^p{\chi }_{ij}^2=T\sum _{i=1}^n\sum _{j=1}^p{b}_{ij}^2=T\mathrm{tr}({\mathbf{B}}^{\mathbf{T}}\mathbf{B})=T\mathrm{tr}({\mathbf{S}}_{\mathbf{R}})=T\mathrm{tr}({\mathbf{S}}_{\mathbf{Q}})$$式中$m_{ij}=\frac{a_{i\cdot }{a}_{\cdot j}}{T}=T{p}_{i\cdot }{p}_{\cdot j}$是假定行和列两个属性变量不相关时在第(i,j)单元上的期望频数值。

6.1.2 对应分析的原理和依据
为进一步研究R型和Q型因子分析，利用矩阵代数的一些结论

1. 设${\mathbf{S}}_{\mathbf{R}}={\mathbf{B}}^{\mathbf{T}}\mathbf{B},{\mathbf{S}}_{\mathbf{Q}}=\mathbf{B}{\mathbf{B}}^{\mathbf{T}}$，则${\mathbf{S}}_{\mathbf{R}}$和${\mathbf{S}}_{\mathbf{Q}}$的非零特征值相同。
2. 若$\eta$是${\mathbf{S}}_{\mathbf{R}}$相应于特征值$\lambda$的特征向量，则$\gamma =\mathbf{B}\eta$是${\mathbf{S}}_{\mathbf{Q}}$相应于特征值$\lambda$的特征向量。
3. 矩阵的奇异值分解：设$\mathbf{B}$为$n\times p$矩阵，且$\mathrm{rank}\mathbf{B}=m⩽\min (n-1,p-1),{\mathbf{B}}^{\mathbf{T}}\mathbf{B}$的非零特征值为${\lambda }_1⩾{\lambda }_2⩾\cdots ⩾{\lambda }_m>0$，$d_i=\sqrt{{\lambda }_i}$，则称$d_i$为$\mathbf{B}$的奇异值。若存在分解式$$\mathbf{B}=\mathbf{U}\mathbf{\Lambda }{\mathbf{V}}^{\mathbf{T}}$$式中$\mathbf{U}$为$n\times n$正交矩阵，$\mathbf{V}$为$p\times p$正交矩阵，$\mathbf{\Lambda }=\left[\begin{array}{cc}{\mathbf{\Lambda }}_m& 0\\ 0& 0\end{array}\right]$，其中${\mathbf{\Lambda }}_m=\mathrm{diag}(d_1,\cdots ,d_m)$，则称该分解式为矩阵$\mathbf{B}$的奇异值分解。记$\mathbf{U}=[{\mathbf{U}}_1⋮{\mathbf{U}}_2],\mathbf{V}=[{\mathbf{V}}_1⋮{\mathbf{V}}_2]$，式中${\mathbf{U}}_1$为$n\times m$的列正交矩阵，${\mathbf{V}}_1$为$p\times m$的列正交矩阵，则奇异值分解式等价于$$\mathbf{B}={\mathbf{U}}_1{\mathbf{\Lambda }}_{\mathbf{m}}{\mathbf{V}}_1^{\mathbf{T}}$$
   4, 任意非零矩阵$\mathbf{B}$的奇异值分解必存在，且${\mathbf{V}}_1$的m个列向量分别是${\mathbf{B}}^{\mathbf{T}}\mathbf{B}$的非零特征值对应的特征向量，${\mathbf{U}}_1$的m个列向量分别是$\mathbf{B}{\mathbf{B}}^{\mathbf{T}}$的非零特征值对应的特征向量。

矩阵代数的这几个结论建立了因子分析中R型和Q型的关系，从R型因子分析出发可以直接得到Q型因子分析的结果。
由于${\mathbf{S}}_{\mathbf{R}},{\mathbf{S}}_{\mathbf{Q}}$有相同的非零特征值，而这些非零特征值又表示各个公共因子所提供的方差，因此变量空间$R^p$和样本空间$R^n$中相对应的公共因子在总方差中所占的比例相同。
从几何意义上看，$R^n$中样品点到各因子轴的距离平方和，与$R^p$中变量点到各因子轴的距离平方和也是完全相同。因此可以把变量点和样品点同时反映在同一因子轴所确定的平面上，根据接近程度可以对变量点和样品点同时进行分类。

6.1.3 对应分析的计算步骤

1. 由原始数据阵$\mathbf{A}$出发计算对应阵$\mathbf{P}$和对应变换后的新数据阵$\mathbf{B}$
2. 计算行轮廓分布（行形象分布），记$$\mathbf{R}=[\frac{a_{ij}}{a_{i\cdot }}{]}_{n\times p}=[\frac{p_{ij}}{p_{i\cdot }}{]}_{n\times p}={\mathbf{D}}_{\mathbf{r}}^{-1}\mathbf{P}\stackrel{def}{=}\left[\begin{array}{c}{\mathbf{R}}_1^T\\ ⋮\\ {\mathbf{R}}_n^T\end{array}\right]$$矩阵$\mathbf{R}$由矩阵$\mathbf{A}$的每一行除以行和得到，其目的在于消除行点（样本点）出现概率不同的影响。
3. 计算列轮廓分布（列形象分布），记$$\mathbf{C}=[\frac{a_{ij}}{a_{\cdot j}}{]}_{n\times p}=[\frac{p_{ij}}{p_{\cdot j}}{]}_{n\times p}=\mathbf{P}{\mathbf{D}}_{\mathbf{c}}^{-1}\stackrel{def}{=}\left[\begin{array}{c}{\mathbf{C}}_1,\cdots ,{\mathbf{C}}_p\end{array}\right]$$矩阵$\mathbf{C}$由矩阵$\mathbf{A}$的每一列除以列和得到，其目的在于消除列点（变量点）出现概率不同的影响。
4. 计算总惯量和${\chi }^2$统计量。
   第k个与第l个样品间的加权平方距离（${\chi }^2距离$）为$$D^2(k,l)=\sum _{j=1}^p(\frac{p_{kj}}{p_{k\cdot }}-\frac{p_{lj}}{pl\cdot }{)}^2/p_{\cdot j}=({\mathbf{R}}_{\mathbf{k}}-{\mathbf{R}}_{\mathbf{l}}{)}^{\mathbf{T}}{\mathbf{D}}_{\mathbf{c}}^{-1}({\mathbf{R}}_{\mathbf{k}}-{\mathbf{R}}_{\mathbf{l}})$$把n个样品点（行点）到重心$\mathbf{c}$的加权平方距离的总和定义为行形象点集$N(\mathbf{R})$的总惯量$$Q=\sum _{i=1}^n{p}_{i\cdot }{D}^2(i,\mathbf{c})=\sum _{i=1}^n\sum _{j=1}^p{b}_{ij}^2=\frac{{\chi }^2}{T}$$式中重心$\mathbf{c}$为p个列向量的边缘分布，${\chi }^2$统计量是检验行点和列点是否互不相关的检验统计量。
5. 对标准化后的新数据阵$\mathbf{B}$作奇异值分解$\mathbf{B}={\mathbf{U}}_1{\mathbf{\Lambda }}_{\mathbf{m}}{\mathbf{V}}_1^{\mathbf{T}}$，实际中常选取公共因子个数$l(l⩽m)$使累积贡献率达到0.80。
6. 计算行轮廓的坐标$\mathbf{G}$和列轮廓的坐标$\mathbf{F}$。
   令${\mathbf{\alpha }}_i={\mathbf{D}}_{\mathbf{c}}^{-1/2}{\mathbf{\eta }}_{\mathbf{i}}$，则${\mathbf{\alpha }}_{\mathbf{i}}^{\mathbf{T}}{\mathbf{D}}_{\mathbf{c}}{\mathbf{\alpha }}_{\mathbf{i}}=1(i=1,2,\cdots ,m)$，列轮廓坐标（即R型因子分析的因子载荷矩阵）为$$\mathbf{F}=[d_1{\mathbf{\alpha }}_1,\cdots ,d_m{\mathbf{\alpha }}_m]={\mathbf{D}}_{\mathbf{c}}^{-1/2}{\mathbf{V}}_1{\mathbf{\Lambda }}_{\mathbf{m}}\in p\times m$$
   令${\mathbf{\beta }}_{\mathbf{i}}={\mathbf{D}}_{\mathbf{r}}^{-1/2}{\mathbf{\gamma }}_{\mathbf{i}}$，则${\mathbf{\beta }}_{\mathbf{i}}^{\mathbf{T}}{\mathbf{D}}_{\mathbf{r}}{\mathbf{\beta }}_{\mathbf{i}}=1(i=1,2,\cdots ,m)$，行轮廓坐标（即Q型因子分析的因子载荷矩阵）为$$\mathbf{G}=[d_1{\mathbf{\beta }}_1,\cdots ,d_m{\mathbf{\beta }}_m]={\mathbf{D}}_{\mathbf{r}}^{-1/2}{\mathbf{U}}_1{\mathbf{\Lambda }}_{\mathbf{m}}\in n\times m$$
   注：轮廓坐标的定义与因子载荷矩阵稍有差别。$\mathbf{G}$的前两列包含了数据最优二维表示中各对行点（样品点）的坐标，$\mathbf{F}$的前两列包含了数据最优二维表示中各对列点（变量点）的坐标。
7. 在相同二维平面上用行轮廓的坐标$\mathbf{G}$和列轮廓的坐标$\mathbf{F}$（取m=2）绘制出点平面图。即把n个行点和p个列点在同一个平面坐标系中绘制出来，对一组行点或一组列点，二维图中的欧氏距离与原始数据中各行列轮廓之间的加权距离是相对应的。但对应行轮廓的点和对应列轮廓的点之间没有直接的距离关系。
8. 求总惯量Q和${\chi }^2$统计量的分解式$$Q=\mathrm{tr}({\mathbf{B}}^{\mathbf{T}}\mathbf{B})=\sum _{i=1}^m{\lambda }_i=\sum _{i=1}^m{d}_i^2,{\chi }^2=TQ=T\sum _{i=1}^m{d}_i^2$$
9. 对样品点和变量点进行分类，并结合专业知识进行成因解释。

6.2 对应分析在品牌定位研究中的应用研究
对应分析是研究变量间相互关系的有效方法，通过交叉列表结构的研究，揭示变量不同水平间的对应关系，是市场研究中经常用到的统计技术。基本步骤如下：

1. 由原始数据阵$\mathbf{A}$出发计算对应阵$\mathbf{P}$和对应变换后的新数据阵$\mathbf{B}$
2. 对$\mathbf{B}$进行奇异值分解
3. 求出列轮廓坐标和行轮廓坐标
4. 通过贡献率的比较确定截取的维数，形成对应分析图

[U,S,V] = svd(A)		%执行矩阵 A 的奇异值分解，因此 A = U*S*V'
[U,S,V] = svd(A,'econ')		为 m×n 矩阵 A 生成精简分解，精简分解从奇异值的对角矩阵 S 中删除额外的零值行或列，
以及 U 或 V 中与表达式 A = U*S*V' 中的那些零值相乘的列。删除这些零值和列可以缩短执行时间，并减少存储要求，而且不会影响分解的准确性

7. 多维标度法

在实际中往往会碰到有n个由多个指标（变量）反映的客体，但反映的指标个数是多少不清楚，甚至指标本身是什么也是模糊的，无法直接测量或观察，只能知道这n个客体之间的某种距离或某种相似性，希望从这些信息中在较低维的欧几里得空间把这n个客体（作为几何点）的图形描绘出来，从而尽可能揭示这n个客体之间的真实结构关系。

7.1 经典的多维标度法
7.1.1 距离阵
定义：一个$n\times n$阶矩阵$\mathbf{D}=(d_{ij})$，如果满足$(1){\mathbf{D}}^{\mathbf{T}}=\mathbf{D};(2)d_{ij}⩾0,d_{ii}=0,i,j=1,2,\cdots ,n$，则称$\mathbf{D}$为距离阵，$d_{ij}$为第i个点与第j个点的距离。
有了一个距离阵之后，多维标度法的目的就是要确定数k，在k维空间${\mathbf{R}}^k$求n个点${\mathbf{e}}_1,{\mathbf{e}}_2,\cdots ,{\mathbf{e}}_{\mathbf{n}}$，其中${\mathbf{e}}_{\mathbf{i}}=[x_{i1},x_{i2},\cdots ,x_{ik}{]}^T$，使得这n个点的欧几里得距离与距离阵中的相应值在某种意义下尽量接近，并可以给出原始n个客体关系的一个有含义的解释。在实际中，为了使求得的结果易于解释，通常取k=1,2,3。
将这n个点写成矩阵形式$\mathbf{X}=[{\mathbf{e}}_1,{\mathbf{e}}_2,\cdots ,{\mathbf{e}}_{\mathbf{n}}{]}^{\mathbf{T}}$，则称$\mathbf{X}$为$\mathbf{D}$的一个多维标度解。形象地称$\mathbf{X}$为$\mathbf{D}$的一个拟合构图，意味着有了这n个点的坐标，可以在$R^k$中画出来，由这n个点间的欧几里得距离构成的距离阵$\hat{\mathbf{D}}$称为$\mathbf{D}$的拟合距离阵。特别地，若$\hat{\mathbf{D}}=\mathbf{D}$，则称$\mathbf{X}$为$\mathbf{D}$的一个构图。
由于求解的n个点仅要求它们的相对欧几里得距离和$\mathbf{D}$接近，即只要求它们的相对位置确定，所以求得的解不唯一。

7.1.2 欧几里得距离阵
定义：对一个$n\times n$的距离阵$\mathbf{D}=(d_{ij})$，如果存在某个正整数k和$R^k$中的n个点${\mathbf{e}}_1,{\mathbf{e}}_2,\cdots ,{\mathbf{e}}_{\mathbf{n}}$，使得$$d_{ij}^2=({\mathbf{e}}_{\mathbf{i}}-{\mathbf{e}}_{\mathbf{j}}{)}^{\mathbf{T}}({\mathbf{e}}_{\mathbf{i}}-{\mathbf{e}}_{\mathbf{j}}),i,j=1,2,\cdots ,n$$则称$\mathbf{D}$为欧几里得距离阵。

7.1.3 求多维标度的经典解步骤

1. 由距离阵$\mathbf{D}=(d_{ij}^2)$构造矩阵$\mathbf{A}=(a_{ij})=(-\frac{1}{2}{d}_{ij}^2)$
2. 作矩阵$\mathbf{B}=\mathbf{H}\mathbf{A}\mathbf{H}$，其中$\mathbf{H}={\mathbf{I}}_{\mathbf{n}}-\frac{1}{n}{\mathbf{E}}_n$，${\mathbf{I}}_n$为n阶单位阵，${\mathbf{E}}_n$为$n\times n$的全1矩阵
3. 求出$\mathbf{B}$的k个最大特征值${\lambda }_1⩾{\lambda }_2⩾\cdots ⩾{\lambda }_k$，和对应的正交特征向量${\mathbf{\alpha }}_1,\cdots ,{\mathbf{\alpha }}_{\mathbf{k}}$，且满足规格化条件${\mathbf{\alpha }}_{\mathbf{i}}^{\mathbf{T}}{\mathbf{\alpha }}_{\mathbf{i}}={\lambda }_i$。
   上述k有两种选取方法：一种是事先指定，另一种是考虑前k个特征值在全体特征值中所占的比例。此时需将所有特征值${\lambda }_1⩾{\lambda }_2⩾\cdots ⩾{\lambda }_n$求出，若${\lambda }_i$都非负，说明$\mathbf{B}⩾0$，从而$\mathbf{D}$为欧几里得距离阵。若${\lambda }_i$中有负值，$\mathbf{D}$为非欧几里得距离阵，此时确定前k个特征值时只能选择正的特征值，否则要减小k。
   将所求得的特征向量顺序排成一个$n\times k$的矩阵$\hat{\mathbf{X}}=[{\mathbf{\alpha }}_1,\cdots ,{\mathbf{\alpha }}_{\mathbf{k}}]$，则$\hat{\mathbf{X}}$就是$\mathbf{D}$的一个拟合构图，$\hat{\mathbf{X}}$的行向量对应的点是$\mathbf{D}$的拟合构图点。这一k维拟合图称为经典解。

[Y,e] = cmdscale(D)		%求经典解，d可以为实对称矩阵或pdist函数的行向量输出，Y为D的经典解，e为特征值构成的向量

7.1.4 相似阵情形
有时已知的不是n个客体之间的某种距离，而是n个客体之间的某种相似性，即已知的是一个相似阵。
设$\mathbf{C}=(c_{ij})$为一个相似阵，令$$d_{ij}=(d_{ii}-2c_{ij}+c_{jj}{)}^{1/2}$$得到一个距离阵$\mathbf{D}=(d_{ij})$，称该式为从相似阵到距离阵的标准变换。

7.2 非度量方法
在实际中，对n个客体所能观测到的可能既不是它们之间的距离也不是相似系数，而只是它们之间某种差异程度的顺序。此时对n个客体的$\frac{1}{2}n(n-1)$对之间的差异程度可以排一个序，即$$d_{i_1{j}_1}⩽\cdots ⩽d_{i_m{j}_m},m=\frac{1}{2}n(n-1)$$式中$d_{i_r{j}_r}$为客体$i_r,j_r$之间的差异，在数学上，可以赋予每个$d_{i_r{j}_r}$一个数值，但数值大小本身没有什么含义，仅是为了标明差异顺序用的。
我们希望仅从n个客体之间的这种差异顺序出发找出一个拟合构图$\mathbf{X}$来反映这n个客体之间的结构关系。在多维标度法中，使用Stress度量拟合精度，Stress的一种定义为$$Stress=[\frac{\sum _{1⩽i<j⩽n}({\hat{\delta }}_{ij}^2-d_{ij}^2{)}^2}{\sum _{1⩽i<j⩽n}({\hat{\delta }}_{ij}^2{)}^2}{]}^{\frac{1}{2}}$$式中${\hat{\delta }}_{ij}$为拟合后两点间的距离，MATLAB和SPSS会直接给出该检验值。MATLAB中的非度量方法的多维标度分析的命令是mdscale。