总结了如下表格:
| 模型种类 | 模型 | 图示 | 补充 |
|---|---|---|---|
| 线性模型 | 一般线性模型:  , x为向量向量时:  |
 |
多维基函数构造: 1.乘法模型:  2.加法模型:  二者对比:乘法模型表现力丰富,但易引入维数灾难;加法模型参数个线性增长,但表现力不足: |
| 核模型 | 一般核模型: 高斯核函数: |
一维高斯核模型:  二维高斯核模型:  带宽为h, 均值为c的高斯核:  |
1)参数个数不依赖x的维度,由训练样本数n决定,通过计算核均值抑制计算负荷;2)通过核映射可解决非向量样本建模, 如可构建x为字符串,决策树,图表等的核函数 |
| 层级模型 |  , 其中ϕ(x;β)是含有参数向量β的基函数; 常见的基函数: S型函数  2. 高斯函数:  |
三层神经网络: S型基函数: |
层级模型是基于参数向量θ=(α⃗ T,β⃗ T1,βT2,...,βTb)的非线性形式;核模型中高斯函数带宽和均值固定;层级模型中耦合系数{αj}bj=1, 带宽和均值都会被学习; 层级模型参数θ和fθ不是一一对应的(如b=2的人工神经网络): 因此模型训练过程非常艰难 |
1. 线性模型