01：机器学习概念：有监督（带答案），无监督（无答案数据）
02分类问题：什么数据分什么
机器学习三要素：模型，策略，算法
模型：knn kmeans
策略:评价标准损失函数（01损失，平方损失，绝对损失，对数损失{交叉熵}））
逻辑回归：对数损失（交叉熵损失函数）
损失里包含两种损失风险，经验风险和结构风险，也有理解为惩罚的 J 有两种方法l1和l2 ( LASSO和 RIDGE)?
线性回归 ridge梯度下降， LASSO坐标上升
mini batch
梯度下降三种方式：
批量，小批量，随机
归一化，减少量纲影响，减少随机震荡下降
凸函数有最优解
3种方法求解：1定义2一阶判断，3 二阶判断
以下公式记住特性
凸优化
鞍点问题
以上以线性回归举例
gbdt 不是用梯度下降法求解的
树模型 不用梯度下降法求解
mse 均方误差
(hx-y)^2
正则化 l1 l2正则 防止过拟合
过拟合 ：训练集表现好，测试集差
l1 l2正则表达式
逻辑回归 实际上是分类
公式推导
求最大值
极大似然公式推导
信息熵概念
交叉熵：真实分布乘以预测
交叉熵越小越
决策树 3种
决策树的损失函数
模型区别
xgboost
