概要：
アルゴリズムの分類は、
学習と教師なし学習監視
分類と回帰
モデルと判別モデル生成
強化学習
評価
回帰誤差の精度
ROC曲線
交差検証
モデルの選択を
フィッティングとunderfittingを通して
偏差や分散
正則
教師付き学習を分類するために学ぶ半教師。
問題のほとんどは、教師付き分類問題は、生成モデルと判別モデルに分かれて存在し、教師あり学習分類問題です。
一般に使用される分類精度評価指標は、一般回帰評価のために使用される回帰誤差平均二乗誤差です。
バイナリ分類ROC曲線しばしばそれを行うました。
その正則ユニバーサルソリューション手段をオーバーフィット。
アルゴリズムの分類：
監督信号は、サンプルのタグ値は、半教師あり学習機械学習は、教師あり学習、教師なし学習、としてそこに分類されるかどうかを知るためにラベルの値に基づいています。
教師付き学習と教師なし学習：
トレーニングと予測：2つの教師あり学習プロセスがあります。
予測された入力サンプル（x、y）は、訓練されたモデルy = F（x）は、新しいサンプルのラベルの値を予測します。
教師なし学習：クラスタリングと次元削減。
次元削減は、次元の呪いを回避することで、高次元データアルゴリズムは、データ間の相関は、ハンドルには比較的困難です。
強化学習：
その行動を予測するための環境データによると、ポリシー制御の分野から生まれたアルゴリズムであり、目標は、報酬値を最大化することです。
分類および回帰：
教師付き学習は、分類および回帰問題に分割され、分類問題は、個人情報によると、果物のカテゴリを決定することであるなどの収入が問題への復帰である投影。
分類：
R＆LT N - > Zは、n次元ベクトルは、分類には、この値が対応する、整数値にマッピングします。
顔検出および分類問題は、画像領域内の位置が顔か顔です。
最も簡単な方法は、線形分類器SGN（W、バイナリ分類分類に線形方程式を見つけることであるT X + B）+1または-1の出力。
回帰：
R＆LT N- - > R＆LT、R＆LT実際の値が予測されます。
最も単純なアルゴリズムは、線形回帰F（X）= Wであり、Tは省略分類関数sgnに比べて、X + B。
機能の喪失は、また、誤差関数と呼ばれる
ほぼすべての教師付き学習の数、その目標は、最適化の目的は、仕事の半分が行われ、左と判断した後、機能の損失を最小限に抑えるか、尤度関数を最大化することです下には、問題を解決するための完全な最適化され、このような勾配降下などの標準的なアルゴリズムは、プロセスの標準化され、解決するために、適切な最適化アルゴリズムの彼らのアルゴリズム選択の特性に基づいて、ニュートン法は、仕上げを解いた後、それが解決されることができますf（x）がパラメータ値は、あなたが分類または回帰のために使用される新しいサンプルを予測するためにF（X）を使用することができ、トレーニングを完了します。
線形回帰：
、それは一次関数です。
トレーニングの目標は、MSEの平均二乗誤差を最小化することで、何の制約は、トレーニング時に（平均二乗誤差関数の損失を証明するためには、凸状である、ヘッション半正定値に証明する必要がある）解決すべき凸最適化問題ではありませんグローバル最小点L.を見つけるための凸最適化問題
MSEは、損失関数が凸であることを証明します：
Lはヘッションに求めています。
1 / LX T Xに対応するX-二次行列T 1 / LX T XX、すなわち1 / L（X T X- T）、（XX）、すなわち、（XX）T（XX）、（XX）ので、Tはです行ベクトル（XX）は、2つのベクトルの内積が乗算される列ベクトルは、半定値行列ヘッションように、ゼロよりも大きいされ、MSEは凸関数損失関数Lであり、大域的最小点が存在します。
世代モデルと判別モデル：
分類のためにそれを解決するという考えに基づいて2つのタイプに分けることができます。
①判別モデルは、それが属しているモデルである関数から直接決定されます。
最初は、Yは、F（x）は、関数sgnを（直接予測W =であるTの予測値yタグに+ B）。
（| X、Y）、特徴Xによれば、それは事後確率であり、それが属するクラスに応じて前記スラストリバー、に属する各カテゴリの確率を計算し、事後確率計算目はPです。
②生成モデル
X、Yのペアは、同時分布をモデルP（X、Y）= P（X | Y）|、P（Y）モデリングをP（Y）、すなわち、xが一定の分布p（Y、X）に従うものとします。
別のモデルは、GaNなどのデータを、生成するために使用される生成アルゴリズムが定義されています。
モデルとの違いを区別してモデルを生成します。
モデルp（X | Y）を生成しようとしている、|判別モデルを探していると、P（X、Y）です。
ほとんどの分類アルゴリズムは、判別モデルを学習しています。
生成モデル：ベイズ分類、ガウス混合モデル、隠れマルコフモデル、制限付きボルツマンマシン、世代ネットワークに対して。
判別モデル：決定木、k最近傍アルゴリズム、人工ニューラルネットワーク、サポートベクターマシン、ロジスティック回帰、AdaBoostのアルゴリズム（ロジスティック確率で使用されるが、それは、P（のyの直接計算で| X）、すなわちサンプルがクラスに属します確率は、P（X | Y）にX上の確率分布を仮定しない、P （Y） モデリング）。
分類問題を解決するには本質的に異なるものです。
緻密疎が関係しない分布のサンプルオベイどの種類の両側のように、分割ラインを見つけるために直接判別モデル。生成モデルは、サンプルが確率のクラスに属するカウント再び、服従の両側のサンプルの分布を計算することです。
評価：
このアルゴリズムは、長所と短所、その評価の導入を比較するので。その正確性や精度の尺度に基づいている問題の同種良好どのようなアルゴリズムを決定するために、異なるアルゴリズムがそれを解決することができていてもよいが、呼び出されるため、他の指標があるアルゴリズムの速度です。
分類と回帰問題のために、精度のその定義は同じではありません。
正しく分類されたサンプル/試験試料の合計数の精度で表される分類問題のために、サンプルがあるため、統計精度のトレーニングセットを用いて、統計的精度テストセットとトレーニングセットとテストセット（互いに素とトレーニングセット）に分割されていますそれは意味がありません。
分類はイエスとノー質問ですが、それは継続的な回帰実際の値がYESと答えて何もすることができないではありませんので、回帰問題の評価は、それが回帰エラーであることを回帰エラー
。
回帰誤差の精度：