Q1多次元機能
列の数が上の図の特徴の数であり、行の数は、サンプルの数です。以下の機能を想定します。
ここで、X 0 =。1。
Q2多変量勾配降下
単変量と同じ機能の喪失:
その中でも、
反復以下の導出:
ここでQ3の1-勾配降下スケーリング練習
特性寸法間の変動(例えば、aは0~1000であり、aは0~5である)大きく変化以下に示すように、勾配アルゴリズムは、収束する非常に多数の反復を必要とします。
方法:ほぼ同じスケールにスケーリングされた様々な特徴は、最も簡単な方法は、分散で割った平均値を減算することを特徴とします。次のように:
Q4の勾配降下学習率の練習2 -
小さな学習率は、学習率は、非収束につながる可能性が大きすぎる、遅すぎる収束です。
通常のような、学習率を設定することを検討するために3倍に拡大:0.01,0.03,0.1,0.3,1,3,10 .......
Q5の機能と多項式回帰
たとえば、次モデル:
または三つのモデル:
(および場合でも)新しい機能を作成することにより:
これにより、線形モデルにモデルを変換します。
Q6正規方程式
前提:いくつかの線形回帰問題のために、正式な式の使用は、(誘導体がゼロ方程式解法である)一の段階で解決されます。以下
直接の原因
。
直接引数のソリューション:
(Xは、X含ま0 =を1)。(式中、Xは、特徴値の動作の一例としての第1列の残りの部分です)
より正式な式勾配降下:
Q7正規方程式と不可逆性:
(1)場合フィーチャ間の不可逆的相互に独立ではありません。
不可逆(2)特徴の数よりも少ないサンプル数。
語彙
複数の線形回帰多変量線形回帰 機能のスケーリング---機能スケーリング 非線形関数を---非線形関数 の正規方程式---通常の方程式