機械学習モデルの設計の後、だけでなく、最初の一歩、調整後のモデルの非常に重要な部分は、機械学習であります
後半調整モデルの前に言った、その後、ソートマシンモデルの設計の基本的なステップアウト
1.分析データ:分析、データ処理
2.デザインモデル:神経オーバーレイモジュール、活性化関数の選択
3.損失関数:モデルが良いかどうかを評価します
4.最適化関数:損失関数を最小化することによって、神経調整パラメータモジュール、典型的には、GD(勾配下降)、SGD(確率的勾配降下法)、アダム(ADA +モメンタム+適応運動量)
トレーニングセット:最適化機能を実行することにより、設計サイクルのモデルのパラメータを調整するために、トレーニングセットを使用して
6.検証セット:訓練された出力機能のどの損失を見るために試験パラメータのトレーニングセットを使用して
7.テストセット:検証セットと同様に、バリデーションセットは主にテストセットの分離に起因する与えないことがあり、それ自体が検証セットを分割する必要があります
モデルのパフォーマンスの低下とき、私たちはそれを改善する方法をモデル化する必要がありますか?
改善されたテストセット
まず、我々は自分自身、良いかテストセット(トレーニングセット)内でのモデルの悪いパフォーマンスを依頼する必要があります!
私は、テストセットのパフォーマンスを見る前に、実際にモデルが焦点にテストされている場合は、基本的にはない可能性の高いテスト・セットでは良い結果を得るために、うまく行っています
だから、テストセットの効果は非常に良い得るためにするとき、我々は方法がそれを改善するためのモデルを持っていますか?
ニューロンの数
ネットワークの各レイヤでは、適切なニューロンの数を調整します。理論的には、ニューロンが任意の関係を表すことができる層の数を有し、ニューロンの数を増加させるのに適切であり得ます。しかし、それは極端に会い、あまりにも高く設定することはできません。
アクティベーション機能
SIGMOD、relu、双曲線正接、softplus、softsign、リニア
損失関数
MSE(平均二乗)クロスエントロピ
最適化機能
GD、SGD、mini_batch、アダム
これは、mini_batchは特別SGDとみなすことができ、バッチではなく、データを取得した後、パラメータの更新、それはすべてのSGDに更新されます
アダムは最適値から、最適値から学習速度が大きいほど、より小さな距離、小さな学習レート、適応学習レート調整で
改善されたテストセット
トレーニングセットがうまく機能すると、テストは悪い効果を設定し、それが現在のモデルがoverfitingことを意味します
私たちは、テストがoverfitingパラメータのトレーニングセットした後、テスト・セットを改善するために、これらのメソッドを以下の点を考慮すべきです
早期の停止
状況のテストセットは、損失関数の値は、最初の訓練の数として低下し、その後、特定のポイントに上昇、我々は損失の値を最高のトレーニング時間を見つけるために、検証に焦点を当て発生した場合、早期に中止
正則化
損失関数のパラメータに制約用語を追加し、最初のパラメータは、通常のパラダイムと第二のパラダイムであります
脱落
集合研修を訓練すると、通常のトレーニングでは、テストセット、いくつかのニューロンを失います
平時の訓練の難易度が高く、ゲームに相当し、本当にリラックスしたタイミングを再生します