1.4指標の満足と最適化-深層学習レッスン3「構造化機械学習プロジェクト」-スタンフォードウーエンダ教授

メトリックの満足と最適化

検討するすべてのものを1つの実際の評価指標に組み合わせるのは簡単なことではない場合があります。その場合、満足度と最適化の指標を設定することが重要な場合があります。その意味を説明しましょう。

猫分類器の分類精度を重視すると決めたとすると、これは $F_1$精度を測定するためのスコアまたはその他の指標。しかし、正確さに加えて、実行時間も考慮する必要があります。これは、画像を分類するのにかかる時間です。分類子 $あ$は80ミリ秒かかります。 $B$は95ミリ秒かかります。 $C$は1500ミリ秒かかります。つまり、画像の分類に1.5秒かかります。

精度と実行時間を総合評価指標に組み合わせることで、これを行うことができます。したがって、たとえば全体的なコストは $cost = accuracy-0.5 * runningTime$、この組み合わせは慎重すぎる可能性があります。この式は、精度と実行時間、2つの値の線形加重和を組み合わせるためにのみ使用してください。

他のことを行うこともできます。つまり、精度を最大化できるが、実行時の要件を満たす必要がある分類子を選択できます。つまり、画像の分類に必要な時間は100ミリ秒以下でなければなりません。したがって、この場合、精度は最適化の指標であると言います。精度を最大にしたい、できるだけ正確にしたいのですが、実行時間は満足度インジケータと呼ばれるものであり、十分でなければなりません。たった100ミリ秒もかかりません。到達したら、このインジケーターがどれほど優れているか気にしないか、少なくともそれほど気にしません。したがって、これはかなり合理的なトレードオフ、または精度と実行時間の組み合わせです。実際の状況では、実行時間が100ミリ秒未満である限り、ユーザーは実行時間が100ミリ秒と50ミリ秒のどちらであるか、またはそれより速いかを気にしません。

最適化と会議の指標を定義することで、「最良の」分類子を選択する明確な方法を提供できます。この場合、分類子Bが最適です。これは、実行時間が100ミリ秒未満のすべての分類子の中で最も精度が高いためです。

より一般的には、考慮したい場合 $N$指標。最適化指標としてそれらの1つを選択することが妥当な場合があります。したがって、そのインジケーターをできるだけ最適化し、残りを最適化したい $N-1$インジケーターがインジケーターと一致します。つまり、特定のしきい値に達している限り、たとえば実行時間が100ミリ秒よりも高速ですが、特定のしきい値に達している限り、そのしきい値を超えた後のパフォーマンスは気になりませんが、このしきい値に達する必要があります。

ウェイクアップワード（トリガーワードとも呼ばれる）を検出するシステムを構築していると仮定した別の例を次に示します。これは音声制御デバイスを指します。たとえば、Amazon Echoの場合、「Alexa」と言うか、「Okay Google」を使用してGoogleデバイスをウェイクアップします。Appleデバイスの場合は、「Hey Siri」と言うか、バイドゥデバイスの場合、「Hello Baidu」を使用してウェイクアップします。

はい、これらはウェイクアップワードです。これらの音声制御デバイスをウェイクアップしてから、あなたが言いたいことを聞くことができます。したがって、トリガーワード検出システムの精度に気を配ることができます。そのため、誰かがトリガーワードの1つを言ったときに、デバイスをウェイクアップできる可能性はどれくらいありますか。

また、誤検知（false positives）の数を考慮する必要がある場合もあります。つまり、トリガーワードを誰も発声していない場合、ランダムに起こされる可能性はどのくらいありますか？したがって、この場合、これら2つの評価指標を組み合わせる合理的な方法は、精度を最大にすることです。したがって、誰かがウェイクアップワードを言うと、デバイスがウェイクアップされる可能性が最大になり、24時間で最大1つの誤検知しか発生しないことを満足する必要があります。そのため、デバイスが起動するのは1日1回だけで、実際には誰も話していません。したがって、この場合、精度は最適化インデックスであり、24時間ごとの誤検出の発生は満足度インデックスです。24時間ごとに最大1つの誤検出を行うだけで済みます。

要約すると、たとえば、最適化インジケーターがあるなど、複数のインジケーターを考慮する必要がある場合は、可能な限り最適化する必要があり、1つ以上の満足度インジケーターがあり、満たす必要があり、特定のしきい値に到達する必要があります。これで完全に自動化された方法が実現しました。複数のコストを観察する場合は、「最適な」方法を選択してください。これらの評価指標は、トレーニングセット、開発セット、またはテストセットで計算または計算する必要があります。そのため、もう1つ、トレーニングセット、開発セット、テストセットを設定する必要があります。次のビデオでは、トレーニング、開発、およびテストセットのセットアップ方法に関するいくつかのガイドラインを紹介したいと思います。

コースPPT