深層学習における正規化と非正規化を理解する

深層学習のコンテキストでは、正規化とは、平均が 0、標準偏差が 1 になるように入力データを再スケーリングするプロセスを指します。これは通常、モデルが入力データのスケールに敏感にならないようにするために行われます。新しいデータに対するモデルの一般化を改善します。

非正規化は、入力データに適用された正規化変換を元に戻すプロセスです。これは通常、モデルの出力が入力と同じスケールになるように、モデルの前方パスの後に行われます。たとえば、画像を入力として受け取り、特徴マップを出力するモデルがある場合、次のようになります。平均を減算し、標準偏差で割ることにより、入力画像に正規化を適用します。前方パスの後、平均を加算し、標準偏差を乗算することにより、出力特徴マップを非正規化します。これにより、出力特徴マップが入力画像と同じスケールを持つことが保証されます。非正規化は、モデルの出力を入力と比較し、モデルによって学習された特徴を視覚化できるため、多くの深層学習パイプラインにおいて重要なステップです。モデル。また、結果に影響を与える入力の規模を心配することなく、複数のモデルに同じ入力データを使用することもできます。