了解深度学习中的标准化和非标准化

在深度学习的背景下，归一化是指将输入数据重新调整为平均值为 0、标准差为 1 的过程。这样做通常是为了防止模型对输入数据的规模敏感，并且提高模型对新数据的泛化能力。非标准化是撤消应用于输入数据的标准化变换的过程。这通常是在模型的前向传递之后完成的，以便模型的输出与输入具有相同的比例。例如，如果我们有一个以图像作为输入并输出特征图的模型，我们可能通过减去平均值并除以标准差，对输入图像应用归一化。在前向传递之后，我们将通过添加平均值并乘以标准差来对输出特征图进行非标准化。这确保了输出特征图与输入图像具有相同的比例。非标准化是许多深度学习流程中的重要步骤，因为它允许我们将模型的输出与输入进行比较，并可视化模型学到的特征模型。它还允许我们对多个模型使用相同的输入数据，而不必担心输入的规模影响结果。