Pochopení a vyhnutí se nadměrné normalizaci v modelech strojového učení

Overnormalizace je jev, ke kterému dochází, když je model trénován příliš dobře na trénovacích datech, a v důsledku toho se stává příliš specializovaným na tento konkrétní soubor dat. To může způsobit, že model bude na nových, neviditelných datech fungovat špatně, protože se nenaučil zobecňující rysy nebo vzorce, které lze použít v širším rozsahu situací. a nezískává z dat dostatek zobecňujících znalostí. Výsledkem je, že model nemusí být schopen dobře zobecnit na nová, neviditelná data. Overfitting: K tomu dochází, když je model trénován příliš dobře na trénovacích datech a stává se příliš specializovaným na tento konkrétní soubor dat.
2. Únik dat: K tomu dochází, když trénovací data nejsou reprezentativní pro skutečnou distribuci dat a model se učí spíše zkreslení a omezení trénovacích dat než základní vzorce a vztahy.
3. Složitost modelu: K tomu dochází, když je model příliš složitý a má příliš mnoho parametrů vzhledem k množství dostupných tréninkových dat.
4. Nedostatek regularizace: K tomu dochází, když model není dostatečně penalizován za složitost a je povoleno začlenit šum do trénovacích dat spíše než do základních vzorců a vztahů. . Regularizace: To zahrnuje přidání penalizačního členu do funkce ztráty, aby se zabránilo velkým závažím nebo složitým modelům.
2. Včasné zastavení: Jedná se o zastavení trénovacího procesu dříve, než model přeplní trénovací data.
3. Rozšíření dat: Zahrnuje generování dalších trénovacích dat aplikací náhodných transformací na existující data, jako je rotace, změna měřítka a překlápění.
4. Ensemble metody: To zahrnuje kombinování více modelů pro zlepšení zobecnění, jako je pytlování a posilování.
5. Křížová validace: Zahrnuje rozdělení dat do více záhybů a trénování modelu na jednom záhybu a jeho vyhodnocení na zbývajících záhybech.