A vasúti sáv szabályosságának megértése mély neurális hálózatokban

A Trainband a gépi tanulással összefüggésben használt kifejezés, különösen a neurális hálózatok területén. Ez egyfajta legalizálási technikára utal, amelyet a mély neurális hálózatok túlillesztésének megakadályozására használnak. Túlillesztésről akkor beszélünk, ha a modell túl jól van betanítva a betanítási adatokon, és túlságosan specializálódott, ami rossz teljesítményt eredményez új, nem látott adatokon. Ez akkor fordulhat elő, ha egy modell túl összetett, és túl sok paraméterrel rendelkezik a rendelkezésre álló képzési adatok mennyiségéhez képest.

A vonatsáv szabályozása úgy működik, hogy a veszteségfüggvényhez egy büntetőtagot ad, amely arra ösztönzi a modellt, hogy egyenletes és folyamatos súlyeloszlással rendelkezzen. szaggatott vagy tüskés eloszlás, amely túlillesztéshez vezethet. A büntetés mértéke a súlyok nagyságán alapul, és az edzés során alkalmazzák, hogy megakadályozzák a túlméretezésre utaló nagy súlyokat.

A vonatsáv szabályozásának ötlete az, hogy ösztönözze a modellt arra, hogy több általánosítható, az edzési adatokra kevésbé jellemző tulajdonságot tanuljon meg. , amely segíthet javítani a teljesítményét az új adatokon. Azáltal, hogy a veszteségfüggvényhez simasági megkötést adunk, a modell arra kényszerül, hogy robusztusabb és átvihetőbb jellemzőket tanuljon meg, ahelyett, hogy a túlzottan speciális jellemzőket, amelyek csak a betanítási adatokon működnének jól.

A vasúti sáv szabályozása hatékonynak bizonyult az általánosítási teljesítmény javításában. mély neurális hálózatok különféle alkalmazásokban, beleértve a képosztályozást, az objektumészlelést és a természetes nyelvi feldolgozást. Jellemzően más rendszeresítő technikákkal, például lemorzsolódással és súlycsökkenéssel együtt alkalmazzák a még jobb eredmények elérése érdekében.