Backbones in Machine Learning: Κατανόηση της Θεμελίωσης των Μοντέλων Deep Learning

Στο πλαίσιο της μηχανικής μάθησης, η ραχοκοκαλιά είναι ένα προεκπαιδευμένο νευρωνικό δίκτυο που χρησιμεύει ως βάση για την κατασκευή πιο περίπλοκων μοντέλων. Η ραχοκοκαλιά είναι συνήθως ένα συνελικτικό νευρωνικό δίκτυο (CNN) ή ένα επαναλαμβανόμενο νευρωνικό δίκτυο (RNN) και εκπαιδεύεται σε ένα μεγάλο σύνολο δεδομένων για να μάθει γενικά χαρακτηριστικά που μπορούν να χρησιμοποιηθούν ως σημείο εκκίνησης για άλλα μοντέλα.

Η ιδέα πίσω από τη χρήση ενός βασικού άξονα είναι να αξιοποιήσει τις γνώσεις και τις δυνατότητες που έχει ήδη μάθει το προεκπαιδευμένο μοντέλο, αντί να εκπαιδεύσει ένα νέο μοντέλο από την αρχή. Αυτό μπορεί να εξοικονομήσει χρόνο και υπολογιστικούς πόρους και μπορεί επίσης να οδηγήσει σε καλύτερη απόδοση, επειδή η ραχοκοκαλιά έχει ήδη μάθει να αναγνωρίζει ορισμένα χαρακτηριστικά και μοτίβα στα δεδομένα. Ένας τύπος CNN που χρησιμοποιείται συνήθως ως ραχοκοκαλιά για εργασίες ταξινόμησης εικόνων.
* VGG (Ομάδα Οπτικής Γεωμετρίας): Ένας άλλος τύπος CNN που χρησιμοποιείται συχνά ως βάση για εργασίες ταξινόμησης εικόνων.
* Δίκτυα έναρξης: Ένας τύπος CNN που έχει σχεδιαστεί για να καταγράφει χαρακτηριστικά πολλαπλής κλίμακας και χρησιμοποιείται συχνά ως βάση για εργασίες όρασης υπολογιστή.
* LSTM (Μακροπρόθεσμη Μνήμη): Ένας τύπος RNN που χρησιμοποιείται συνήθως ως βάση για διαδοχικά δεδομένα, όπως ομιλία ή κείμενο.

Μόλις εκπαιδευτεί η ραχοκοκαλιά, μπορεί να ρυθμιστεί με ακρίβεια για μια συγκεκριμένη εργασία προσθέτοντας πρόσθετα επίπεδα στην κορυφή της ραχοκοκαλιάς ή προσαρμόζοντας τα βάρη και τις προκαταλήψεις των υπαρχόντων επιπέδων. Αυτή η διαδικασία επιτρέπει στο μοντέλο να προσαρμοστεί στη νέα εργασία, ενώ εξακολουθεί να αξιοποιεί τις γνώσεις και τις δυνατότητες που έχει μάθει η ραχοκοκαλιά.