Τι είναι το Mixture of Experts;
Το Mixture of Experts (MoE) είναι μια αρχιτεκτονική νευρωνικών δικτύων που αποτελείται από πολλαπλά εξειδικευμένα υπο-δίκτυα (experts) και έναν μηχανισμό gating που αποφασίζει ποιοι experts ενεργοποιούνται για κάθε είσοδο. Αντί για ενεργοποίηση ολόκληρου του δικτύου, μόνο 2-4 experts από δεκάδες ή εκατοντάδες χρησιμοποιούνται ανά token.
Αυτό επιτρέπει κλιμάκωση σε τεράστιες χωρητικότητες μοντέλου (π.χ. 1 τρισ. παραμέτρους) διατηρώντας χαμηλό υπολογιστικό κόστος ανά inference.
Παραδείγματα MoE Μοντέλων
Το Mixtral 8x7B είναι ένα δημοφιλές open-source MoE μοντέλο. Αναφορές υποδεικνύουν ότι το GPT-4 χρησιμοποιεί MoE αρχιτεκτονική. Τα Google Switch Transformer και GLaM είναι ερευνητικά παραδείγματα.
Πλεονεκτήματα και Προκλήσεις
MoE επιτρέπει καλύτερη ακρίβεια ανά FLOP υπολογισμού. Ωστόσο, απαιτεί περισσότερη μνήμη GPU (όλοι οι experts πρέπει να φορτωθούν) και η εκπαίδευση είναι πιο πολύπλοκη λόγω ανισορροπιών φορτίου μεταξύ experts.