Què és la Barreja d'experts?
Barreja d'experts (MoE) és una arquitectura de xarxa neuronal que combina múltiples subxarxes "expert" especialitzades. Una xarxa de porta (router) decideix dinàmicament quins experts s'activen per a una entrada donada. En lloc d'utilitzar tots els paràmetres per a cada entrada, MoE només activa un subconjunt d'experts, el que augmenta significativament l'eficiència.
Vantatges i implementació
MoE permet construir models amb molt més paràmetres sense augmentar proporcionalment el cost computacional. GPT-4 i Mixtral utilitzen arquitectures MoE i aconsegueixen un alt rendiment a menor cost d'inferència. Típicament, en els models MoE només s'activen 2-8 dels molts experts per token.
Relevància empresarial
Per a les empreses, MoE ofereix la possibilitat d'operar IA potent a costos d'inferència significativament reduïts. Els models MoE poden desenvolupar experiència especialitzada per a diferents tipus de tasques, el que és especialment beneficiós per a aplicacions empresarials versàtils.