Kaj so zakoni skaliranja?
Zakoni skaliranja so empirično odkrita matematična razmerja, ki opisujejo, kako se zmogljivost nevronskih mrež predvidljivo izboljšuje s povečanjem velikosti modela, računanja in učnih podatkov — navadno po potenci.
Zakoni skaliranja Chinchilla
DeepMindovo delo »Chinchilla« (2022) je razkrilo, da so bili prejšnji LLM-ji preveč usposobljeni za premalo podatkov. Optimalno razmerje: za vsako povečanje velikosti modela je treba sorazmerno skalirati tudi podatke.
Posledice za poslovanje
Zakoni skaliranja pomenijo, da je mogoče zmogljivost UI napovedovati in vnaprej načrtovati. Za organizacije: večji modeli za zapletene naloge, manjši za preproste (optimizacija stroškov).