Was sind Skalierungsgesetze?
Skalierungsgesetze (Scaling Laws) beschreiben predictable mathematische Beziehungen zwischen der Größe eines Sprachmodells (Anzahl der Parameter), der Menge der Trainingsdaten und dem verwendeten Rechenbudget auf der einen Seite und der resultierenden Modellleistung auf der anderen Seite. Sie wurden durch Forschung von OpenAI und DeepMind empirisch belegt.
Kernaussagen
Die wichtigsten Erkenntnisse: Modellleistung verbessert sich zuverlässig mit mehr Parametern, mehr Daten und mehr Rechenleistung — und zwar in vorhersagbaren, power-law-artigen Mustern. Chinchilla-Skalierungsgesetze zeigten, dass viele Modelle "überparametrisiert" waren und mit weniger Parametern, aber mehr Daten effizientere Leistung erreichen können.
Praktische Auswirkungen
Skalierungsgesetze helfen Unternehmen und Forschern, Rechenbudgets optimal zu verteilen: Wieviel Parameter braucht ein Modell? Wieviel Trainingsdaten? Sie ermöglichen es auch, die Leistung größerer Modelle vorherzusagen, bevor diese trainiert werden — was kostspielige Experimente reduziert.