Que sont les capacités émergentes ?
Les capacités émergentes sont des compétences IA absentes ou minimales dans les petits modèles mais qui apparaissent soudainement et de manière inattendue lors du passage à une certaine plage de paramètres. Les exemples comprennent le raisonnement multi-étapes, l'arithmétique, la pensée analogique et la génération de code — des capacités qui ne se sont pas améliorées graduellement mais sont apparues qualitativement à un seuil. Cela suggère que la mise à l'échelle n'améliore pas seulement les capacités existantes mais en permet fondamentalement de nouvelles.
Implications pour les entreprises
Les capacités émergentes ont des implications pratiques significatives. Elles rendent les capacités IA plus difficiles à prévoir — un modèle peut soudainement maîtriser des tâches pour lesquelles il n'a pas été explicitement développé. Cela offre des opportunités (capacités utiles inattendues) et des risques (capacités inattendues potentiellement nuisibles).
État de la recherche
La science débat encore si les capacités émergentes sont véritablement discontinues ou des artefacts de la métrique de mesure. Indépendamment de la résolution théorique, les modèles de pointe démontrent des capacités qui n'étaient pas extrapolables de l'entraînement sur de plus petits jeux de données.