O que São Capacidades Emergentes?
As capacidades emergentes são habilidades que aparecem subitamente em modelos de IA de grande escala mas que estão ausentes em modelos menores da mesma arquitetura. Estas capacidades não são explicitamente treinadas — surgem como resultado de alcançar limiares críticos de escala em parâmetros do modelo, dados de treino e computação. O fenómeno é notável porque viola a expetativa intuitiva de que o desempenho do modelo melhora gradualmente com a escala.
Exemplos de Capacidades Emergentes
Exemplos documentados incluem raciocínio aritmético multi-etapa (correto apenas em modelos acima de um certo tamanho), raciocínio por analogia, compreensão de instruções em idiomas em que o modelo não foi explicitamente treinado, raciocínio de cadeia de pensamento e certas capacidades de resolução de problemas de lógica. Estes surgiram em diferentes limiares de escala para diferentes capacidades.
Implicações para as Empresas
As capacidades emergentes têm implicações importantes para o planeamento empresarial de IA. Primeiro, sugerem que os investimentos em modelos maiores podem ter retornos desproporcionais — uma capacidade crítica pode simplesmente não existir abaixo de um certo limiar de escala. Segundo, criam desafios de previsibilidade para a avaliação de segurança — as capacidades que surgem com a escala podem incluir comportamentos preocupantes que não eram visíveis durante o desenvolvimento e os testes.