Что такое эмерджентные способности?
Эмерджентные способности (emergent abilities) — феномен, наблюдаемый у крупных языковых моделей, — умения, которые появляются «сами по себе» после превышения определённого порога масштаба модели (числа параметров, объёма обучающих данных). Модель, обученная на тексте, внезапно оказывается способна решать математические уравнения, переводить языки, на которых её явно не обучали, или генерировать код на нишевых языках программирования. Эти способности не были запрограммированы — они возникли из общих паттернов в данных.
Примеры эмерджентности
Логическое рассуждение — модели выше определённого масштаба начинают правильно решать задачи, требующие многих логических шагов. Аналогии и абстракция — способность понимать метафоры, аналогии и переносить знания между доменами. Few-shot learning — решение новых задач на основе нескольких примеров, без fine-tuning. Программирование — генерация кода на языках, слабо представленных в обучающих данных. Эти способности появляются скачкообразно, а не постепенно.
Последствия для бизнеса
Эмерджентность способностей AI имеет практические последствия: новые, более крупные модели способны выполнять задачи, ранее требовавшие специализированных решений. Организациям следует регулярно оценивать новые модели на своих случаях использования — способности, которых не хватало полгода назад, могут быть доступны в новейшем поколении. При этом эмерджентность непредсказуема, что требует осторожного тестирования и мониторинга поведения AI в продакшне.