Что такое базовая модель?
Базовая модель (англ. foundation model) — это крупная модель AI, предварительно обученная на огромном наборе данных (текст, изображение, код, аудио) без специализации. Примеры: GPT-4, Claude, Gemini, Llama, Bielik (польская). Базовая модель — это «фундамент», который затем адаптируется под конкретные применения.
От базовой модели к специализации
Сама базовая модель — универсал: умеет многое, но ничего особенно хорошо в бизнес-контексте. Адаптация происходит через: fine-tuning (дообучение на доменных данных), RAG (предоставление контекста из баз знаний), prompt engineering (системные инструкции, определяющие роль и ограничения) и RLHF (обучение на основе обратной связи от людей).
Базовые модели в Польше
Польская экосистема AI развивает собственные базовые модели: Bielik (SpeakLeash, 7-11 млрд параметров, оптимизирован под польский язык) и PLLuM (Cyfronet AGH, проект LUMI). Эти модели лучше понимают польский синтаксис, склонение и культурный контекст, чем глобальные модели.