Що таке базова модель?
Базова модель (анг. foundation model) - це велика модель AI, попередньо тренована на величезному наборі даних (текст, зображення, код, аудіо) без спеціалізації. Приклади: GPT-4, Claude, Gemini, Llama, Bielik (польська). Базова модель - це "фундамент", який згодом адаптується до конкретних застосувань.
Від базової моделі до спеціалізації
Сама базова модель - це універсаліст - вона вміє багато чого, але нічого особливо добре в бізнесовому контексті. Адаптація відбувається через: fine-tuning (додаткове тренування на даних домену), RAG (постачання контексту з баз знань), prompt engineering (системні інструкції, що визначають роль і обмеження) і RLHF (навчання з людського фідбеку).
Базові моделі в Польщі
Польський екосистема AI розвиває свої власні базові моделі: Bielik (SpeakLeash, 7-11B параметрів, оптимізований для польської) і PLLuM (Cyfronet AGH, проект LUMI). Ці моделі краще розуміють польську граматику, відміну і культурний контекст, ніж глобальні моделі.