Какво е инференция?
Инференцията е процес, при който обучен AI модел обработва входни данни и генерира резултат (отговор, класификация, прогноза). Това е етапът на „използване“ на модела — за разлика от обучението, което го създава.
Разходи и производителност на инференцията
В продукция инференцията е доминиращият разход за AI: всяка заявка = токени = такса за API. Оптимизацията включва: квантизация (намаляване на прецизността на модела, напр. от fp16 до int8 — 2 пъти по-бързо, 2 пъти по-евтино), batching (групиране на заявки), спекулативно декодиране и KV cache.
Локална vs облачна инференция
Локалната инференция (на фирмени сървъри) елиминира разходите за API и притесненията за поверителност, но изисква GPU хардуер. Облачната инференция е гъвкава, но генерира разходи и рискове за съответствие. Многослойното маршрутизиране комбинира и двата подхода.