Što je semantičko keširanje?
Semantičko keširanje je tehnika koja keširava LLM odgovore i dohvaća ih za semantički slične upite — bez ponovne inferencije. Za razliku od tradicionalnog keširanje koje zahtijeva identičan upit, semantičko keširanje koristi vektorsku sličnost za prepoznavanje da su 'Koja je glavna prednost AI-ja?' i 'Koje su prednosti korištenja AI-ja?' u biti isti upit.
Arhitektura
Svaki upit se embedira i uspoređuje s keš-ovanim vektorima. Ako sličnost premašuje prag (npr. 0.9 kosinus sličnost), vraća se keširan odgovor. Ako ne, upit ide na LLM, odgovor se sprema u keš. GPTCache, Redis s vektorskim pretraživanjem ili embedding + Qdrant su tipični implementacijski pristupi.
Poslovne koristi
Semantičko keširanje pruža: smanjenje troškova API-ja 20-60% u primjenama s ponavljajućim upitima (FAQ botovi, korisnička podrška), dramatično smanjenje latencije za keširane upite, i smanjeno opterećenje rate-limiting. Kompromis: keširan odgovor može biti zastarjel ako se temeljna baza znanja promijenila — zahtijeva politiku isteka kešove.