Qu'est-ce que le cache sémantique ?
Le cache sémantique est une technique d'optimisation pour les systèmes IA dans laquelle les réponses aux requêtes précédentes sont réutilisées sur la base d'une similarité sémantique (et non d'une correspondance exacte du texte). Lorsqu'une nouvelle requête est sémantiquement similaire à une requête en cache, la réponse stockée est renvoyée sans rappeler le LLM.
Implémentation technique
Le cache sémantique utilise des modèles d'embedding pour représenter les requêtes sous forme de vecteurs et la recherche par similarité dans une base de données vectorielle pour trouver des requêtes en cache sémantiquement similaires. Un seuil de similarité configurable détermine quand une réponse en cache peut être utilisée. Des outils comme GPTCache proposent des implémentations prêtes à l'emploi.
Valeur pour les entreprises
Dans des environnements de production à nombreux utilisateurs, des requêtes sémantiquement similaires peuvent être fréquentes (p. ex. FAQ de support client). Le cache sémantique peut réduire les coûts de l'API LLM de 20 à 60% et améliorer considérablement les temps de réponse. Particulièrement précieux pour les systèmes RAG avec une base de connaissances stable.