X'inhu LLM Routing?
LLM Routing hija t-teknika ta' direzzjoni awtomatika tal-mistoqsijiet lejn il-mudell tal-IA l-aktar xieraq ibbażat fuq il-kumplessità tal-kompitu, il-kwalità meħtieġa u l-baġit. Minflok tibgħat kull mistoqsija lill-mudell l-aktar għali, ir-router janalizza l-kontenut u jagħżel il-mira ottimali.
Kif jaħdem ir-routing multi-livell?
Is-sistema jikklassifika l-mistoqsijiet deħlin u jirroutjahom lejn il-livell xieraq. Mistoqsijiet sempliċi ta' FAQ imorru lejn mudelli veloċi u rħas. Kompiti ta' kumplessità medja jiġu mmaniġġjati minn mudelli ta' livell medju. Biss problemi verament kumplessi li jeħtieġu raġunament profond jaslu l-mudelli premium l-aktar għaljin.
Tifħir fl-ispejjeż
Ir-routing multi-livell jista' jnaqqas l-ispejjeż tal-API bi 60-80% mingħajr telf fil-kwalità. Iċ-ċavetta hija l-klassifikazzjoni korretta — is-sistema għandu jirrikonoxxi li "x'inhi t-temp?" ma jeħtieġx l-istess mudell bħal "ipprepara analiżi ta' due diligence."