Alluċinazzjonijiet LLM — kif jissibu, jonqsu u jamministraw ir-riskju fil-produzzjoni

X’inhuma l-alluċinazzjonijiet u għaliex jiĊru

L-alluċinazzjoni fl-LLM hi l-ğenerazzjoni ta’ informazzjoni li tinstema’ kred-ibbli, iżda hi fattwalment mhux vera jew bla ğustifikazzjoni. Mhux „żball” fis-sens ta’ fallut tas-sistema — hi konsegwenza ta’ kif jaħdmu l-mudelli lingwistici. L-LLM ma „tafx” bħal database — tippredici l-aktar token subağent probabbli, bażat fuq l-istatistika tat-tagħlim. Meta fil-prompt tiği mistoqsija li għaliha l-mudell m’għandux kopertura tajba fid-data tat-taħriğ, jiggenera t-tweğiba „l-aktar probabbli skond is-storja”. Spiss din it-tweğiba hi korretta. Xi drabi — le.

Xenarji tipiċi ta’ alluċinazzjonijiet f’applikazzjonijiet tan-negozju:

• Ciċjonar ta’ sentenzi tal-qorti mhux eżistenti jew paragrafi tal-liğijiet f’konsulenza legali
• Bdiema ta’ ismijiet ta’ funzjonijiet, klassijiet jew libreriji fl-ğenerazzjoni tal-kodiċi
• Għoti ta’ statistiki jew dati żbaljati f’rapporti
• Bdiema ta’ kuntatti, indirizzi, numri tat-telefon
• Taħlit ta’ fatti dwar kumpaniji jew persuni differenti b’ismijiet simili

Saff 1 — Grounding (RAG)

L-aktar teknika effiċaċi waħda għat-tnaqqis tal-alluċinazzjonijiet hi l-grounding — tipprovdi lill-mudell dokumenti jew data konkreti bħala kuntest, li minnu jrid jiehu t-tweğibiet. RAG klassiku (Retrieval-Augmented Generation):

• Mistoqsija tal-utent → tfittxija għall-aktar fragmenti relevanti tad-dokumenti (vector search f’database pgvector / Qdrant / Milvus)
• Fragmenti + mistoqsija → prompt b’istruzzjoni „wieğeb biss bażat fuq id-dokumenti hawn taħt”
• Tweğiba tal-mudell → verifika li jkun fih ċitazzjonijiet/riferimenti għal sorsi

RAG tnaqqas l-alluċinazzjonijiet tipikament b’60-80% f’applikazzjonijiet tip „wieğeb mistoqsijiet dwar il-knowledge base tagħna”. Ma jeliminawhomx kollha — il-mudell jista’ għadu „jinterpreta” d-dokumenti b’mod mhux awtorizzat. Min hawn il-bzonn ta’ saffi addizzjonali.

Saff 2 — Self-consistency u ensemble

Self-consistency hi teknika li tikkonsisti fil-staqsija tal-istess mistoqsija diversi drabi (jew lil bosta mudelli differenti) u paragun tat-tweğibiet. Meta t-tweğibiet huma konsistenti — fiduċja għolja. Meta jvarjaw — sinjal li s-suğğett huwa inċert.

Varjant prattiku: itlob lil Claude Sonnet, Llama 70B u Bielik l-istess mistoqsija. Jekk it-tlieta jżarru l-istess numru, data, fatt — probabbli korrett. Jekk jvarjaw — eskalazzjoni għal bniedem jew mudell aktar għali (Opus). Dan il-mudell, implimentat fl-routing LLM ta’ 8 livelli, jgħaqqad tnaqqis fl-ispiża ma’ titjib tal-affidabbiltà.

Saff 3 — Evaluation pipelines

L-implimentazzjoni tal-produzzjoni LLM mingħajr evaluation pipeline hi bħal kitba ta’ kodiċi mingħajr testijiet. Metriki konkreti:

• Faithfulness — jekk it-tweğiba toħroğ mid-dokumenti pprovduti. Imkejjla minn tieni mudell AI (LLM-as-judge) jew librerija tip RAGAS, deepeval.
• Answer relevance — jekk it-tweğiba tindirizza l-mistoqsija tal-utent.
• Context precision — jekk l-aqwa fragmenti ngħataw lura mir-retrieval (kwalità tal-vector search).
• Groundedness score — perċentwali ta’ dikjarazzjonijiet fit-tweğiba li għalihom tista’ tindika sors fil-kuntest.

Kull build ğdid ta’ applikazzjoni bażata fuq LLM għandu jgħaddi minn sett ta’ 50-500 mistoqsijiet ta’ evaluation b’ground truth maqgħud. Jekk il-faithfulness jaqa’ taħt id-90% — deployment imblukkat.

Saff 4 — Guardrails u validazzjoni tal-output

Guardrails huma regoli li jivalidaw l-output tal-LLM qabel ma jingibilu lill-utent. Eżempji:

• Schema validation — l-output irid jissħiħ skema speċifika (JSON Schema, Pydantic). Alluċinazzjonijiet tat-tip „fields invented” jinstabu mekkanikament.
• Forbidden patterns — sib u imblokk ta’ mudelli mhux aĊĊettabbli (PII mingħajr maskerar, data finanzjarja barra mill-kuntest, kontenut potenzjalment perikoluż).
• Citation enforcement — kull dikjarazzjoni fattwali trid ikollha ċitazzjoni tas-sors. Jekk il-mudell ma jirreferix — it-tweğiba tiği miĊĊahda.
• Numeric range validation — numri fl-output iĊĊekkjati għal sens (ngħidu, prezz > 0, data ≤ illum, perċentwali fil-medda 0-100).
• Cross-reference check — paragun tal-output ma’ bażi ta’ fatti (ngħidu, KRS, dictionary ta’ ċitazzjonijiet tal-liğijiet).

Libreriji: Guardrails AI, NeMo Guardrails, instructor (għal schema enforcement). Implimentazzjoni proprja spiss aktar sempliċi u irxħas biex tżomm.

Saff 5 — Human-in-the-loop

Għal applikazzjonijiet b’riskju għoli (deċiżjonijiet legali, mediċi, finanzjarji, ta’ HR) is-saff human-in-the-loop hu indispensabbli. Il-mudelli AI ma jieħdux id-deċiżjoni finali — jappoğğjaw lill-bniedem. Mudelli konkreti:

• Draft + review — l-AI jiggenera l-ewwel verżjoni tad-dokument/tweğiba, il-bniedem jivverifika u jaĊĊetta qabel ma jibgħat.
• Confidence threshold — tweğibiet b’confidence baxxa (minn self-consistency jew explicit confidence asking) eskalati awtomatikament lill-bniedem.
• Random sampling QA — 5-10% tat-tweğibiet kollha tal-LLM jiğu verifikati manwalment, irrispettivament mill-confidence — metrika ta’ kwalità bażika ma’ ż-żmien.
• Feedback loop — l-utent jista’ jimmarka tweğiba żbaljata; is-sistema titgħallem u ttejjeb retrieval, prompts, parametri.

Kejl — kif tkun taf li t-tnaqqis jaħdem

Metriki konkreti tal-produzzjoni li valur monitorğjaw:

• Rata ta’ alluċinazzjoni — perċentwali tat-tweğibiet klassifikati bħala alluċinazzjoni fil-valutazzjoni manwali (sampling). Għan: taħt 2% għal applikazzjonijiet business-critical.
• User feedback rate — perċentwali ta’ utenti li mmarkaw tweğiba bħala żbaljata.
• Escalation rate — perċentwali ta’ mistoqsijiet eskalati lill-bniedem. Baxx hafna (taħt 5%) — is-sistema probabbli taqbeż każijiet inċerti. Hekk għoli (fuq 30%) — is-sistema ma tagħtix valur ta’ awtomazzjoni.
• Faithfulness score fit-testijiet ta’ regressjoni — xejra ta’ kull xahar.
• Time-to-correction — mis-sibu tal-alluċinazzjoni sa l-implimentazzjoni tal-korrezzjoni (retrieval aħjar, guardrail ğdid, fine-tuning).

Konklużjonijiet għad-deċiżorji

L-alluċinazzjonijiet huma maniġġabbli — jitolbu investiment fl-arkitettura difensiva fuq bosta saffi. Kumpaniji li jimplimentaw LLM mingħajr din l-arkitettura, kmieni jew tard jiltaqgħu ma’ inċident serju (pubblikazzjoni ta’ informazzjoni żbaljata lill-klijent, deċiżjoni żbaljata bażata fuq data alluċinata, dannu għar-reputazzjoni). L-ispiża tal-bini ta’ stack difensiv komplet (RAG + evaluation + guardrails + human-in-the-loop) tipikament hi 15-30% tal-ispiża tal-implimentazzjoni tal-LLM nnifsu — u hu investiment assolutament meħtieğ għal applikazzjonijiet tal-produzzjoni. Il-konsegwenzi tal-ommissjoni huma asimmetriċi: spiża baxxa tal-ommissjoni fl-95% tal-każijiet, katastrofika fil-5%.