Cad iad siabhráin agus cén fáth a dtarlaíonn siad
Is é siabhrán in LLM ná giniúint faisnéise a fhuaimníonn inchreidte ach atá bréagach nó gan údar maith ó thaobh fíricí. Ní „earráid” é seo i gciall briseadh córais — is iarmhairt é den bhealach a oibríonn múnlaí teanga. Níl a fhios ag an LLM ar an mbealach céanna le bunachar sonraí — tuaraíonn sé an comhartha is dóichí a thiocfaidh ar aghaidh, bunaithe ar staitisticí oiliúna. Nuair a thagann ceist sa phrompa nach bhfuil clúdach maith ag an múnla ina cuid sonraí oiliúna, gineann sé an freagra „a fhuaimníonn is dóichí”. Go minic bíonn an freagra sin ceart. Uaireanta — ní hea.
Cásanna tipiciúla siabhrán i gcásanna úsáide gnó:
- Lua breithiúnais cúirte nó míreanna dlíthe nach bhfuil ann i gcomhairle dlí
- Cumadh ainmneacha feidhmeanna, ranganna nó leabharlanna agus cód á ghiniúint
- Staitisticí nó dátaí míchearta a thabhairt i dtuarascálacha
- Teagmhálaithe, seoltaí, uimhreacha gutháin a chumadh
- Fíricí faoi chuideachtaí éagsúla nó faoi dhaoine le hainmneacha cosúla a mheascadh
Ciseal 1 — Grounding (RAG)
Is é an teicníc aonair is éifeachtaí chun siabhráin a laghdú ná an grounding — doiciméid nó sonraí nithiúla a sholáthar don mhúnla mar chomhthéacs as a gcaithfidh sé na freagraí a tharraingt. RAG clasaiceach (Retrieval-Augmented Generation):
- Ceist an úsáideora → cuardach na sleachta is ábhartha ó dhoiciméid (vector search i mbunachar pgvector / Qdrant / Milvus)
- Sleachta + ceist → prompa le treoir „freagair bunaithe go heisiach ar na doiciméid thíos”
- Freagra an mhúnla → fíorú go bhfuil tagairtí/luaiteanna ag foinsí ann
Laghdaíonn RAG siabhráin go tipiciúil faoi 60-80% i gcásanna úsáide den chineál „freagair ceisteanna faoinár mbunachar eolais”. Ní chuireann sé deireadh leo go hiomlán — is féidir leis an múnla na doiciméid a „léirmhíniú” ar bhealach gan údar i gcónaí. Mar sin tá gá le sraitheanna breise.
Ciseal 2 — Self-consistency agus ensemble
Is teicníc í self-consistency a chuireann an cheist chéanna roinnt uaireanta (nó do roinnt múnlaí éagsúla) agus a chuireann na freagraí i gcomparáid. Nuair atá na freagraí comhsheasmhach — muinín ard. Nuair atá siad éagsúla — comhartha go bhfuil an t-ábhar éiginnte.
Leagan praiticiúil: cuir an cheist chéanna ar Claude Sonnet, Llama 70B agus Bielik. Má thugann na trí cinn an uimhir, dáta, fíric chéanna ar ais — is dócha ceart. Má bhíonn siad éagsúil — ardú chuig duine nó chuig múnla níos costasaí (Opus). Comhcheanglaíonn an patrún seo, atá curtha i bhfeidhm i routing LLM 8-leibhéil, laghdú costais le feabhsú iontaofachta.
Ciseal 3 — Evaluation pipelines
Imscaradh LLM táirgthe gan evaluation pipeline cosúil le cód a scríobh gan tástálacha. Méadrachtaí nithiúla:
- Faithfulness — an dtagann an freagra ó na doiciméid a soláthraíodh. Tomhaiste le dara múnla IS (LLM-as-judge) nó le leabharlann den chineál RAGAS, deepeval.
- Answer relevance — an ndéanann an freagra ceist an úsáideora a réiteach.
- Context precision — an ndearna an retrieval na sleachta is fearr a sheoladh ar ais (cáilíocht vector search).
- Groundedness score — céatadán na ráiteas sa fhreagra ar féidir foinse a thaispeáint dóibh sa chomhthéacs.
Ba cheart go rachadh gach build nua de fheidhmchlár atá bunaithe ar LLM trí shraith de 50-500 ceist mheasúnaithe le ground truth aitheanta. Má thiteann an faithfulness faoi bhun 90% — deployment bactha.
Ciseal 4 — Guardrails agus bailíochtú aschuir
Is rialacha iad guardrails a bhailíochtaíonn aschur an LLM sula seachadtar chuig an úsáideoir é. Samplaí:
- Bailíochtú scéime — ní mór don aschur scéim nithiúil a chomhlíonadh (JSON Schema, Pydantic). Aimsítear siabhráin den chineál „réimsí cumtha” go meicniúil.
- Forbidden patterns — aimsiú agus blocáil patrúin neamh-inghlactha (PII gan maisc, sonraí airgeadais lasmuigh den chomhthéacs, ábhar a d’fhéadfadh a bheith dochrach).
- Citation enforcement — ní mór luachán foinse a bheith ag gach ráiteas fíricí. Mura luann an múnla — diúltaítear an freagra.
- Bailíochtú raonta uimhriúla — seictear uimhreacha san aschur ó thaobh ciall (mar shampla, praghas > 0, dáta ≤ inniu, céatadán sa raon 0-100).
- Cross-reference check — comparáid den aschur le bunachar fíricí (mar shampla KRS, foclóir luachán dlí).
Leabharlanna: Guardrails AI, NeMo Guardrails, instructor (le haghaidh schema enforcement). Is minic gur simplí agus níos saoire é cur i bhfeidhm féin a chothabháil.
Ciseal 5 — Human-in-the-loop
Le haghaidh feidhmchlár ardriosca (cinntí dlí, leighis, airgeadais, AD) tá ciseal human-in-the-loop riachtanach. Ní dhéanann múnlaí IS an cinneadh deiridh — tacaíonn siad leis an duine. Patrúin nithiúla:
- Draft + review — gineann an IS an chéad leagan den doiciméad/fhreagra, fíoraíonn an duine agus glacann sé leis sula seoltar é.
- Confidence threshold — ardaítear freagraí le muinín íseal (ó self-consistency nó ó explicit confidence asking) chuig duine go huathoibríoch.
- Random sampling QA — déantar 5-10% de na freagraí LLM go léir a iniúchadh de láimh, beag beann ar mhuinín — méadracht bonn cáilíochta sa ghnáthlá.
- Feedback loop — is féidir leis an úsáideoir freagra mícheart a mharcáil; foghlaimíonn an córas agus feabhsaíonn sé retrieval, prompts, paraiméadair.
Tomhas — conas a bheith ar an eolas go n-oibríonn an laghdú
Méadrachtaí táirgthe nithiúla ar fiú monatóireacht a dhéanamh orthu:
- Hallucination rate — céatadán na bhfreagraí a aicmítear mar shiabhráin i meastóireacht de láimh (sampling). Sprioc: faoi bhun 2% le haghaidh feidhmchlár business-critical.
- User feedback rate — céatadán na n-úsáideoirí a mharcáil an freagra mar mhícheart.
- Escalation rate — céatadán iarratas a ardaítear chuig duine. Ró-íseal (faoi bhun 5%) — is dócha go bhfuil an córas ag dul thar cásanna éiginnte. Ró-ard (os cionn 30%) — ní sholáthraíonn an córas luach uathoibríochta.
- Faithfulness score i dtástálacha aischéimnithe — treocht míosúil.
- Time-to-correction — ó aimsiú an tsiabhráin go cur i bhfeidhm an cheartaithe (retrieval níos fearr, guardrail nua, fine-tuning).
Conclúidí do chinnteoirí
Tá siabhráin so-bhainistithe — éilíonn siad infheistíocht in ailtireacht chosanta ar roinnt sraitheanna. Tiocfaidh cuideachtaí a chuireann LLM i bhfeidhm gan an ailtireacht seo i gcoinne eachtra thromchúiseach luath nó mall (faisnéis mhícheart a fhoilsiú do chliant, cinneadh mícheart bunaithe ar shonraí siabhraithe, damáiste cáile). Is é costas an stack chosanta iomláin a thógáil (RAG + evaluation + guardrails + human-in-the-loop) go tipiciúil 15-30% de chostas an chur i bhfeidhm LLM féin — agus is infheistíocht í atá riachtanach go hiomlán le haghaidh úsáidí táirgthe. Tá iarmhairtí an dearmaid neamhshiméadrach: costas íseal an neamhghníomhaíochta i 95% de chásanna, tubaisteach in 5%.