Az egyetlen MI korlátai
A legtöbb vállalat az MI-utat egyetlen chatbottal kezdi – egy általános célú asszisztenssel, amelytől elvárják, hogy mindent megoldjon az ügyfélszolgálattól az adatelemzésig. Egyszerű kérdés-felelet esetén működik, de amint szakterület-specifikus érvelésre, szabályozási megfelelőségre vagy rendszerek közötti koordinációra van szükség, az egyméretű modell csődöt mond.
Az alapvető probléma a kontextus. Egyetlen modellnek kell egyszerre kezelnie a pénzügyi szabályozásokat, a DevOps-kézikönyveket, a HR-politikákat és az ügyfelekkel való kommunikációt. Az eredmény: felszínes válaszok, kitalált eljárások és semmi felelősség.
A többügynökös paradigma
Az ESKOM.AI-nál más megközelítést választottunk. Egyetlen mindentudó chatbot helyett tucatnyi specializált MI-ügynökből álló hálózatot építettünk, amelyek mindegyikének egyértelműen meghatározott szerepe, eszközkészlete és tudásbázisa van. Ez nem csupán szervezeti kozmetika – minden ügynök rendelkezik saját rendszerpromptjával, memóriájával és eszközengedélyeivel.
A koordináció a nehéz rész
Az egyes ügynökök felépítése viszonylag egyszerű. A valódi mérnöki kihívás a koordináció. Platformunk bevált ügynök-koordinációs keretrendszereket kombinál a következők kezelésére:
- Szándékosztályozás – a bejövő feladatok automatikus irányítása a megfelelő szakemberhez
- Többügynökös munkafolyamatok – ügynökök láncolása összetett folyamatokhoz
- Konfliktusmegoldás – átfedő kompetenciák kezelése
- Önfejlesztés – epizodikus memórián és promptfinomításon keresztüli fejlődés
Valódi termelési eredmények
10 fejlesztési fázis és több ezer automatizált teszt – unit, integrációs, E2E, UI, biztonsági, teljesítmény-, regressziós, füst- és elfogadási tesztek elvégzése után rendszerünk percenként 86 üzenetet dolgoz fel, 2 másodperc alatti p95 válaszidővel. A rendszer több száz üzleti eszközzel integrálódik.