Pillar page

Mitme agendi AI süsteemid

Spetsialiseeritud AI agentide meeskond ühe üldise chatbot'i asemel. Orkestratsioon, mitmetasandiline LLM mudelite marsruutimine, episoodiline mälu, kulukontroll ja auditeerimisjälg. Sisemiselt kasutame HybridCrew platvormi klientidele teenuste osutamiseks.

Räägime juurutamisest Vaata HybridCrew

Üks ChatGPT stiilis chatbot on üldotstarbeline tööriist. See mõistab keelt suurepäraselt, genereerib tekste, vastab küsimustele — kuid kui ülesanne nõuab tegevuste järjestust, juurdepääsu ettevõtte andmebaasidele, mälu varasematest suhtlustest või kvaliteedi kontrolli, muutuvad selle piirangud nähtavaks.

Mitme agendi AI süsteem on teistsugune arhitektuur: spetsialiseeritud agentide meeskond, igaüks oma rolli, tööriistade, mälu ja tegevusstrateegiaga. CEO assistent klassifitseerib posti. Finantsanalüütik genereerib aruandeid. Security reviewer skaneerib koodi. Content writer kirjutab turunduse drafte. Kõik koordineeritakse orkestraatori poolt, mis otsustab, kes saab millise ülesande.

Kust tuleb mitme agendi süsteemide eelis

Spetsialiseerumine AI-s toimib samamoodi nagu äris. Selle asemel, et üks inimene „oskaks kõike pisut", saavutab paremaid tulemusi spetsialistide meeskond. Ühele ülesannete tüübile keskendunud agent — optimeeritud promptide, sobiva LLM mudeli, õigete tööriistadega — teeb tööd paremini ja odavamalt kui universaalne mudel, mis üritab konteksti nullist arvata.

Teine eelis: kulukontroll. Enamik ülesandeid ei nõua kõige tugevamat LLM mudelit. Väiksemad klassifikatsioonid, mallipõhise sisu genereerimine, andmete väljavõtmine struktureeritud dokumentidest — kõike seda saavad teha kohalikud, tasuta mudelid, mis töötavad kliendi GPU-l. Ainult kõige keerukamad otsused lähevad kõige tugevamatele pilvemudelitele. Tüüpiline tegevuskulu: murdosa sellest, mis oleks kõige tugevamate mudelite ühtsel kasutamisel.

Kolmas: compliance ja turvalisus. Igal agentil on minimaalsed õigused (least privilege). Iga suhtlus on logitud (auditeerimisjälg). Isikuandmed anonüümitakse enne välistele mudelitele saatmist (mikroteenus Anoxy). Kogu arhitektuur on projekteeritud GDPR ja EU AI Act'iga kooskõlas alates esimesest koodi reast.

Ettevõtte klassi mitme agendi süsteemi komponendid

Üheksa elementi, mis peavad koos töötama, et mitme agendi süsteem sobiks ettevõttes tootmiseks kasutamiseks.

Spetsialiseeritud agendid

Igal agendil on üks vastutus: CEO assistent, finantsanalüütik, security reviewer, backend developer, content writer. Spetsialiseerumine annab paremad tulemused kui üks üldine chatbot.

Orkestraator

Keskne kiht, mis otsustab, milline agent saab millise ülesande. Põhineb kavatsuste klassifikatsioonil, agentide kättesaadavusel, LLM mudelite kuludel ja ärikontekstil.

Mitmetasandiline LLM marsruutimine

Väiksemad ülesanded → kohalik mudel (Ollama, kulu $0). Keskmised → odavam pilvemudel. Keerukad → tugevaimad pilvemudelid. Drastiline kulude vähendamine ilma kvaliteedi kaotamiseta.

Episoodiline mälu

Agendid mäletavad, mida nad varem tegid, millised olid tulemused, mis töötas. Aja jooksul muutuvad nad korduvate ülesannete puhul paremaks — õpivad igast suhtlusest.

Semantiline mälu

Vektoriline valdkonnateadmiste andmebaas (Qdrant, pgvector). Agendid saavad kiiresti leida sarnaseid juhtumeid minevikust, viitedokumente, ettevõtte poliitikaid.

Andmete anonüümimine (Anoxy)

Enne sisu saatmist välistele LLM mudelitele skaneerib ja anonüümib spetsialiseeritud mikroteenus Anoxy isikuandmed. GDPR vastavus ilma funktsionaalsete kompromissideta.

Auditeerimisjälg

Iga agentide vaheline suhtlus salvestatud: kes, kellele, mida küsis, millise vastuse sai, milliseid LLM mudeleid kasutati, milline oli kulu. Täielik jälgitavus.

Monitooring ja kulukontroll

Limiidid agendi, kasutaja, organisatsiooni kohta. Töölaud reaalajas kuludega. Hoiatused kasutuse ebatavalise kasvu korral. Marsruutimise optimeerimine andmete põhjal.

Eskaleerimine inimesele

Madal confidence score, kriitiline finants- või õiguslik otsus, ebatavaline juhtum → automaatne eskaleerimine inimoperaatorile koos täieliku kontekstiga.

Kasutusalad ettevõttes

Kuus piirkonda, kus mitme agendi AI süsteemid pakuvad mõõdetavat ärilist väärtust. Igaüks neist juurutatakse 4-8 nädalase piloodina.

CEO assistent

Klassifitseerib ja vastab e-kirjadele, broneerib kohtumisi, valmistab brief'e enne vestlusi, võtab kokku pikki dokumente, jälgib tähtaegu. Tüüpiliselt säästab CEO-le 10-15 tundi nädalas administratiivset tööd.

Compliance ja õiguslik monitooring

Õiguse muudatuste pidev monitooring, mõju klassifikatsioon ettevõttele, hoiatused uute kohustuste korral. GDPR, EU AI Act, ISO 27001 esmaste aruannete genereerimine. Poliitikate ja protseduuride draftid.

Tarkvaraarendus

Koodi ülevaatus, testide genereerimine, dokumentatsiooni kirjutamine, refaktoreerimine, andmebaasi migratsioonide genereerimine. Kaks-kolm inimest agentidega annavad 8-10 inimese meeskonna väärtuse.

Klienditeenindus

Päringute klassifikatsioon, automaatsed vastused korduvatele küsimustele (teadmistebaasi põhjal), eskaleerimine inimesele keerukatel juhtudel. Vastuse aja vähendamine tundidest minutitesse.

Dokumentide analüüs

Andmete ekstraktsioon lepingutest, arvetest, pakkumistest. Kaubandustingimuste võrdlemine. Vastuolude ja riskide tuvastamine. Kokkuvõtete ja aruannete genereerimine õigusmeeskonnale.

Müük ja turundus

Sotsiaalmeedia ja brändi mainimiste monitooring, sentimenti klassifikatsioon, vastuste genereerimine (mida inimene enne avaldamist kontrollib), esmase turundussisu loomine.

Chatbot vs. mitme agendi süsteem

Aspekt	Üks chatbot (ChatGPT/Copilot)	Mitme agendi süsteem
Spetsialiseerumine	Üldine mudel, „oskab kõike pisut"	Domeeni põhjal spetsialiseeritud agendid
Juurdepääs ettevõtte andmetele	Piiratud (kopeerimine chati aknasse)	Natiivne (integratsioon CRM-i, ERP-i, andmebaasidega)
Mälu	Chati sessioon (tüüpiliselt 1-2 tundi)	Episoodiline + semantiline mälu (püsiv)
Kulude marsruutimine	Üks mudel kõigi ülesannete jaoks	Mitmetasandiline (kohalik → pilv → premium)
Tegevuste sooritamine	Genereerib teksti, ei soorita tegevusi	Kutsub API-d, kirjutab andmebaasidesse, saadab e-kirju
Auditeerimisjälg	Puudub (või jäänukid)	Täielik — iga suhtlus salvestatud
PII anonüümimine	Sõltub kasutajast	Sunnitud, automaatne (Anoxy)
Compliance (GDPR, EU AI Act)	Raske tõestada	Sisse ehitatud arhitektuuri

Viiteplatvorm: HybridCrew

HybridCrew on ESKOM AI sisemine platvorm, mida me kasutame klientidele teenuste osutamiseks. See orkestreerib kümneid spetsialiseeritud AI agente — igaühel oma roll (nt organisatsiooni assistent, finantsanalüütik, projektijuht, backend developer, security reviewer), poolakeelne liides, juurdepääs tööriistadele ja integratsioonid ärisüsteemidega.

Tehnilised võtmeomadused:

Mitmetasandiline LLM marsruutimine — tasuta kohalikest mudelitest (Ollama) tugevaimate pilvemudeliteni. Mudeli automaatne valik, mis põhineb ülesande keerukusel.
Laiad integratsioonid — Gmail, Slack, Jira, Confluence, Microsoft Graph, Salesforce, Airtable ja palju muid. Saame ühendada mis tahes kliendi API.
Email Intelligence — CEO posti automaatne klassifikatsioon, kavatsuste tuvastamine, kinnitamiseks mõeldud vastuste genereerimine.
Anoxy — PII anonüümimine — spetsialiseeritud mikroteenus, mis anonüümib isikuandmed enne välistele mudelitele saatmist. GDPR vastavus ilma kompromissideta.
Episoodiline ja semantiline mälu — agendid õpivad kogemustest, võivad pöörduda vektorandmebaasis oleva valdkonnateadmiste poole.
Kulumonitooring — töölaud reaalajas kuludega agendi, kasutaja, organisatsiooni kohta. Limiidid ja hoiatused kasutuse ebatavalise kasvu korral.
EU AI Act vastavus — süsteem on klassifitseeritud kui piiratud riskiga AI, täielike läbipaistvuse kohustustega (Art. 50): AI-st teavitav baner, genereeritud sisu märgistamine, eksportide metaandmed.

Korduma kippuvad küsimused

Mis on mitme agendi süsteem?

Mitme agendi AI süsteem on arhitektuur, milles mitu või mitukümmend spetsialiseeritud AI agenti teevad koostööd ülesannete lahendamiseks. Igal agendil on oma roll (nt CEO assistent, finantsanalüütik, security reviewer, backend developer), oma tööriistad (API-d, juurdepääs andmebaasidele, internet), mälu (episoodiline — mida varem teinud, semantiline — valdkonnateadmised) ja tegevusstrateegia. Ühe üldise chatbot'i asemel saab ettevõte AI meeskonna selge vastutuste jaotusega.

Mille poolest see erineb üksikust ChatGPT stiilis chatbot'ist?

Üksik chatbot saab suurepäraselt hakkama lihtsate tekstiliste ülesannetega, kuid kui ülesanne nõuab: juurdepääsu ettevõtte andmebaasidele, integratsioone ärisüsteemidega (CRM, ERP, e-post), sammude järjestuse sooritamist, mälu varasematest suhtlustest, kvaliteedi kontrolli — chatbot ei piisa enam. Mitme agendi süsteem lahendab selle spetsialiseerumise (finantsagent tunneb raamatupidamist, õigusagent tunneb GDPR-i), koostöö (agendid oskavad omavahel konsulteerida) ja orkestratsiooni (mehhanism, kes valib, milline agent saab millise ülesande) kaudu.

Milliseid ülesandeid saab mitme agendi süsteemile delegeerida?

Praktikas: CEO kalendri ja posti haldamine, klientide e-kirjade klassifitseerimine ja neile vastamine, õiguse muudatuste monitooring, finantsaruannete ettevalmistamine, pull request'ide koodi ülevaatus, dokumentatsiooni genereerimine, töötajate onboarding'u automatiseerimine, tugipäringute käsitsemine, dokumentide (lepingud, arved, pakkumised) analüüs, sotsiaalmeedia ja brändi mainimiste monitooring, turundussisu genereerimine. Mida korduvam ja protseduuriga kirjeldatavam, seda paremini sobib automatiseerimiseks.

Kas mitme agendi süsteemid on hooldamiseks kallid?

Sõltub kulude arhitektuurist. Kui iga agent kasutab iga ülesande jaoks tugevaimat LLM mudelit, kasvab kuukulu kiiresti. Seetõttu rakendame mitmetasandilist LLM mudelite marsruutimist: väiksemad ülesanded lähevad kohalikele mudelitele (Ollama kliendi infrastruktuuri GPU-l — tegevuskulu ligi 0), keskmised ülesanded odavamatele pilvemudelitele, ainult kõige keerukamad otsused tugevaimatele mudelitele. Tänu sellele maksab tüüpiline klient murdosa sellest, mis oleks tugevaimate mudelite ühtsel kasutamisel.

Kuidas agendid omavahel suhtlevad?

Kaks peamist teed: sünkroonne (agent A esitab agendile B küsimuse ja ootab vastust) ja asünkroonne (agent A paneb ülesande järjekorda, agent B töötleb omas tempos, agent A saab tulemuse teavituse). Keskne orkestratsiooni platvorm haldab marsruutimist, säilitab vestluse ajaloo (auditeerimisjälg), kontrollib kulusid (tokenite limiidid agendi, kasutaja kohta). Kogu suhtlus logitakse — saab taastoota iga agentide vahelist suhtlust ja kontrollida, kuidas konkreetne otsus tehti.

Aga andmete turvalisus mitme agendi süsteemis?

Kolm kihti turvalisust. Esiteks: PII anonüümimine (isikuandmed, kontonumbrid, NIP-id, aadressid) enne välistele LLM mudelitele saatmist — selleks kasutame mikroteenust Anoxy, mis skaneerib sisu enne saatmist. Teiseks: agentide isolatsioon — igal agendil on minimaalsed õigused (least privilege), ta ei näe oma domeenist väljaspool olevaid andmeid. Kolmandaks: võimalus töötada kliendi infrastruktuuril — LLM mudelid võivad töötada lokaalselt (Ollama GPU-l), ilma andmete väljumiseta kliendi võrgust. Vastavus GDPR-le ja EU AI Act juhtnööridele.

Kas agendid võivad eksida? Mis siis?

Jah, iga LLM mudel võib hallutsineerida, teha loogikavigu või konteksti valesti tõlgendada. Minimeerimise strateegiad: 1) tulemuste valideerimine (nt finantsagent peab tagastama numbrid määratud formaadis, valideerija kontrollib vastavust); 2) double-checking kriitiliste otsuste puhul (teine agent kontrollib esimese tulemust iseseisvalt); 3) eskaleerimine inimesele (madala confidence score'i või ebatavalise juhtumi puhul); 4) auditeerimisjälg (iga otsus salvestatud — saab tagasi võtta, analüüsida, prompti parandada). Kriitilised finants- ja õigusotsused ei ole kunagi autonoomsed — need nõuavad inimese heakskiitu.

Kuidas näeb välja mitme agendi süsteemi juurutamine ettevõttes?

Tüüpiliselt neli faasi. 1) Discovery (2-4 nädalat): automatiseerimiseks sobivate protsesside tuvastamine, ROI hindamine igaühe puhul, 2-3 pilootkandidaadi valimine. 2) Pilot (4-8 nädalat): esimeste agentide juurutamine valitud protsesside jaoks, mõju mõõtmine, viimistlemine. 3) Skaleerimine (3-6 kuud): laienemine järgmistele protsessidele ja osakondadele, integreerimine olemasolevate süsteemidega. 4) Optimeerimine (continuous): agentide täiustamine tootmisandmete põhjal, uute rollide lisamine, LLM mudelite kulude vähendamine.

Kas mitme agendi süsteem asendab töötajaid?

Asendab konkreetseid ülesandeid, kuid mitte inimesi. Kõige sagedasem efekt: töötajad saavad tagasi aega (tüüpiliselt 30-50% administratiivsetes osakondades), mida nad saavad pühendada ülesannetele, mis nõuavad inimese otsustusvõimet, loovust, suhete loomist. Ettevõtted ei vallanda — vastupidi, sagedamini kasvavad nad kiiremini (rohkem projekte sama meeskonnaga). Erand: korduvad madala väärtusega ülesanded (nt andmete käsitsi kopeerimine süsteemide vahel) — need kaovad ja keegi neid ei kahetse.

Millised tehnoloogiad mitme agendi süsteemide taga seisavad?

Kõige sagedasemad raamistikud: Microsoft AutoGen, CrewAI, LangGraph, Haystack Agents. LLM mudelid: Anthropic Claude, OpenAI GPT, kohalikud Llama, Mistral, poola Bielik. Vektorandmebaasid semantilise mälu jaoks: Qdrant, Weaviate, pgvector. Sõnumijärjekorrad asünkroonse suhtluse jaoks: Redis, RabbitMQ, Kafka. Monitooring: Prometheus + Grafana, Sentry, OpenTelemetry. ESKOM AI-s ühendame kõik selle ühte sisemisesse platvormi (HybridCrew) täieliku jälgitavuse, kulukontrolli ja compliance'iga.

Esimene pilot 4-8 nädalaga

Valime 2-3 äriprotsessi suurima ROI potentsiaaliga ja juurutame piloodi agente. Mõõdame mõju, viimistleme ja otsustame skaleerimise üle.

Broneeri kõne piloodi teemal Arendus AI-ga