Pilier puslapis

Daugiakomponenčiai DI sistemos

Specializuotų DI agentų komanda vietoj vieno bendro chatbot'o. Orkestracija, daugiapakopis LLM modelių maršrutizavimas, epizodinė atmintis, kaštų kontrolė ir audito pėdsakas. Vidiniam darbui naudojame HybridCrew platformą paslaugoms teikti klientams.

Pakalbėkime apie diegimą Žiūrėti HybridCrew

Vienas chatbot'as ChatGPT stiliumi — bendro naudojimo įrankis. Puikiai supranta kalbą, generuoja tekstus, atsako į klausimus — bet kai užduotis reikalauja veiksmų sekos, prieigos prie įmonės duomenų bazių, atminties apie ankstesnes sąveikas ar kokybės patikrinimo, jo apribojimai tampa matomi.

Daugiakomponentė DI sistema — kitokia architektūra: specializuotų agentų komanda, kiekvienas su savo vaidmeniu, įrankiais, atmintimi ir veikimo strategija. CEO asistentas klasifikuoja paštą. Finansų kontrolierius generuoja ataskaitas. Security reviewer skenuoja kodą. Content writer rašo marketingo draftus. Visa tai koordinuoja orkestratorius, kuris sprendžia, kas gaus kurią užduotį.

Kodėl daugiakomponentinės sistemos turi pranašumą

Specializacija DI veikia taip pat kaip versle. Vietoj vieno žmogaus, kuris „šiek tiek moka viską", geresnių rezultatų pasiekia specialistų komanda. Vienam užduočių tipui specializuotas agentas — su optimizuotais prompt'ais, tinkamu LLM modeliu, prieiga prie reikiamų įrankių — atlieka darbą geriau ir pigiau nei universalus modelis, bandantis atspėti kontekstą iš nulio.

Antras pranašumas: kaštų kontrolė. Dauguma užduočių nereikalauja stipriausio LLM modelio. Smulkios klasifikacijos, šabloninių turinių generavimas, duomenų ištraukimas iš struktūrizuotų dokumentų — visa tai gali atlikti vietiniai, nemokami modeliai, paleisti kliento GPU. Tik sudėtingiausi sprendimai patenka į stipriausius debesų modelius. Tipinis veiklos kaštas: tik nedidelė dalis to, kas būtų vienodai naudojant stipriausius modelius.

Trečias: compliance ir saugumas. Kiekvienas agentas turi minimalius leidimus (least privilege). Kiekviena sąveika fiksuojama (audito pėdsakas). Asmens duomenys anonimizuojami prieš siunčiant į išorinius modelius (mikropaslauga Anoxy). Visa architektūra projektuojama pagal BDAR ir EU AI Act nuo pirmos kodo eilutės.

Enterprise klasės daugiakomponenčiai sistemos komponentai

Devyni elementai, kurie turi veikti kartu, kad daugiakomponentė sistema tiktų produkciniam naudojimui įmonėje.

Specializuoti agentai

Kiekvienas agentas turi vieną atsakomybę: CEO asistentas, finansų kontrolierius, security reviewer, backend developer, content writer. Specializacija duoda geresnių rezultatų nei vienas bendras chatbot'as.

Orkestratorius

Centrinis sluoksnis, sprendžiantis, kuris agentas gaus kurią užduotį. Remiasi intencijų klasifikacija, agentų prieinamumu, LLM modelių kaštais ir verslo kontekstu.

Daugiapakopis LLM maršrutizavimas

Smulkios užduotys → vietinis modelis (Ollama, kaina $0). Vidutinės → pigesnis debesų modelis. Sudėtingos → stipriausi debesų modeliai. Drastiškas kaštų sumažinimas neprarandant kokybės.

Epizodinė atmintis

Agentai įsimena, ką padarė anksčiau, kokie buvo rezultatai, kas suveikė. Laikui bėgant tampa geresni pasikartojančiose užduotyse — mokosi iš kiekvienos sąveikos.

Semantinė atmintis

Vektorinė srities žinių bazė (Qdrant, pgvector). Agentai gali greitai rasti panašius praeities atvejus, referencinius dokumentus, įmonės politikas.

Duomenų anonimizavimas (Anoxy)

Prieš siunčiant turinį į išorinius LLM modelius, dedikuota mikropaslauga Anoxy skenuoja ir anonimizuoja asmens duomenis. BDAR atitikimas be funkcinių kompromisų.

Audito pėdsakas

Kiekviena sąveika tarp agentų fiksuojama: kas, kam, ko klausė, kokį gavo atsakymą, kokie LLM modeliai panaudoti, koks kaštas. Pilnas stebimumas.

Monitoringas ir kaštų kontrolė

Limitai per agentą, per vartotoją, per organizaciją. Dashboard su kaštais realiu laiku. Įspėjimai esant netipiniam sunaudojimo augimui. Maršrutizavimo optimizacija pagal duomenis.

Eskalavimas į žmogų

Žemas confidence score, kritinis finansinis ar teisinis sprendimas, netipinis atvejis → automatinis eskalavimas žmogui operatoriui su pilnu kontekstu.

Pritaikymai įmonėje

Šešios sritys, kuriose daugiakomponenčiai DI sistemos teikia matuojamą verslo vertę. Kiekviena jų diegiama kaip 4-8 savaičių bandomasis projektas.

CEO asistentas

Klasifikuoja ir atsako į el. laiškus, susitaria susitikimus, ruošia briefus prieš pokalbius, apibendrina ilgus dokumentus, stebi deadline'us. Paprastai sutaupo CEO 10-15 valandų per savaitę administraciniam darbui.

Compliance ir teisinis monitoringas

Nuolatinis teisės pokyčių stebėjimas, poveikio įmonei klasifikavimas, įspėjimai esant naujiems įsipareigojimams. Preliminarių BDAR, EU AI Act, ISO 27001 ataskaitų generavimas. Politikų ir procedūrų draftai.

Programinės įrangos kūrimas

Kodo peržiūra, testų generavimas, dokumentacijos rašymas, refaktoringas, duomenų bazės migracijų generavimas. Du-trys žmonės su agentais teikia 8-10 žmonių komandos vertę.

Klientų aptarnavimas

Užklausų klasifikavimas, automatiniai atsakymai į pasikartojančius klausimus (remiantis žinių baze), eskalavimas žmogui esant sudėtingiems atvejams. Atsako laiko sutrumpinimas iš valandų į minutes.

Dokumentų analizė

Duomenų ištraukimas iš sutarčių, sąskaitų, pasiūlymų. Komercinių sąlygų palyginimas. Neatitikimų ir rizikų aptikimas. Apibendrinimų ir ataskaitų generavimas teisinei komandai.

Pardavimai ir marketingas

Socialinių medijų ir prekės ženklo paminėjimų stebėjimas, sentimento klasifikavimas, atsakymų generavimas (peržiūrėtų žmogaus prieš publikavimą), preliminarių marketingo turinių kūrimas.

Chatbot vs. daugiakomponentė sistema

Aspektas	Vienas chatbot (ChatGPT/Copilot)	Daugiakomponentė sistema
Specializacija	Bendras modelis, „šiek tiek moka viską"	Specializuoti agentai per sritį
Prieiga prie įmonės duomenų	Ribota (kopijavimas į chat langą)	Natyvi (integracija su CRM, ERP, duomenų bazėmis)
Atmintis	Chat sesija (paprastai 1-2 val.)	Epizodinė + semantinė atmintis (nuolatinė)
Kaštų maršrutizavimas	Vienas modelis visoms užduotims	Daugiapakopis (vietinis → debesis → premium)
Veiksmų vykdymas	Generuoja tekstą, neatlieka veiksmų	Iškviečia API, įrašo į duomenų bazes, siunčia el. laiškus
Audito pėdsakas	Nėra (arba minimalus)	Pilnas — kiekviena sąveika užfiksuota
PII anonimizavimas	Priklauso nuo vartotojo	Priverstinis, automatinis (Anoxy)
Compliance (BDAR, EU AI Act)	Sunku įrodyti	Įdiegtas į architektūrą

Referencinė platforma: HybridCrew

HybridCrew — vidinė ESKOM AI platforma, kurią naudojame paslaugoms teikti klientams. Orkestruoja dešimtis specializuotų DI agentų — kiekvienas su savo vaidmeniu (pvz., organizacijos asistentas, finansų kontrolierius, project manager, backend developer, security reviewer), lietuvių kalbos sąsaja, prieiga prie įrankių ir integracijomis su verslo sistemomis.

Pagrindinės techninės savybės:

Daugiapakopis LLM maršrutizavimas — nuo nemokamų vietinių modelių (Ollama) iki stipriausių debesų modelių. Modelio parinkimas automatinis, remiantis užduoties sudėtingumu.
Platus integracijų rinkinys — Gmail, Slack, Jira, Confluence, Microsoft Graph, Salesforce, Airtable ir daug kitų. Galime prijungti bet kokį kliento API.
Email Intelligence — automatinis CEO pašto klasifikavimas, intencijos atpažinimas, atsakymų generavimas patvirtinimui.
Anoxy — PII anonimizavimas — dedikuota mikropaslauga, anonimizuojanti asmens duomenis prieš siunčiant į išorinius modelius. BDAR atitikimas be kompromisų.
Epizodinė ir semantinė atmintis — agentai mokosi iš patirties, gali siekti srities žinių vektorinėje duomenų bazėje.
Kaštų monitoringas — dashboard su kaštais realiu laiku per agentą, per vartotoją, per organizaciją. Limitai ir įspėjimai esant netipiniam augimui.
EU AI Act compliance — sistema klasifikuojama kaip riboto pavojaus DI, su pilnais skaidrumo įsipareigojimais (Art. 50): banner'is, informuojantis apie DI, generuoto turinio žymėjimas, eksporto metaduomenys.

Dažniausiai užduodami klausimai

Kas yra daugiakomponentė sistema?

Daugiakomponentė DI sistema — architektūra, kurioje keli ar keliasdešimt specializuotų DI agentų bendradarbiauja sprendžiant užduotis. Kiekvienas agentas turi savo vaidmenį (pvz., CEO asistentas, finansų kontrolierius, security reviewer, backend developer), savo įrankius (API, prieiga prie duomenų bazių, internetas), atmintį (epizodinę — ką darė anksčiau, semantinę — srities žinios) ir veikimo strategiją. Vietoj vieno bendro chatbot'o, įmonė gauna DI komandą su aiškiu atsakomybių padalinimu.

Kuo tai skiriasi nuo vieno chatbot'o ChatGPT stiliumi?

Vienas chatbot'as puikiai susitvarko su paprastomis tekstinėmis užduotimis, bet kai užduotis reikalauja: prieigos prie įmonės duomenų bazių, integracijos su verslo sistemomis (CRM, ERP, email), žingsnių sekos atlikimo, atminties apie ankstesnes sąveikas, kokybės patikrinimo — chatbot'o nebepakanka. Daugiakomponentė sistema sprendžia tai per specializaciją (finansų agentas žino buhalteriją, teisinis agentas žino BDAR), bendradarbiavimą (agentai gali konsultuotis) ir orkestraciją (mechanizmas, kuris agentas gaus kurią užduotį).

Kokias užduotis galima deleguoti daugiakomponentei sistemai?

Praktikoje: CEO kalendoriaus ir pašto valdymas, klientų el. laiškų klasifikavimas ir atsakymas, teisės pokyčių stebėjimas, finansinių ataskaitų ruošimas, pull request kodo peržiūra, dokumentacijos generavimas, darbuotojų onboarding automatizavimas, palaikymo užklausų tvarkymas, dokumentų (sutarčių, sąskaitų, pasiūlymų) analizė, socialinių medijų ir prekės ženklo paminėjimų stebėjimas, marketingo turinių generavimas. Kuo labiau pasikartojanti ir procedūra aprašoma — tuo geriau tinka automatizavimui.

Ar daugiakomponenčiai sistemos brangios priežiūroje?

Priklauso nuo kaštų architektūros. Jei kiekvienas agentas naudoja stipriausią LLM modelį kiekvienai užduočiai, mėnesinis kaštas greitai auga. Todėl taikome daugiapakopį LLM modelių maršrutizavimą: smulkios užduotys patenka į vietinius modelius (Ollama kliento infrastruktūros GPU — veiklos kaštas artimas 0), vidutinės užduotys į pigesnius debesų modelius, tik sudėtingiausi sprendimai — į stipriausius modelius. Dėl to tipinis klientas moka tik dalį to, kas būtų vienodai naudojant stipriausius modelius.

Kaip agentai bendrauja tarpusavyje?

Du pagrindiniai keliai: sinchroninis (agentas A užduoda klausimą agentui B ir laukia atsakymo) ir asinchroninis (agentas A meta užduotį į eilę, agentas B apdoroja savo tempu, agentas A gauna pranešimą apie rezultatą). Centrinė orkestracijos platforma valdo maršrutizavimą, išsaugo pokalbių istoriją (audito pėdsakas), kontroliuoja kaštus (token'ų limitai per agentą, per vartotoją). Visa komunikacija fiksuojama — galima atkurti kiekvieną sąveiką tarp agentų ir patikrinti, kaip priimtas konkretus sprendimas.

Kaip dėl duomenų saugumo daugiakomponentėje sistemoje?

Trys saugumo sluoksniai. Pirma: PII anonimizavimas (asmens duomenys, sąskaitų numeriai, NIP, adresai) prieš siunčiant į išorinius LLM modelius — tam naudojame mikropaslaugą Anoxy, kuri skenuoja turinį prieš siuntimą. Antra: agentų izoliacija — kiekvienas agentas turi minimalius leidimus (least privilege), nemato duomenų už savo srities. Trečia: galimybė veikti kliento infrastruktūroje — LLM modeliai gali veikti vietoje (Ollama GPU), be duomenų išėjimo už kliento tinklo ribų. Atitikimas BDAR ir EU AI Act gairėms.

Ar agentai gali daryti klaidas? Ką tada?

Taip, kiekvienas LLM modelis gali haliucinuoti, daryti logines klaidas ar neteisingai interpretuoti kontekstą. Minimizavimo strategijos: 1) rezultatų validavimas (pvz., finansų agentas turi grąžinti skaičius nustatytu formatu, validatorius tikrina atitikimą); 2) double-checking kritiniams sprendimams (antras agentas nepriklausomai tikrina pirmojo rezultatą); 3) eskalavimas žmogui (esant žemam confidence score ar netipiniam atvejui); 4) audito pėdsakas (kiekvienas sprendimas užfiksuotas — galima atšaukti, išanalizuoti, patobulinti prompt). Kritiniai finansiniai ir teisiniai sprendimai niekada nėra autonomiški — reikalauja žmogaus patvirtinimo.

Kaip atrodo daugiakomponenčios sistemos diegimas įmonėje?

Paprastai keturios fazės. 1) Discovery (2-4 savaitės): procesų automatizavimui identifikavimas, kiekvieno ROI vertinimas, 2-3 pilotinių pasirinkimas. 2) Bandomasis projektas (4-8 savaitės): pirmųjų agentų diegimas pasirinktiems procesams, poveikio matavimas, tobulinimas. 3) Mastelis (3-6 mėnesiai): plėtimas į kitus procesus ir skyrius, integracija su esamomis sistemomis. 4) Optimizacija (continuous): agentų tobulinimas remiantis produkcijos duomenimis, naujų vaidmenų pridėjimas, LLM modelių kaštų redukcija.

Ar daugiakomponentė sistema pakeis darbuotojus?

Pakeis konkrečias užduotis, bet ne žmones. Dažniausias efektas: darbuotojai atgauna laiko (paprastai 30-50% administraciniuose skyriuose), kurį gali skirti užduotims, reikalaujančioms žmogiško sprendimo, kūrybiškumo, santykių kūrimo. Įmonės neatleidžia — priešingai, dažniau auga greičiau (daugiau projektų aptarnauja ta pati komanda). Išimtis: pasikartojančios mažos vertės užduotys (pvz., rankinis duomenų kopijavimas tarp sistemų) — jos išnyksta ir niekas jų nepasigenda.

Kokios technologijos slypi už daugiakomponenčių sistemų?

Dažniausi framework'ai: Microsoft AutoGen, CrewAI, LangGraph, Haystack Agents. LLM modeliai: Anthropic Claude, OpenAI GPT, vietiniai modeliai Llama, Mistral, lenkų Bielik. Vektorinės duomenų bazės semantinei atminčiai: Qdrant, Weaviate, pgvector. Žinučių eilės asinchroniniam darbui: Redis, RabbitMQ, Kafka. Monitoringas: Prometheus + Grafana, Sentry, OpenTelemetry. ESKOM AI visa tai sujungiame į vieną vidinę platformą (HybridCrew) su pilnu stebimumu, kaštų kontrole ir compliance.

Pirmasis bandomasis projektas per 4-8 savaites

Parenkame 2-3 verslo procesus su didžiausiu ROI potencialu ir diegiame pilotinius agentus. Matuojame poveikį, tobuliname ir nusprendžiame dėl mastelio.

Susitarti pokalbį dėl bandomojo projekto Kūrimas su DI